Robots.txt открывается, но строка Sitemap ведёт на старый домен или возвращает HTML вместо XML. Исправление самой строки полезно лишь тогда, когда целевой файл действительно содержит нужные страницы. Проверяйте ссылку как начало цепочки, а не как отметку наличия sitemap.
Строка Sitemap должна вести на конкретный публичный файл
Используйте полный URL файла и проверьте фактический ответ назначения. Если это sitemap index, перейдите к дочерним файлам. Строка в robots.txt сообщает расположение карты, но не подтверждает качество её содержимого.
В поддерживаемой Google директиве Sitemap указывается полный URL карты. Официальная документация.
Корректный учебный пример строки: Sitemap: https://example.com/sitemap.xml. Значение должно содержать полный адрес, а не локальный путь на диске или /sitemap.xml без хоста. Если карта называется sitemap_index.xml, укажите именно её URL. В одном robots могут быть несколько Sitemap-строк, поэтому найдите все, а не только первую. Для каждой объясните назначение. Старый файл или карта другого проекта не становятся подходящими только потому, что имя sitemap выглядит привычно и ссылка технически открывается.
Проверьте полный адрес и нужный хост
Учебные сценарии в таблице задают ожидаемое поведение; фактические ответы своего сайта заносите отдельно.
| Сценарий | Отличие | Решение | Проверка |
|---|---|---|---|
| Sitemap: /sitemap.xml | Относительное значение | Заменить полным URL | Проверить фактический адрес |
| Старый домен | Исторический путь | Обновить назначение | Проверить владение и ответ |
| 200 с HTML | Шаблон вместо карты | Исправить маршрут | Нужен корректный XML |
| Sitemap index | Список файлов | Открыть дочерние | Проверить каждую карту |
Проверьте HTTPS, www и домен в самой строке. Затем откройте полный адрес без автоматической подстановки браузером. Если он перенаправляется, запишите конечный хост и путь. Старый домен мог остаться в настройке CMS после переезда или уже принадлежать другой площадке. Не заменяйте его механически, пока не подтвердили, где расположен настоящий генератор. Сопоставьте URL карты с выбранной формой адресов страниц. Конечный файл должен относиться к тому сайту и разделам, которые владелец намерен предложить поисковой системе.
Что означает HTTP-ответ карты
Сохраните буквальный URL после Sitemap, конечный адрес после переходов, статус, тип содержимого и корневой XML-элемент. Для старого домена сравните, кто сейчас им владеет и какой файл он отдаёт; не доверяйте знакомому имени.
Для назначения сохраните статус, Content-Type и начало тела. HTTP 200 может сопровождать страницу входа, заглушку WAF или пользовательскую ошибку. Откройте XML-парсером полученное тело: нужен корректный корневой элемент urlset или sitemapindex в предусмотренном формате. При 301 или 302 проверьте всю цепочку; ссылка на промежуточный путь затрудняет понимание настройки. При 403 выясните, кто блокирует публичный доступ, не отключая защиту сайта целиком. При таймауте сначала проверьте генератор и размер ответа, а не повторяйте отправку карты вслепую.
Пройдите sitemap index и дочерние карты
Учебный robots.txt ссылается на /old-map.xml через старый абсолютный домен. Новый файл сначала проверяется независимо, затем меняется ссылка. После релиза повторите GET robots.txt и карты, чтобы исключить старый кеш.
Если корень — sitemapindex, его loc ведут на файлы, а не прямо на страницы. Запросите каждую дочернюю карту и проверьте её отдельно. Главный индекс с корректным XML не доказывает, что products.xml доступен и содержит нужные товары. Для сжатых файлов проверьте распаковку и содержимое, для удалённых — восстановление или исключение ссылки. Затем выборочно откройте несколько loc страниц из каждой карты. Это связывает исправление строки robots с реальными публичными адресами, а не с одной зелёной проверкой верхнего документа.
Исправьте ссылку после восстановления назначения
Сначала восстановите корректный файл на выбранном публичном домене, затем обновите robots.txt. Уберите старые альтернативные строки, если они не нужны, и проверьте настройки отправки карты в инструментах вебмастера.
Сначала обеспечьте корректный конечный файл, затем меняйте Sitemap-строку в её фактическом источнике. Если robots генерирует плагин, ручная правка статического ответа может исчезнуть при следующем обновлении. Уберите устаревшие строки только после подтверждения, что их карты больше не нужны. Сохраните список предназначенных карт, чтобы новый раздел не оказался исключён случайно. После публикации повторите GET robots и GET назначения: административный экран с новой настройкой не подтверждает, что публичный маршрут уже отдаёт её посетителям и роботам.
Проверьте кеш и повторную генерацию robots
HTTP 200 от страницы входа или шаблона ошибки не означает доступный sitemap. Успешная загрузка карты также не гарантирует индексацию перечисленных страниц.
Сравните тело robots до и после очистки предусмотренного кеша. Проверьте, не возвращает ли CDN старую Sitemap-строку, хотя origin уже обновлён. Если карта также кешируется, её проверяют отдельно: новая ссылка может вести на старый список URL. Не добавляйте произвольный query-параметр как единственную приёмку, поскольку он способен обойти обычный ключ кеша. Основное подтверждение делайте по адресу, который реально указан в robots. Дополнительно проверьте результат повторной генерации CMS, чтобы исправление не было временной ручной заменой файла.
Что сверить в инструментах вебмастера
В доступных инструментах вебмастера сравните отправленные карты, статус получения и дату последней обработки. Уберите устаревшую отправку либо добавьте правильную карту по принятой политике владельца. Это отдельный шаг от публичной проверки: успешный GET показывает доступность сейчас, а интерфейс поисковика показывает его собственное датированное наблюдение. Не обещайте индексацию всех loc после принятия файла. Если инструмент сообщает ошибку, сохраните название карты и дату, затем сопоставьте с текущим ответом. Разделяйте старую ошибку получения и новый дефект содержимого.
Критерии завершения проверки
Строка содержит абсолютный адрес, назначение доступно и является нужной XML-картой. Дочерние файлы проверены, внутри отсутствует случайный тестовый хост, публичный ответ robots.txt обновлён.
- Sitemap: /sitemap.xml: Проверить фактический адрес. Зафиксируйте фактический результат и адрес проверенного сценария.
- Старый домен: Проверить владение и ответ. Зафиксируйте фактический результат и адрес проверенного сценария.
- 200 с HTML: Нужен корректный XML. Зафиксируйте фактический результат и адрес проверенного сценария.
- Sitemap index: Проверить каждую карту. Зафиксируйте фактический результат и адрес проверенного сценария.
Для смежных вопросов: Ошибки в sitemap.xml: как найти и исправить и Robots.txt: полное руководство по настройке для SEO и веб-разработки. Отдельные проверки сайта собраны на странице технического аудита reChecker.