Robots.txt открывается, но строка Sitemap ведёт на старый домен или возвращает обычную HTML-страницу вместо карты в формате XML. Исправление самой строки полезно лишь тогда, когда целевой файл действительно содержит нужные страницы. Откройте указанный URL, проверьте XML и несколько страниц из него. Наличие слова Sitemap в robots.txt само по себе не подтверждает работу карты.
Найдите все строки Sitemap
В поддерживаемой Google директиве Sitemap указывается полный URL карты. Официальная документация.
Корректный учебный пример строки: Sitemap: https://example.com/sitemap.xml. Значение должно содержать полный адрес, а не локальный путь на диске или /sitemap.xml без хоста. Если карта называется sitemap_index.xml, укажите именно её URL. В одном robots могут быть несколько Sitemap-строк, поэтому найдите все, а не только первую. Для каждой объясните назначение. Старый файл или карта другого проекта не становятся подходящими только потому, что имя sitemap выглядит привычно и ссылка технически открывается.
Ошибки адреса и ответа карты
| Найдено в robots или ответе | Почему это мешает | Что исправить | Какой ответ нужен |
|---|---|---|---|
| Sitemap: /sitemap.xml | Относительное значение | Заменить полным URL | Проверить фактический адрес |
| Старый домен | Исторический путь | Обновить назначение | Проверить владение и ответ |
| 200 с HTML | Шаблон вместо карты | Исправить маршрут | Нужен корректный XML |
| Sitemap index | Список файлов | Открыть дочерние | Проверить каждую карту |
Проверьте статус и содержимое файла
Для URL карты сохраните HTTP-статус, заголовок Content-Type — заявленный формат файла — и содержимое ответа. HTTP 200 может сопровождать страницу входа, заглушку защитного фильтра (WAF) или пользовательскую ошибку. Попросите разработчика разобрать полученный XML, например командами из проверки файлов карты: нужен корректный корневой элемент urlset или sitemapindex в предусмотренном формате. При 301 или 302 проверьте всю цепочку; ссылка на промежуточный путь затрудняет понимание настройки. При 403 выясните, кто блокирует публичный доступ, не отключая защиту сайта целиком. При таймауте сначала проверьте генератор и размер ответа, а не повторяйте отправку карты вслепую.
Для загрузки карты используйте команду терминала; если не работаете с curl, попросите разработчика.
curl -sS -D headers.txt -o response.html 'https://example.com/sitemap.xml'Посмотрите первую строку headers.txt и содержимое response.html: ожидается ответ карты, а не шаблон сайта. Если получен редирект, откройте адрес перехода из служебного заголовка Location отдельно. Расширение выходного файла не определяет его формат — проверьте XML внутри. Замените example.com своим доменом; этот GET не изменяет настройки сайта. Справка curl.
Тело карты начинается с XML и содержит urlset со страницами либо sitemapindex со ссылками на карты. Страница входа или HTML-ошибка при 200 означает, что нужная карта не получена.
Откройте карты разделов
Если корень — sitemapindex, файл является списком карт. Его элементы loc содержат адреса файлов и ведут на файлы, а не прямо на страницы. Запросите каждую дочернюю карту и проверьте её отдельно. Главный индекс с корректным XML не доказывает, что products.xml доступен и содержит нужные товары. Для сжатых файлов проверьте распаковку и содержимое, для удалённых — восстановление или исключение ссылки. Затем выборочно откройте несколько loc страниц из каждой карты. Например, доступный индекс не поможет каталогу, если products.xml возвращает ошибку. После проверки файла откройте несколько товарных URL из его loc.
Измените ссылку в её настоящем источнике
Сначала восстановите саму карту по нужному URL. Затем измените Sitemap в настройке системы управления сайтом (CMS) или файле проекта, из которого создаётся robots.txt. Если robots генерирует плагин, ручная правка статического ответа может исчезнуть при следующем обновлении. Уберите устаревшие строки только после подтверждения, что их карты больше не нужны. Сохраните список нужных карт, чтобы новый раздел не оказался исключён случайно. После публикации повторите GET robots и GET назначения: административный экран с новой настройкой не подтверждает, что публичный маршрут уже отдаёт её посетителям и роботам.
Проверьте robots и карту по обычным URL
После изменения снова получите robots.txt и каждый указанный sitemap. Выбранные страницы должны быть в нужных картах. Если карта намеренно размещена на другом сайте, проверьте условия cross-site sitemap и подтверждение владения; чужой хост сам по себе ещё не доказывает ошибку.
Читайте также: Ошибки в sitemap.xml: как найти и исправить и Robots.txt: полное руководство по настройке для SEO и веб-разработки. Проверки сайта доступны на странице технического аудита reChecker.