Для какого робота
User-agent определяет, к какому роботу относится группа правил. Проверьте общую группу со звёздочкой и отдельные настройки для нужных поисковых систем.
Загружаем страницу
Это может занять несколько секунд.
Загружаем страницу
Это может занять несколько секунд.
Если reChecker работает неправильно, опишите проблему и укажите страницу, на которой она возникла. Оставьте email или телефон — мы ответим после проверки.
Проверьте доступность файла, правила для поисковых роботов и ссылки на карты сайта.
О проверке
Robots.txt управляет обходом сайта поисковыми роботами. Анализатор разбирает группы правил, директивы Allow и Disallow, ссылки на sitemap и показывает замечания к файлу.
User-agent определяет, к какому роботу относится группа правил. Проверьте общую группу со звёздочкой и отдельные настройки для нужных поисковых систем.
Disallow ограничивает обход указанных путей, Allow разрешает его для подходящих адресов. Пустое значение Disallow не означает запрет всего сайта.
Директива Sitemap указывает полный адрес карты сайта. Проверьте, что ссылка ведёт к существующему файлу, а не к старому домену или недоступной странице.
Учебный пример
Пример поясняет правила Googlebot, а не результат проверки вашего сайта. Сначала выбирается группа User-agent, затем сопоставляются пути URL.
User-agent: *
Disallow: /catalog/
Allow: /catalog/public/В этой группе /catalog/item/ закрыт для обхода, а /catalog/public/item/ разрешён: правило Allow точнее совпадает с путём.
Для Google выбирается наиболее конкретное правило по длине пути. При равной точности конфликтующих Allow и Disallow действует Allow. Пути чувствительны к регистру: /Catalog/ и /catalog/ различаются.
Disallow ограничивает обход, но URL может появиться в поиске. Google должен загрузить страницу, чтобы увидеть noindex в метатеге или X-Robots-Tag. Одновременная блокировка в robots.txt этому мешает. Документация о noindex ↗
После проверки
Сначала сопоставьте замечания с назначением разделов сайта. Ограничение обхода и запрет индексации решают разные задачи.
Проверьте названия директив, двоеточия, значения путей и кодировку UTF-8. После правок откройте опубликованный robots.txt и повторите анализ.
Убедитесь, что правила случайно не закрывают важные разделы, CSS и JavaScript. Блокировка ресурсов может мешать поисковому роботу получить содержимое страницы.
Закрытый в robots.txt URL всё ещё может появиться в поиске. Для запрета индексации используют noindex на доступной роботу странице. Доступ к приватным данным защищают авторизацией.
Robots.txt — файл в корне сайта с правилами обхода для поисковых роботов. Он управляет загрузкой страниц, а не гарантирует их исключение из поиска. Закрытый в robots.txt URL может попасть в индекс по внешним ссылкам. Приватные данные нужно защищать авторизацией.
В публичном отчёте указаны дата проверки, итоговый балл, найденные ошибки и измеренные значения.
Описываем источники данных, ограничения краулера, правила подсчёта и случаи, когда нужна ручная проверка.
Не публикуем анонимные цитаты и оценки без проверяемого первоисточника. Кейсы появятся только с согласия владельцев.
Поможем разобраться в отчёте, исправить технические ошибки или настроить регулярные проверки. Объём и стоимость обсудим до начала работ.