Общий блок User-agent: * разрешает каталог, а отдельная группа Googlebot его закрывает. User-agent выбирает группу правил для робота, Allow разрешает указанный путь, Disallow запрещает его обход. Проверка только общей группы даёт неверный ответ. При этом нельзя переносить интерпретацию одного поискового робота на другой без проверки документации и конкретного набора правил.
Найдите специальную группу каждого робота
Google выбирает наиболее специфичную подходящую группу User-agent; порядок групп сам по себе не определяет приоритет. Официальная документация.
Предположим, общий блок разрешает /catalog/, а специальный Googlebot содержит Disallow: /catalog/. В этом случае чтение только User-agent: * создаёт ложное ожидание. Разнесите группы в таблицу, сохранив точные строки. Отдельно отметьте правила специализированных роботов, если они присутствуют. Googlebot-Image обходит изображения, и его ограничения не означают те же правила для обычного Googlebot. В записи проверки укажите робота, домен и полный путь: иначе результаты разных групп легко перепутать.
User-agent: *
Allow: /catalog/
User-agent: Googlebot
Disallow: /catalog/
Allow: /catalog/public/Для Googlebot /catalog/a/ закрыт, а /catalog/public/a/ разрешён более точным правилом. Общая группа не дополняет специальную. Для Яндекса проверьте реальный файл в его инструменте и справке robots.txt.
Используйте одинаковые контрольные пути
| Группа или правило | Кому относится | Где проверять путь | Что учесть |
|---|---|---|---|
| User-agent: * | Общая группа | Проверить обычный путь | Не считать единственной |
| User-agent: Googlebot | Специальная группа | Проверить каталог | Учитывать выбор группы |
| User-agent: YandexBot | Другая политика | Проверить в Вебмастере | Не переносить вывод Google |
| Allow и Disallow | Пересечение путей | Сравнить точность | Проверить конкретный URL |
Как Google выбирает правило
По документации Google выбор группы зависит от наиболее подходящего User-agent, а выбор совпавшего пути — от специфичности правил. Не считайте последнюю строку универсальным победителем. При равной точности пересечения Google учитывает разрешающее правило. Проверяйте это на конкретном контрольном URL, а не на визуальном порядке блоков файла. Если один агент указан в нескольких подходящих группах, проверьте правила объединения по актуальной документации Google. Результат такой проверки относится к его интерпретации и не является универсальной инструкцией для любого интернет-бота.
Проверьте те же пути для Яндекса
В Яндекс Вебмастере откройте анализ robots.txt, вставьте текущий файл и проверьте те же /catalog/a/ и /catalog/public/a/. Сверьте результат со справкой о User-agent и Allow/Disallow. При наличии подходящей специальной группы общий блок * не заменяет её. Сохраните результат для YandexBot отдельно. Если он отличается от желаемого, исправьте конкретное правило, а не удаляйте все группы. Без доступа к анализатору эту проверку пока нельзя считать завершённой.
Что показывает запрос с другим User-Agent
Запрос с заголовком User-Agent: Googlebot проверяет, что сервер отвечает такой строке. Он не заставляет curl или браузер применить robots.txt и не подтверждает, что запрос сделан настоящим поисковым роботом. Разделите тест серверного доступа и тест правил обхода. Если защитный фильтр (WAF) различает агентов, это ещё одна самостоятельная политика, которую нужно диагностировать по журналам. Не выдавайте успешный 200 от подменённого запроса за полноценную проверку поискового обхода. Для настоящих обращений нужна предусмотренная проверка подлинности робота и доступные логи.
Сохраните результат двух проверок
Для /catalog/a/ и /catalog/public/a/ запишите отдельный результат Googlebot и YandexBot. После правки повторите публичное получение файла и интерпретацию этих путей. Закрытый соседний раздел должен остаться закрытым выбранным правилом.
Читайте также: Примеры robots.txt для разных CMS: WordPress, Bitrix, Joomla и 7 ошибок в robots.txt, которые убивают индексацию. Проверки сайта доступны на странице технического аудита reChecker.