Если аудит получает 403, сначала восстановите ему доступ к нужной публичной странице. Пока вместо HTML сайта возвращается экран блокировки, замечания «нет title» или «нет H1» не описывают вашу страницу. Открытие сайта в браузере владельца тоже не объясняет отказ: условия двух запросов могут отличаться.
Начните с точного адреса, времени проверки и текста блокировки. Эти сведения помогут хостингу найти сработавшее правило.
Откройте страницу без входа в аккаунт
Запустите новое окно без вашей сессии и откройте тот же URL. Возможно, администратору доступ разрешён, а гостю предлагается проверка браузера. Запишите, появилась ли такая проверка, куда перенаправил сайт и какой ответ получил документ во вкладке Network.
Попросите разработчика сохранить отдельный HTTP-запрос. В терминале команда выглядит так:
curl -sS -D headers.txt -o response.html 'https://example.com/catalog/'В headers.txt ищите статус и идентификатор запроса, в response.html — сообщение отказа. Замените домен своим. Это ещё один клиент, а не точное воспроизведение запроса reChecker: у него другой адрес подключения и могут отличаться заголовки.
Найдите отказ в журнале защиты сайта
Защита может фильтровать адрес подключения, частоту запросов, страну, заголовки или клиентов без выполнения JavaScript. WAF — это фильтр запросов перед приложением. Разобраться нужно с конкретным срабатыванием, а не с общим предположением «сайт закрыт для ботов».
Сравните один обычный запрос с результатом аудита. Если первый проходит, а обход нескольких страниц прекращается, возможен лимит частоты. Если запрещён первый запрос, причина может быть другой. Не создавайте большой поток запросов специально: достаточно передать уже полученное событие администратору защиты.
В сообщении поддержки можно написать:
Аудит публичной страницы https://example.com/catalog/ получил 403 4 октября в 12:10 МСК. Браузер без входа открывает её. В ответе указан request ID abc-123. Найдите, пожалуйста, правило блокировки в эту минуту и подскажите, как разрешить проверку этого публичного раздела.
Это заполненный пример: замените адрес, время и ID своими. Cookies, токены и полный журнал браузера для первого обращения не нужны.
Исправьте правило, которое мешает проверке
Если подтверждён лимит частоты, согласуйте более спокойный обход или нужное исключение. Если блокируется адрес источника, используйте официальный способ разрешения клиента, предусмотренный вашей защитой. Область изменения должна соответствовать нужным публичным страницам.
Отключать всю защиту сайта ради одного аудита не требуется. При этом простая строка User-Agent, которую клиент может написать сам, не подтверждает его личность. Разработчик или хостинг должен объяснить, что именно разрешено и по какому признаку.
Если сайт требует браузерную проверку, которую инструмент не проходит, уточните поддерживаемый способ проверки у обеих сторон. Повторный отказ не нужно обходить бесконечными запусками.
Проверьте доступ Google отдельно
403 у стороннего аудитора не доказывает, что Google получает тот же ответ. Посмотрите сведения об обходе URL в Search Console и соответствующие серверные записи. Настоящие обращения Google можно проверять по официальной инструкции; подмена названия Googlebot этого не заменяет.
Повторите аудит и откройте полученную страницу
После изменения правила инструмент должен получить HTML нужного раздела. Ответ 200 с надписью «подтвердите, что вы человек» всё ещё не является страницей каталога. Сверьте содержимое, затем смотрите результат проверки метатегов и ссылок.
Откройте также закрытый кабинет: он должен по-прежнему требовать входа. Сохраните итог обращения в поддержку и дату успешного аудита. Дальнейшие проверки доступны в техническом аудите reChecker; для разбора результата пригодятся справочник статусов и порядок SEO-аудита.