Страница открывается в браузере, но её таблица стилей и основной файл JavaScript закрыты для робота. Иногда без скрипта пропадает только виджет; иногда не появляется весь каталог. Сначала определите, какие ресурсы действительно нужны для понимания страницы.
Какие файлы создают текст и карточки
Google предупреждает, что блокировка необходимых ресурсов мешает понимать зависящие от них страницы. Официальная документация.
Ресурс style.css может отвечать только за цвет кнопки, а app.js — за появление всего каталога. Их недоступность имеет разный эффект. Начните с определения основного содержимого: название услуги, описание, товары и навигационные ссылки. Отметьте, какие элементы уже есть в серверном HTML и какие создаются позже. Если название, характеристики и ссылка на покупку уже есть в HTML, потеря небольшого виджета не равна исчезновению карточки. Если HTML пуст, а товары создаёт app.js, доступность этого файла критична. Открывайте необходимые ресурсы после такой проверки.
Запишите адреса нужных ресурсов
| Ресурс | Для чего нужен | Где искать запрет | Что должно работать |
|---|---|---|---|
| /assets/app.js | Рисует каталог | Проверить правило | Разрешить нужный файл JavaScript |
| /assets/style.css | Задаёт отображение | Сравнить отображение | Разрешить нужные стили |
| CDN другого хоста | Свой robots.txt | Проверить отдельно | Не переносить правило домена |
| /internal/ | Служебный раздел | Оценить назначение | Не открывать всё |
Сравните исходный HTML и готовую страницу
Сохраните текст и ссылки из исходного HTML, затем сравните с HTML после выполнения скриптов — DOM. В Search Console используйте проверку URL и посмотрите HTML и снимок страницы, если они доступны. Важно видеть не только скриншот: карточки могут выглядеть нормально, но не содержать настоящих ссылок. Ошибка Console тоже может объяснять отсутствие содержимого независимо от robots. Если ресурс закрыт, проверьте, действительно ли нужная группа робота запрещает его путь. Нормальная загрузка в вашем браузере показывает работу сервера для пользователя, но браузер не применяет robots.txt как поисковый обходчик.
Проверьте зависимость от JS на тестовой копии
На тестовой копии выберите страницу, у которой файл JavaScript создаёт карточки. В инструментах разработчика Chrome — DevTools — откройте Network, нажмите правой кнопкой на запрос скрипта и выберите Block request URL. Перезагрузите страницу и сравните товары с исходным состоянием. Уберите блокировку в панели Network request blocking и перезагрузите снова, не меняя товары. Такой опыт показывает зависимость содержимого от ресурса, но не моделирует всю поисковую обработку. После этого проверяйте настоящие robots-правила и серверный доступ. Если отсутствие этого файла не меняет основной текст, запишите это наблюдение; не называйте автоматически любую блокировку JavaScript критической потерей содержимого.
Проверьте robots CDN и новое имя файла
У CDN — сети доставки файлов — свой домен и robots.txt и собственные ответы. Правило основного домена не управляет автоматически cdn.example.com. После новой сборки имя app.abc.js может стать app.def.js; разрешение только старого файла перестанет помогать. Лучше разрешить нужную папку, если она содержит только публичные ресурсы, и проверить новые имена файлов после сборки. Убедитесь, что переход на CDN не начал загружать HTTP-ресурсы на HTTPS-странице (mixed content) или не потребовал авторизацию. Проверка новой сборки должна включать получение именно её файла JavaScript, а не файла, который остался в кеше предыдущего релиза.
Для каталога ресурсов пример правила выглядит так:
User-agent: Googlebot
Disallow: /assets/
Allow: /assets/public/Правило подходит, если необходимые скрипты действительно лежат в /assets/public/. Проверьте полный URL из Network и существующие группы Googlebot: пример нельзя дописывать без учёта остального файла.
Повторите загрузку свежей сборки
Нужные CSS/JS отвечают 200 и разрешены выбранному роботу. Проверьте основной текст и ссылки в доступном HTML после обработки страницы в Search Console. Если доступен только обычный браузер, отметьте это: успешная загрузка у вас не подтверждает, что поисковик получил такое же содержимое.
Читайте также: SSR vs CSR vs SSG для SEO: что выбрать в 2026 году и Robots.txt: полное руководство по настройке для SEO и веб-разработки. Проверки сайта доступны на странице технического аудита reChecker.