Один SEO-плагин выдаёт index — разрешение индексации, второй — noindex, её запрет. Страница выглядит опубликованной, но запрет остался в служебной части HTML — head — или в заголовке ответа сервера. Найдите плагины, шаблон и серверные настройки, которые выводят эти теги. Уберите лишний запрет именно с тех страниц, которые должны попадать в поиск.
Найдите все источники запрета
При конфликтующих robots-директивах Google применяет более ограничивающее правило. Официальная документация.
Начните с публичной страницы, которую предполагается индексировать. Попросите разработчика получить все теги meta robots, отдельные теги для Google — meta googlebot — и служебный заголовок ответа X-Robots-Tag. Не останавливайтесь на первом найденном index. Составьте список источников: настройки записи, общая видимость системы управления сайтом (CMS), плагин, тема, промежуточный сервер и сеть доставки страниц (CDN). Два одинаковых тега ещё не объясняют, где ошибка. Если их выводят разные плагины, изменение одного может оставить запрет второго. Для каждого значения найдите настройку, которая действительно его создаёт, прежде чем отключать компонент целиком.
HTML, специальный робот и HTTP-заголовок
| Кто выводит robots | Какие теги появились | Где менять настройку | Что должно остаться в HTML |
|---|---|---|---|
| Плагин A: index | Разрешающее намерение | Проверить остальные слои | Одной строки мало |
| Плагин B: noindex | Ограничивающий вывод | Найти настройку | Убрать с индексируемой услуги |
| X-Robots-Tag: noindex | Серверный заголовок | Проверить конфигурацию | Не пропустить header |
| Архив, исключённый из поиска | noindex намеренный | Сохранить директиву | Не отменять запрет архива |
Проверьте теги и заголовок документа
Сравните исходный HTML с HTML после выполнения скриптов — DOM. Плагин может выводить значение серверно, а клиентский компонент — добавлять ещё один элемент позже. Сохраните все значения и время их появления. В Network проверьте заголовок самого документа, а не запрос картинки или API. Если сеть доставки страниц (CDN) добавляет X-Robots-Tag, изменение поля системы управления сайтом (CMS) не исправит его. Рядом с каждым найденным правилом запишите его источник: CMS, тема, плагин или сервер. Подмена User-Agent показывает серверный ответ для тестовой строки, но не является доказательством обработки настоящим поисковиком; эти наблюдения записываются отдельно.
В консоли браузера получите теги robots следующей командой:
[...document.querySelectorAll('meta[name="robots"], meta[name="googlebot"]')].map(el => ({ робот: el.name, правило: el.content }));В Network откройте GET самого документа и найдите X-Robots-Tag. При index и noindex добавление ещё одного index не помогает: Google применяет ограничивающее правило. Найдите настройку, которая создаёт лишний noindex.
Отключите только лишний вывод
В тестовом сценарии отключите только вывод robots второго плагина для контрольной услуги, сохранив остальные функции. Повторите GET и проверку DOM. Затем откройте архивную страницу с намеренным noindex. Если архив потерял свою директиву, правка имеет слишком широкий охват. Верните её и уточните правило. Так вы проверите конкретный источник noindex, сохранив другие настройки SEO. Для серверного заголовка аналогично меняйте конкретный маршрут или условие, а не удаляйте любое X-Robots-Tag на всём домене.
Проверьте функции плагина перед отключением
SEO-плагин может формировать название вкладки (title), предпочтительный адрес (canonical), карту сайта (sitemap), подпись превью ссылки (Open Graph) и структурированные данные. Полное отключение ради robots требует проверки этих зависимостей. Сначала рассмотрите настройку конкретной функции или удаление дублирующего обработчика. После изменения сравните head контрольных страниц и состав карты. Если принято решение убрать плагин полностью, это отдельный объём работ, который нельзя назвать маленькой правкой noindex. Сохраняйте настройки и возможность возврата. Проверьте черновики и служебные страницы: если плагин исключал их автоматически, после отключения эти ограничения должны сохраниться.
Снова сохраните услугу и архив в CMS
У открытой услуги нет случайного noindex в исходном HTML, DOM и HTTP-заголовках. Архив, который исключали намеренно, по-прежнему выдаёт noindex. Проверка после сохранения записи показывает, что второй плагин не возвращает конфликт.
Читайте также: robots.txt, meta robots и X-Robots-Tag: в чём разница и когда что использовать и SEO-проверка после обновления CMS и плагинов. Проверки сайта доступны на странице технического аудита reChecker.