Один SEO-плагин выдаёт index, второй — noindex. Страница выглядит опубликованной, но ограничивающая директива осталась в head или заголовке ответа. Найдите всех производителей robots-правил и выберите единственную управляемую настройку для нужного типа страницы.
Соберите все источники robots-директив
Не считайте первую или последнюю строку автоматическим победителем. Проверяйте общие директивы, специальные директивы Googlebot и X-Robots-Tag ответа. Задача требует согласованного намерения индексировать или исключать страницу.
При конфликтующих robots-директивах Google применяет более ограничивающее правило. Официальная документация.
Начните с публичной страницы, которую предполагается индексировать. Получите все meta robots, специальные meta googlebot и X-Robots-Tag из HTTP-ответа. Не останавливайтесь на первом найденном index. Составьте список источников: настройки записи, глобальная видимость CMS, плагин, тема, reverse proxy и CDN. Два одинаковых элемента сами по себе не объясняют причину, но несколько противоречащих источников делают политику трудно управляемой. Для каждого значения найдите настройку, которая действительно его создаёт, прежде чем отключать компонент целиком.
Общий robots, Googlebot и заголовок ответа
Учебные сценарии в таблице задают ожидаемое поведение; фактические ответы своего сайта заносите отдельно.
| Сценарий | Отличие | Решение | Проверка |
|---|---|---|---|
| Плагин A: index | Разрешающее намерение | Проверить остальные слои | Одной строки мало |
| Плагин B: noindex | Ограничивающий вывод | Найти настройку | Убрать по назначению |
| X-Robots-Tag: noindex | Серверный заголовок | Проверить конфигурацию | Не пропустить header |
| Приватный раздел | Исключение намеренное | Сохранить политику | Не открывать всё |
В учебной матрице одна строка даёт index, другая noindex, третья — серверный заголовок. Специальная директива для Googlebot может отличаться от общей политики. Проверьте её назначение по актуальной документации, не выводя универсальный приоритет из порядка элементов. Ограничивающее значение нельзя компенсировать добавлением ещё одной разрешающей строки. Добавьте контрольную страницу архива, которую намеренно исключают, и приватный раздел с авторизацией. Тогда приёмка исправления публичной услуги не превратится в массовое открытие всех записей сайта.
Проверьте исходник и поздний вывод плагина
Получите все meta name="robots", meta name="googlebot" и заголовки X-Robots-Tag. Сравните источник HTML с DOM после скриптов. Для каждой директивы установите плагин, шаблон или серверное правило, которое её формирует.
Сравните сырой HTML с DOM после завершения страницы. Плагин может выводить значение серверно, а клиентский компонент — добавлять ещё один элемент позже. Сохраните все значения и время их появления. В Network проверьте заголовок самого документа, а не запрос картинки или API. Если CDN добавляет X-Robots-Tag, изменение поля CMS не исправит его. Укажите слой каждого подтверждённого источника. Подмена User-Agent показывает серверный ответ для тестовой строки, но не является доказательством обработки настоящим поисковиком; эти наблюдения записываются отдельно.
Учебный конфликт index и noindex
Учебная услуга получает index от одного плагина и noindex от второго. После исправления проверьте также черновик и закрытый раздел, чтобы удаление конфликта не превратилось в массовое снятие нужных ограничений.
В тестовом сценарии отключите только вывод robots второго плагина для контрольной услуги, сохранив остальные функции. Повторите GET и проверку DOM. Затем откройте архивную страницу с намеренным noindex. Если архив потерял свою директиву, правка имеет слишком широкий охват. Верните её и уточните правило. Такой опыт помогает понять владельца директивы без переустановки всей SEO-конфигурации. Для серверного заголовка аналогично меняйте конкретный маршрут или условие, а не удаляйте любое X-Robots-Tag на всём домене.
Оставьте одну управляемую политику для страницы
Оставьте управляемый источник настройки, уберите непреднамеренный дублирующий вывод. Для приватных разделов сохраните ограничения, для открытых посадочных — устраните noindex в подтверждённых слоях.
Определите единый источник решения о поисковой доступности типа записи. Второй механизм должен либо не выводить robots, либо получать ту же согласованную политику. Если разные слои нужны намеренно, документируйте их области применения и проверяйте пересечения. На уровне CMS отдельно уточните глобальную настройку видимости сайта, статус записи и индивидуальное исключение. Они могут сочетаться. Не храните решение только в ручном HTML-фрагменте одной страницы, если общий шаблон продолжит добавлять noindex. Исправление должно переживать повторное сохранение записи и обновление её шаблона.
Что нельзя потерять при отключении SEO-плагина
Отключение SEO-плагина целиком может убрать canonical, sitemap и другие нужные данные. По возможности изменяйте конкретный вывод, а полный отказ от плагина принимайте как отдельное решение.
SEO-плагин может формировать title, canonical, sitemap, Open Graph и структурированные данные. Полное отключение ради robots требует проверки этих зависимостей. Сначала рассмотрите настройку конкретной функции или удаление дублирующего hook. После изменения сравните head контрольных страниц и состав карты. Если принято решение убрать плагин полностью, это отдельный объём работ, который нельзя назвать маленькой правкой noindex. Сохраняйте настройки и возможность возврата. Особенно важно проверить автоматические exclusions для черновиков и технических страниц, которые ранее поддерживал отключаемый компонент.
Приёмка открытых и исключаемых разделов
На публичной услуге подтверждается отсутствие непреднамеренного noindex в обоих представлениях HTML и HTTP-заголовках. На архиве сохраняется нужное исключение, на приватном разделе — реальный контроль доступа. Повторите сохранение записи и очистку предусмотренного кеша, затем снова откройте публичные URL. В инструментах поисковой системы сверяйте дату получения и обработанные директивы отдельно. Свежий ответ сервера не обещает мгновенного обновления индекса. Приёмка завершена для конфигурации, когда политика согласована, воспроизводима и не зависит от случайного порядка двух плагинов. Отдельно откройте ответ после повторного сохранения записи в CMS: отключённый дублирующий вывод не должен возвращаться при обычном редакционном действии, которое владельцы сайта выполняют без участия разработчика.
Критерии завершения проверки
На публичном контрольном URL нет непреднамеренного noindex ни в HTML, ни в HTTP-заголовке. Страницы, которые должны исключаться, продолжают выдавать нужную директиву.
- Плагин A: index: Одной строки мало. Зафиксируйте фактический результат и адрес проверенного сценария.
- Плагин B: noindex: Убрать по назначению. Зафиксируйте фактический результат и адрес проверенного сценария.
- X-Robots-Tag: noindex: Не пропустить header. Зафиксируйте фактический результат и адрес проверенного сценария.
- Приватный раздел: Не открывать всё. Зафиксируйте фактический результат и адрес проверенного сценария.
Для смежных вопросов: robots.txt, meta robots и X-Robots-Tag: в чём разница и когда что использовать и SEO-проверка после обновления CMS и плагинов. Отдельные проверки сайта собраны на странице технического аудита reChecker.