Раздел закрыт в robots.txt, но его адреса остаются видны в поиске. Вы добавляете noindex и снова закрываете обход. Робот не сможет прочитать новую директиву на запрещённой странице; переход требует согласованной последовательности, а для приватных данных — настоящего ограничения доступа.
Разделите публичное исключение и приватный доступ
Если публичные страницы нужно исключить из поиска, робот должен иметь возможность получить noindex. Если данные конфиденциальны, применяйте авторизацию. Robots.txt управляет обходом и не является защитой информации.
Чтобы Google прочитал noindex, страница должна быть доступна для обхода. Официальная документация.
Раздел /archive/ с публичными подборками отличается от /account/ с личными сведениями. Для первого команда может разрешить обход и запретить индексацию. Для второго требуется контроль доступа: robots.txt и noindex не скрывают данные от прямого запроса человека. Составьте список публичных адресов, которые нужно исключить из поиска, отдельно от приватных. В переход включайте только первую группу. Если ранее закрытый путь содержит оба типа страниц, сначала разделите правила маршрутизации и авторизации; открытие всего пути ради чтения директивы создаст проблему за пределами SEO.
Карта перехода между Disallow и noindex
Учебные сценарии в таблице задают ожидаемое поведение; фактические ответы своего сайта заносите отдельно.
| Сценарий | Отличие | Решение | Проверка |
|---|---|---|---|
| Публичный раздел под Disallow | Робот не читает страницу | Проверить noindex | Нужен доступ к директиве |
| Публичный раздел с noindex | Обход разрешён | Ожидать обработку | Срок не гарантирован |
| Приватный кабинет | Приватные данные | Авторизация | Не открывать для робота |
| noindex только в DOM | Скрипт может не выполниться | Проверить ответ | Предпочесть серверный вывод |
Для каждого URL запишите четыре признака: публичность, разрешённый обход, фактический noindex и источник ограничения. Таблица нужна до релиза, поскольку после него сложно понять, было ли открытие страницы намеренным. Обязательно добавьте соседний публичный раздел, который должен остаться индексируемым. Например, архивные подборки исключаются, текущие услуги — нет. Отдельный контрольный приватный URL должен по-прежнему требовать входа. Такой набор показывает, что переход затронул конкретную группу, а не массово изменил политику всего сайта.
Проверьте доступность директивы в реальном ответе
Проверьте правила именно для затронутого пути, фактический meta robots и X-Robots-Tag ответа. Сопоставьте исходный HTML с результатом URL Inspection: недавний локальный тест и последнее получение поисковиком имеют разные даты.
Получите GET контрольной страницы и проверьте meta robots в HTML и X-Robots-Tag заголовка. Затем запросите robots.txt соответствующего хоста. Одно присутствие noindex в сохранённой настройке CMS не подтверждает его публичный вывод. Не рассчитывайте только на позднюю вставку скриптом, особенно если исходная страница уже недоступна роботу. Проверьте точный путь, регистр и специальные группы User-agent. Для поискового инструмента сохраните дату получения URL: сообщение о старой блокировке может относиться к обходу до релиза, а не к нынешнему ответу.
Учебная последовательность для архивного раздела
Учебный раздел /archive/ содержит публичные старые подборки. Вначале проверьте директиву на одной подборке без изменения доступа, затем разрешите обход только предусмотренного пути. Страницы /account/ в этот эксперимент не входят.
На тестовой среде подготовьте архивную страницу с серверным noindex, но пока не меняйте production-robots. Проверьте новый ответ, затем разверните его на целевых публичных страницах. После этого уберите препятствующий обходу Disallow именно для предусмотренной группы. Ещё раз получите публичные ответы и сравните с ожиданием. Последовательность не является обещанием даты удаления: она создаёт условия, чтобы робот мог прочитать решение. Временное наблюдение в поисковом инструменте помогает оценить дальнейшую обработку, но не заменяет проверки текущего ответа.
Почему правила нельзя менять одним широким действием
Сначала разверните noindex на контрольных публичных страницах, подтвердите его в ответе, затем откройте нужный путь для обхода. Следите за фактической обработкой в инструментах поисковой системы; не назначайте гарантированную дату исчезновения.
Если конфигурация использует общий Disallow: /private/, нельзя снять его и надеяться, что все вложенные страницы уже имеют noindex. Проверьте фактический состав маршрутов и авторизацию. При необходимости перенесите публичный архив в отдельный управляемый сегмент или задайте точные правила. Не используйте robots.txt как список тайных адресов: файл открыт всем. Для страниц, которые нельзя показывать человеку без входа, основным условием приёмки остаётся серверное ограничение доступа независимо от того, что сообщается поисковому роботу.
Ожидание обработки без обещания срока
Нельзя открывать приватный раздел только ради чтения noindex. Для приватных страниц первым решением остаётся доступ по авторизации, независимо от поисковых директив.
Отчёт разделите на состояние после релиза и состояние, известное поисковой системе. Первое подтверждается свежими запросами; второе — датированными данными URL Inspection или другого доступного инструмента. Если старый URL ещё виден, проверьте последний обход, а не добавляйте новые противоречивые правила ежедневно. Не обещайте исчезновение в определённое число дней. Для срочного удаления чувствительных данных сначала закрывают реальный доступ и применяют соответствующий процесс удаления поисковой системы; публичный архив без чувствительных данных решает другую задачу.
Что проверить в sitemap и ссылках
Уберите исключаемые публичные адреса из списка страниц, которые вы предлагаете для индексации через sitemap. Внутренние ссылки оценивайте по пользе посетителю: noindex не означает, что архив должен стать недоступным в навигации. Не меняйте все ссылки на nofollow автоматически. Приёмка должна показать, что человек может открыть полезный архив, робот может получить директиву, а текущие открытые услуги не получили noindex случайно. После обновления SEO-плагина повторите проверку одного архивного, одного обычного и одного приватного URL.
Критерии завершения проверки
Публичный целевой URL доступен роботу и отдаёт noindex без конфликтов. Закрытые пользовательские данные сохраняют авторизацию. Отдельно зафиксированы дата релиза и состояние обработки URL поисковой системой.
- Публичный раздел под Disallow: Нужен доступ к директиве. Зафиксируйте фактический результат и адрес проверенного сценария.
- Публичный раздел с noindex: Срок не гарантирован. Зафиксируйте фактический результат и адрес проверенного сценария.
- Приватный кабинет: Не открывать для робота. Зафиксируйте фактический результат и адрес проверенного сценария.
- noindex только в DOM: Предпочесть серверный вывод. Зафиксируйте фактический результат и адрес проверенного сценария.
Для смежных вопросов: robots.txt, meta robots и X-Robots-Tag: в чём разница и когда что использовать и 7 ошибок в robots.txt, которые убивают индексацию. Отдельные проверки сайта собраны на странице технического аудита reChecker.