7 ошибок в robots.txt, которые убивают индексацию

Robots.txt — простой файл, но ошибки в нём могут привести к тому, что поисковые роботы перестанут индексировать важные страницы или, наоборот, будут индексировать служебные разделы. В этой статье разберём семь наиболее опасных ошибок и способы их исправления.

1. Disallow: / — закрытие всего сайта

Ошибка

User-agent: *
Disallow: /

Эта директива запрещает индексацию всего сайта. Роботы не будут краулить страницы.

Когда это нужно

Только для временного закрытия (например, на время разработки) или для служебных поддоменов (staging, test).

Решение

Удалите Disallow: / или замените на конкретные пути:

User-agent: *
Disallow: /admin/
Disallow: /temp/
Sitemap: https://example.com/sitemap.xml

2. Случайное закрытие важных разделов

Ошибка

User-agent: *
Disallow: /catalog/
Disallow: /product/

Если /catalog/ и /product/ — основные разделы сайта, они полностью исчезнут из индекса.

Причины

• Копирование robots.txt с другого сайта без проверки
• Опечатка в пути (например, Disallow: /catalo/ вместо Disallow: /catalog/ — но тогда закрывается несуществующий путь)
• Слишком широкие паттерны

Решение

Проверьте структуру URL сайта. Закрывайте только служебные разделы: админка, поиск, корзина, личный кабинет, кэш.

Используйте Анализатор robots.txt reChecker — он покажет, какие пути будут запрещены или разрешены.

3. Disallow: /? — закрытие URL с параметрами

Ошибка

User-agent: *
Disallow: /*?*

Многие страницы используют query-параметры: фильтры, сортировка, пагинация, UTM. Паттерн /*?* закрывает все URL с параметрами.

Последствия

• Страницы товаров с ?id=123 могут не индексироваться
• Страницы с UTM-метками (дубли) — это нормально закрывать, но не все параметры
• Фильтры и сортировка в каталогах — часто дубли, но не всегда

Решение

Закрывайте только конкретные параметры:

Disallow: /*?*utm_
Disallow: /*?*sort=
Disallow: /*?*filter=

Или не закрывайте параметры вообще, если не уверены. Лучше использовать canonical для дублей.

4. Закрытие изображений (картинок товаров)

Ошибка

User-agent: *
Disallow: /upload/
Disallow: /images/
Disallow: /media/

Для интернет-магазинов и контент-сайтов изображения важны для SEO (Google Images, карточки товаров).

Решение

Разрешите индексацию изображений:

Disallow: /upload/
Allow: /upload/iblock/
Allow: /upload/resize_cache/
Allow: /images/

Проверьте структуру: возможно, изображения лежат в /upload/ или /media/. Используйте Allow для нужных подпапок.

5. Отсутствие Sitemap

Ошибка

В robots.txt нет директивы Sitemap:.

Последствия

Роботы не получают явный указатель на карту сайта. Индексация может быть медленнее, особенно для больших сайтов.

Решение

Добавьте в конец robots.txt:

Sitemap: https://example.com/sitemap.xml

Для нескольких sitemap:

Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap-products.xml
Sitemap: https://example.com/sitemap-blog.xml

6. Синтаксические ошибки

Ошибки

• Пробелы перед директивами: Disallow: /admin/
• Неправильный регистр: disallow: /admin/ (должно быть Disallow)
• Несколько значений в одной строке: Disallow: /admin/ /temp/
• Пустые строки между User-agent и его правилами (в некоторых парсерах может сломать группу)

Стандарт

Согласно спецификации:

• User-agent и Disallow/Allow — с заглавной буквы (хотя многие роботы нечувствительны к регистру)
• Одна директива на строку
• Путь без пробелов в начале

Решение

User-agent: *
Disallow: /admin/
Disallow: /temp/
Allow: /public/
Sitemap: https://example.com/sitemap.xml

7. Конфликт Allow и Disallow

Ошибка

User-agent: *
Disallow: /catalog/
Allow: /catalog/products/

Порядок важен. В стандарте robots.txt более специфичный путь имеет приоритет. Allow: /catalog/products/ должен разрешить доступ к /catalog/products/, даже если /catalog/ запрещён. Но не все роботы одинаково интерпретируют специфичность.

Правило

Более длинный путь обычно считается более специфичным. Allow: /catalog/products/ переопределяет Disallow: /catalog/ для Google.

Решение

Проверьте логику: если /catalog/ запрещён, а /catalog/products/ должен быть доступен — Allow должен идти после Disallow и быть более конкретным. Для проверки используйте Анализатор robots.txt reChecker.

Чек-лист перед публикацией

1. Нет Disallow: / (если сайт должен индексироваться)
2. Не закрыты каталог, товары, блог
3. Не закрыты все URL с параметрами (/*?*)
4. Изображения разрешены (Allow для нужных папок)
5. Указан Sitemap
6. Нет синтаксических ошибок
7. Allow и Disallow не конфликтуют неожиданно

Итог

Самые опасные ошибки — закрытие всего сайта (Disallow: /), важных разделов и изображений. Избегайте широких паттернов вроде /*?*, добавляйте Sitemap и проверяйте структуру через анализатор robots.txt. Небольшая ошибка может привести к потере значительной части индексации и трафика.