Robots.txt — простой файл, но ошибки в нём могут привести к тому, что поисковые роботы перестанут индексировать важные страницы или, наоборот, будут индексировать служебные разделы. В этой статье разберём семь наиболее опасных ошибок и способы их исправления.
1. Disallow: / — закрытие всего сайта
Ошибка
User-agent: *
Disallow: /
Эта директива запрещает индексацию всего сайта. Роботы не будут краулить страницы.
Когда это нужно
Только для временного закрытия (например, на время разработки) или для служебных поддоменов (staging, test).
Решение
Удалите Disallow: / или замените на конкретные пути:
User-agent: *
Disallow: /admin/
Disallow: /temp/
Sitemap: https://example.com/sitemap.xml
2. Случайное закрытие важных разделов
Ошибка
User-agent: *
Disallow: /catalog/
Disallow: /product/
Если /catalog/ и /product/ — основные разделы сайта, они полностью исчезнут из индекса.
Причины
- Копирование robots.txt с другого сайта без проверки
- Опечатка в пути (например,
Disallow: /catalo/вместоDisallow: /catalog/— но тогда закрывается несуществующий путь) - Слишком широкие паттерны
Решение
Проверьте структуру URL сайта. Закрывайте только служебные разделы: админка, поиск, корзина, личный кабинет, кэш.
Используйте Анализатор robots.txt reChecker — он покажет, какие пути будут запрещены или разрешены.
3. Disallow: /? — закрытие URL с параметрами
Ошибка
User-agent: *
Disallow: /*?*
Многие страницы используют query-параметры: фильтры, сортировка, пагинация, UTM. Паттерн /*?* закрывает все URL с параметрами.
Последствия
- Страницы товаров с
?id=123могут не индексироваться - Страницы с UTM-метками (дубли) — это нормально закрывать, но не все параметры
- Фильтры и сортировка в каталогах — часто дубли, но не всегда
Решение
Закрывайте только конкретные параметры:
Disallow: /*?*utm_
Disallow: /*?*sort=
Disallow: /*?*filter=
Или не закрывайте параметры вообще, если не уверены. Лучше использовать canonical для дублей.
4. Закрытие изображений (картинок товаров)
Ошибка
User-agent: *
Disallow: /upload/
Disallow: /images/
Disallow: /media/
Для интернет-магазинов и контент-сайтов изображения важны для SEO (Google Images, карточки товаров).
Решение
Разрешите индексацию изображений:
Disallow: /upload/
Allow: /upload/iblock/
Allow: /upload/resize_cache/
Allow: /images/
Проверьте структуру: возможно, изображения лежат в /upload/ или /media/. Используйте Allow для нужных подпапок.
5. Отсутствие Sitemap
Ошибка
В robots.txt нет директивы Sitemap:.
Последствия
Роботы не получают явный указатель на карту сайта. Индексация может быть медленнее, особенно для больших сайтов.
Решение
Добавьте в конец robots.txt:
Sitemap: https://example.com/sitemap.xml
Для нескольких sitemap:
Sitemap: https://example.com/sitemap_index.xml
Sitemap: https://example.com/sitemap-products.xml
Sitemap: https://example.com/sitemap-blog.xml
6. Синтаксические ошибки
Ошибки
- Пробелы перед директивами:
Disallow: /admin/ - Неправильный регистр:
disallow: /admin/(должно бытьDisallow) - Несколько значений в одной строке:
Disallow: /admin/ /temp/ - Пустые строки между
User-agentи его правилами (в некоторых парсерах может сломать группу)
Стандарт
Согласно спецификации:
User-agentиDisallow/Allow— с заглавной буквы (хотя многие роботы нечувствительны к регистру)- Одна директива на строку
- Путь без пробелов в начале
Решение
User-agent: *
Disallow: /admin/
Disallow: /temp/
Allow: /public/
Sitemap: https://example.com/sitemap.xml
7. Конфликт Allow и Disallow
Ошибка
User-agent: *
Disallow: /catalog/
Allow: /catalog/products/
Порядок важен. В стандарте robots.txt более специфичный путь имеет приоритет. Allow: /catalog/products/ должен разрешить доступ к /catalog/products/, даже если /catalog/ запрещён. Но не все роботы одинаково интерпретируют специфичность.
Правило
Более длинный путь обычно считается более специфичным. Allow: /catalog/products/ переопределяет Disallow: /catalog/ для Google.
Решение
Проверьте логику: если /catalog/ запрещён, а /catalog/products/ должен быть доступен — Allow должен идти после Disallow и быть более конкретным. Для проверки используйте Анализатор robots.txt reChecker.
Чек-лист перед публикацией
- Нет
Disallow: /(если сайт должен индексироваться) - Не закрыты каталог, товары, блог
- Не закрыты все URL с параметрами (
/*?*) - Изображения разрешены (Allow для нужных папок)
- Указан Sitemap
- Нет синтаксических ошибок
- Allow и Disallow не конфликтуют неожиданно
Итог
Самые опасные ошибки — закрытие всего сайта (Disallow: /), важных разделов и изображений. Избегайте широких паттернов вроде /*?*, добавляйте Sitemap и проверяйте структуру через анализатор robots.txt. Небольшая ошибка может привести к потере значительной части индексации и трафика.