Robots.txt задаёт правила для поисковых роботов: какие разделы индексировать, а какие запретить. В разных CMS структура URL и служебные папки отличаются — поэтому нужны адаптированные примеры. В этой статье собраны готовые конфигурации для популярных платформ.
Базовая структура robots.txt
User-agent: *
Disallow: /служебные-папки/
Allow: /путь-к-которому-разрешаем-доступ/
Sitemap: https://example.com/sitemap.xml
Директива Allow переопределяет Disallow для более конкретного пути. Sitemap указывает роботам на карту сайта.
WordPress
Стандартный пример
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/.*\.(php|php5|php7|phtml)$
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap_index.xml
Пояснения
| Директива | Причина |
|---|---|
Disallow: /wp-admin/ | Админка — не для индексации |
Allow: /wp-admin/admin-ajax.php | AJAX-запросы для фронтенда |
Disallow: /wp-includes/ | Служебные скрипты и стили |
Disallow: /wp-content/plugins/ | Код плагинов |
Disallow: /wp-content/cache/ | Кэш |
| `Disallow: /wp-content/uploads/.*.(php | php5 |
Allow: /wp-content/uploads/ | Картинки в uploads разрешены |
Disallow: /?s= | Страницы поиска (дубли) |
Disallow: /author/ | Архивы авторов (по желанию) |
Disallow: /*?* | URL с параметрами (осторожно: может скрыть нужные страницы) |
Disallow: /*?* может скрыть нужные страницы (например, с UTM). Для интернет-магазинов часто лучше не использовать или уточнить паттерн.
Yoast SEO / Rank Math
Плагины генерируют sitemap. URL обычно:
https://example.com/sitemap_index.xml(Yoast)https://example.com/sitemap.xml(Rank Math)
1С-Битрикс
Стандартный пример
User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /?logout=
Disallow: /*?*utm_
Allow: /upload/resize_cache/
Allow: /upload/iblock/
Sitemap: https://example.com/sitemap.xml
Пояснения
| Директива | Причина |
|---|---|
Disallow: /bitrix/ | Ядро и служебные скрипты |
Disallow: /upload/ | Загрузки (осторожно: картинки товаров!) |
Allow: /upload/resize_cache/ | Кэш изображений — часто нужен для превью |
Allow: /upload/iblock/ | Изображения инфоблоков |
Disallow: /local/ | Локальные модули и кэш |
Disallow: /auth/ | Авторизация |
Disallow: /personal/ | Личный кабинет |
Disallow: /*?*utm_ | UTM-метки (дубли контента) |
Для интернет-магазинов на Битриксе важно разрешить индексацию изображений товаров. Если они в /upload/, используйте Allow для нужных подпапок:
Disallow: /upload/
Allow: /upload/iblock/
Allow: /upload/resize_cache/
Joomla
Стандартный пример
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /temp/
Disallow: /tmp/
Disallow: /component/
Disallow: /?format=
Disallow: /search/
Allow: /images/
Allow: /media/
Sitemap: https://example.com/sitemap.xml
Пояснения
| Директива | Причина |
|---|---|
Disallow: /administrator/ | Админка |
Disallow: /cache/, /temp/, /tmp/ | Кэш и временные файлы |
Disallow: /includes/, /libraries/ | Служебные скрипты |
Disallow: /installation/ | Установщик (удалить после установки) |
Disallow: /component/ | Служебные URL компонентов |
Disallow: /?format= | Альтернативные форматы (print, feed) |
Allow: /images/, /media/ | Изображения и медиа |
ModX / Evolution CMS
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /core/
Disallow: /manager/
Disallow: /connectors/
Sitemap: https://example.com/sitemap.xml
OpenCart
User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /index.php?route=checkout/
Disallow: /index.php?route=account/
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?limit=
Allow: /image/
Sitemap: https://example.com/index.php?route=extension/feed/google_sitemap
Проверка и генерация
После настройки проверьте robots.txt:
- Откройте
https://example.com/robots.txtв браузере - Убедитесь, что нет синтаксических ошибок
- Проверьте, что нужные страницы не закрыты случайно
Используйте Анализатор robots.txt reChecker для проверки директив и выявления конфликтов. Для создания файла с нуля — Генератор robots.txt.
Специальные правила для роботов
Googlebot
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/
User-agent: *
Disallow: /admin/
Yandex
User-agent: Yandex
Disallow: /personal/
Disallow: /search/
Crawl-delay: 1
Crawl-delay поддерживается только Yandex. Для Google не действует.
Итог
Каждая CMS имеет свои служебные папки и URL. WordPress: /wp-admin/, /wp-includes/. Битрикс: /bitrix/, /upload/. Joomla: /administrator/, /cache/. Используйте готовые примеры как основу и адаптируйте под структуру сайта. Проверяйте результат через анализатор robots.txt и избегайте случайного закрытия важных страниц.