Загрузка...
Загрузка...
Нашли баг, сбой или ошибку в работе reChecker? Есть предложение по улучшению? Напишите нам, чтобы мы проверили и исправили проблему в сервисе.
Готовые примеры robots.txt для WordPress, 1С-Битрикс, Joomla и других CMS. Рекомендуемые директивы и настройка для SEO.
Бесплатные онлайн-инструменты по теме статьи
Быстрые определения и связанные понятия из SEO-глоссария reChecker.
Robots.txt — текстовый файл в корне сайта, управляющий доступом поисковых роботов к страницам. Узнайте как правильно настроить robots.txt для SEO.
Читать в глоссарии →Sitemap (карта сайта) — XML-файл, перечисляющий все страницы сайта для поисковых роботов. Узнайте как создать и проверить sitemap.xml.
Читать в глоссарии →SEO-аудит — комплексная проверка сайта для выявления факторов, мешающих ранжированию. Включает технический анализ, on-page SEO, ссылочный профиль и контент.
Читать в глоссарии →Краулинг (crawlability) — способность поисковых роботов обходить страницы сайта. Проблемы с краулингом приводят к тому что страницы не попадают в индекс.
Читать в глоссарии →Подробное руководство по битым ссылкам: влияние на SEO, поиск 404 ошибок, инструменты проверки и методы исправления. Практические советы для вебмастеров.
SEOПоиск дублированного контента на сайте. Причины появления дублей, инструменты диагностики, исправление через canonical и редиректы. Практическое руководство.
SEOПошаговое руководство по исправлению ошибок SEO аудита: редиректы, битые ссылки, мета-теги, скорость загрузки. Практические инструкции и приоритизация.
SEOТипичные ошибки в robots.txt, приводящие к потере индексации и трафика. Как избежать и исправить.
Поделитесь с коллегами или изучите другие материалы блога
Robots.txt задаёт правила для поисковых роботов: какие разделы индексировать, а какие запретить. В разных CMS структура URL и служебные папки отличаются — поэтому нужны адаптированные примеры. В этой статье собраны готовые конфигурации для популярных платформ.
User-agent: *
Disallow: /служебные-папки/
Allow: /путь-к-которому-разрешаем-доступ/
Sitemap: https://example.com/sitemap.xml
Директива Allow переопределяет Disallow для более конкретного пути. Sitemap указывает роботам на карту сайта.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/.*\.(php|php5|php7|phtml)$
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap_index.xml
| Директива | Причина |
|---|---|
Disallow: /wp-admin/ | Админка — не для индексации |
Allow: /wp-admin/admin-ajax.php | AJAX-запросы для фронтенда |
Disallow: /wp-includes/ | Служебные скрипты и стили |
Disallow: /wp-content/plugins/ | Код плагинов |
Disallow: /wp-content/cache/ | Кэш |
| `Disallow: /wp-content/uploads/.*.(php | php5 |
Allow: /wp-content/uploads/ | Картинки в uploads разрешены |
Disallow: /?s= | Страницы поиска (дубли) |
Disallow: /author/ | Архивы авторов (по желанию) |
Disallow: /*?* | URL с параметрами (осторожно: может скрыть нужные страницы) |
Disallow: /*?* может скрыть нужные страницы (например, с UTM). Для интернет-магазинов часто лучше не использовать или уточнить паттерн.
Плагины генерируют sitemap. URL обычно:
https://example.com/sitemap_index.xml (Yoast)https://example.com/sitemap.xml (Rank Math)User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /?logout=
Disallow: /*?*utm_
Allow: /upload/resize_cache/
Allow: /upload/iblock/
Sitemap: https://example.com/sitemap.xml
| Директива | Причина |
|---|---|
Disallow: /bitrix/ | Ядро и служебные скрипты |
Disallow: /upload/ | Загрузки (осторожно: картинки товаров!) |
Allow: /upload/resize_cache/ | Кэш изображений — часто нужен для превью |
Allow: /upload/iblock/ | Изображения инфоблоков |
Disallow: /local/ | Локальные модули и кэш |
Disallow: /auth/ | Авторизация |
Disallow: /personal/ | Личный кабинет |
Disallow: /*?*utm_ | UTM-метки (дубли контента) |
Для интернет-магазинов на Битриксе важно разрешить индексацию изображений товаров. Если они в /upload/, используйте Allow для нужных подпапок:
Disallow: /upload/
Allow: /upload/iblock/
Allow: /upload/resize_cache/
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /temp/
Disallow: /tmp/
Disallow: /component/
Disallow: /?format=
Disallow: /search/
Allow: /images/
Allow: /media/
Sitemap: https://example.com/sitemap.xml
| Директива | Причина |
|---|---|
Disallow: /administrator/ | Админка |
Disallow: /cache/, /temp/, /tmp/ | Кэш и временные файлы |
Disallow: /includes/, /libraries/ | Служебные скрипты |
Disallow: /installation/ | Установщик (удалить после установки) |
Disallow: /component/ | Служебные URL компонентов |
Disallow: /?format= | Альтернативные форматы (print, feed) |
Allow: /images/, /media/ | Изображения и медиа |
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /core/
Disallow: /manager/
Disallow: /connectors/
Sitemap: https://example.com/sitemap.xml
User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /index.php?route=checkout/
Disallow: /index.php?route=account/
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?limit=
Allow: /image/
Sitemap: https://example.com/index.php?route=extension/feed/google_sitemap
После настройки проверьте robots.txt:
https://example.com/robots.txt в браузереИспользуйте Анализатор robots.txt reChecker для проверки директив и выявления конфликтов. Для создания файла с нуля — Генератор robots.txt.
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/
User-agent: *
Disallow: /admin/
User-agent: Yandex
Disallow: /personal/
Disallow: /search/
Crawl-delay: 1
Crawl-delay поддерживается только Yandex. Для Google не действует.
Каждая CMS имеет свои служебные папки и URL. WordPress: /wp-admin/, /wp-includes/. Битрикс: /bitrix/, /upload/. Joomla: /administrator/, /cache/. Используйте готовые примеры как основу и адаптируйте под структуру сайта. Проверяйте результат через анализатор robots.txt и избегайте случайного закрытия важных страниц.