Загрузка...
Загрузка...
Готовые примеры robots.txt для WordPress, 1С-Битрикс, Joomla и других CMS. Рекомендуемые директивы и настройка для SEO.
Бесплатные онлайн-инструменты по теме статьи
Подробное руководство по созданию и оптимизации robots.txt файлов. Настройка для различных CMS, лучшие практики и типичные ошибки. Практические примеры для веб-разработчиков и SEO-специалистов.
SEOТипичные ошибки в robots.txt, приводящие к потере индексации и трафика. Как избежать и исправить.
SEOПошаговая настройка sitemap.xml в WordPress с Yoast SEO и Rank Math. Включение и исключение типов контента, индексы, отправка в Search Console.
SEOСвязь между качеством HTML-разметки и SEO: парсинг, доступность, Core Web Vitals. Какие ошибки критичны, какие — нет.
Поделитесь с коллегами или изучите другие материалы блога
Robots.txt задаёт правила для поисковых роботов: какие разделы индексировать, а какие запретить. В разных CMS структура URL и служебные папки отличаются — поэтому нужны адаптированные примеры. В этой статье собраны готовые конфигурации для популярных платформ.
User-agent: *
Disallow: /служебные-папки/
Allow: /путь-к-которому-разрешаем-доступ/
Sitemap: https://example.com/sitemap.xml
Директива Allow переопределяет Disallow для более конкретного пути. Sitemap указывает роботам на карту сайта.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/uploads/.*\.(php|php5|php7|phtml)$
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /feed/
Disallow: /trackback/
Disallow: /*?*
Allow: /wp-content/uploads/
Sitemap: https://example.com/sitemap_index.xml
| Директива | Причина |
|---|---|
Disallow: /wp-admin/ | Админка — не для индексации |
Allow: /wp-admin/admin-ajax.php | AJAX-запросы для фронтенда |
Disallow: /wp-includes/ | Служебные скрипты и стили |
Disallow: /wp-content/plugins/ | Код плагинов |
Disallow: /wp-content/cache/ | Кэш |
| `Disallow: /wp-content/uploads/.*.(php | php5 |
Allow: /wp-content/uploads/ | Картинки в uploads разрешены |
Disallow: /?s= | Страницы поиска (дубли) |
Disallow: /author/ | Архивы авторов (по желанию) |
Disallow: /*?* | URL с параметрами (осторожно: может скрыть нужные страницы) |
Disallow: /*?* может скрыть нужные страницы (например, с UTM). Для интернет-магазинов часто лучше не использовать или уточнить паттерн.
Плагины генерируют sitemap. URL обычно:
https://example.com/sitemap_index.xml (Yoast)https://example.com/sitemap.xml (Rank Math)User-agent: *
Disallow: /bitrix/
Disallow: /upload/
Disallow: /local/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /?logout=
Disallow: /*?*utm_
Allow: /upload/resize_cache/
Allow: /upload/iblock/
Sitemap: https://example.com/sitemap.xml
| Директива | Причина |
|---|---|
Disallow: /bitrix/ | Ядро и служебные скрипты |
Disallow: /upload/ | Загрузки (осторожно: картинки товаров!) |
Allow: /upload/resize_cache/ | Кэш изображений — часто нужен для превью |
Allow: /upload/iblock/ | Изображения инфоблоков |
Disallow: /local/ | Локальные модули и кэш |
Disallow: /auth/ | Авторизация |
Disallow: /personal/ | Личный кабинет |
Disallow: /*?*utm_ | UTM-метки (дубли контента) |
Для интернет-магазинов на Битриксе важно разрешить индексацию изображений товаров. Если они в /upload/, используйте Allow для нужных подпапок:
Disallow: /upload/
Allow: /upload/iblock/
Allow: /upload/resize_cache/
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /temp/
Disallow: /tmp/
Disallow: /component/
Disallow: /?format=
Disallow: /search/
Allow: /images/
Allow: /media/
Sitemap: https://example.com/sitemap.xml
| Директива | Причина |
|---|---|
Disallow: /administrator/ | Админка |
Disallow: /cache/, /temp/, /tmp/ | Кэш и временные файлы |
Disallow: /includes/, /libraries/ | Служебные скрипты |
Disallow: /installation/ | Установщик (удалить после установки) |
Disallow: /component/ | Служебные URL компонентов |
Disallow: /?format= | Альтернативные форматы (print, feed) |
Allow: /images/, /media/ | Изображения и медиа |
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /core/
Disallow: /manager/
Disallow: /connectors/
Sitemap: https://example.com/sitemap.xml
User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /catalog/
Disallow: /download/
Disallow: /index.php?route=checkout/
Disallow: /index.php?route=account/
Disallow: /*?sort=
Disallow: /*?order=
Disallow: /*?limit=
Allow: /image/
Sitemap: https://example.com/index.php?route=extension/feed/google_sitemap
После настройки проверьте robots.txt:
https://example.com/robots.txt в браузереИспользуйте Анализатор robots.txt reChecker для проверки директив и выявления конфликтов. Для создания файла с нуля — Генератор robots.txt.
User-agent: Googlebot
Disallow: /admin/
Allow: /admin/public/
User-agent: *
Disallow: /admin/
User-agent: Yandex
Disallow: /personal/
Disallow: /search/
Crawl-delay: 1
Crawl-delay поддерживается только Yandex. Для Google не действует.
Каждая CMS имеет свои служебные папки и URL. WordPress: /wp-admin/, /wp-includes/. Битрикс: /bitrix/, /upload/. Joomla: /administrator/, /cache/. Используйте готовые примеры как основу и адаптируйте под структуру сайта. Проверяйте результат через анализатор robots.txt и избегайте случайного закрытия важных страниц.