Генератор robots.txt
Создайте правильный robots.txt за несколько кликов. Настройте правила для разных поисковых ботов, укажите sitemap.
Быстрые пресеты:
Правило #1
robots.txt
User-agent: * Disallow: /admin/ Disallow: /api/private/ Sitemap: https://example.com/sitemap.xml
Советы
- •Разместите файл по адресу
https://yourdomain.com/robots.txt - •Googlebot игнорирует Crawl-delay — используйте Search Console
- •
Disallow: /закрывает весь сайт от бота - •Allow имеет приоритет над Disallow для более точных совпадений
- •Robots.txt не скрывает страницы из индекса — используйте noindex для этого
О сервисе Генератор robots.txt
Генератор robots.txt помогает создать файл robots.txt с помощью визуального редактора. Добавляйте правила для разных User-agent, блокируйте или разрешайте пути, указывайте Sitemap. Инструмент генерирует корректный синтаксис и позволяет скачать готовый файл.
Часто задаваемые вопросы
В корне сайта: https://example.com/robots.txt. Файл должен быть доступен по этому URL. Сервер должен отдавать его с типом text/plain.
Добавьте правило User-agent: * и Disallow: /. Это заблокирует обход всех страниц. Учтите, что это не защита — файл публично доступен. Для закрытых разделов используйте авторизацию.
Используйте Disallow: / для блокировки всего, затем Allow: /разрешенный-путь/ для исключений. Порядок правил может влиять на интерпретацию — проверяйте через Анализатор robots.txt.
Рекомендуется. Строка Sitemap: https://example.com/sitemap.xml помогает роботам найти карту сайта. Также отправьте sitemap в Google Search Console.
После генерации загрузите файл на сайт и проверьте его через Анализатор robots.txt. Введите URL вашего robots.txt — инструмент распарсит правила и покажет, что разрешено и что заблокировано.
Полезные статьи
Руководства и советы по теме
Связанные инструменты
Другие полезные сервисы reChecker