Загрузка...
Загрузка...
Нашли баг, сбой или ошибку в работе reChecker? Есть предложение по улучшению? Напишите нам, чтобы мы проверили и исправили проблему в сервисе.
Создайте правильный robots.txt за несколько кликов. Настройте правила для разных поисковых ботов, укажите sitemap.
Быстрые пресеты:
User-agent: * Disallow: /admin/ Disallow: /api/private/ Sitemap: https://example.com/sitemap.xml
https://yourdomain.com/robots.txtDisallow: / закрывает весь сайт от ботаГенератор robots.txt помогает создать файл robots.txt с помощью визуального редактора. Добавляйте правила для разных User-agent, блокируйте или разрешайте пути, указывайте Sitemap. Инструмент генерирует корректный синтаксис и позволяет скачать готовый файл.
В корне сайта: https://example.com/robots.txt. Файл должен быть доступен по этому URL. Сервер должен отдавать его с типом text/plain.
Добавьте правило User-agent: * и Disallow: /. Это заблокирует обход всех страниц. Учтите, что это не защита — файл публично доступен. Для закрытых разделов используйте авторизацию.
Используйте Disallow: / для блокировки всего, затем Allow: /разрешенный-путь/ для исключений. Порядок правил может влиять на интерпретацию — проверяйте через Анализатор robots.txt.
Рекомендуется. Строка Sitemap: https://example.com/sitemap.xml помогает роботам найти карту сайта. Также отправьте sitemap в Google Search Console.
После генерации загрузите файл на сайт и проверьте его через Анализатор robots.txt. Введите URL вашего robots.txt — инструмент распарсит правила и покажет, что разрешено и что заблокировано.
Руководства и советы по теме
Другие полезные сервисы reChecker