Загрузка...
Загрузка...
Нашли ошибку в reChecker? Опишите, что произошло, и укажите адрес страницы. Оставьте email или телефон — ответим после проверки.
Создайте правильный robots.txt за несколько кликов. Настройте правила для разных поисковых ботов, укажите sitemap.
Быстрые пресеты:
User-agent: *
Disallow: /admin/
Disallow: /api/private/
Sitemap: https://example.com/sitemap.xmlhttps://yourdomain.com/robots.txtDisallow: / закрывает весь сайт от ботаГенератор robots.txt помогает создать файл robots.txt с помощью визуального редактора. Добавляйте правила для разных User-agent, блокируйте или разрешайте пути, указывайте Sitemap. Инструмент генерирует корректный синтаксис и позволяет скачать готовый файл.
Визуальный редактор правил
Поддержка нескольких User-agent
Директивы Disallow, Allow, Sitemap
Предпросмотр результата
Скачивание готового файла
Шаблоны для типичных настроек
В корне сайта: https://example.com/robots.txt. Файл должен быть доступен по этому URL. Сервер должен отдавать его с типом text/plain.
Руководства и советы по теме