Загрузка...
Загрузка...
Если reChecker работает неправильно, опишите проблему и укажите страницу, на которой она возникла. Оставьте email или телефон — мы ответим после проверки.
Создайте правильный robots.txt за несколько кликов. Настройте правила для разных поисковых ботов, укажите sitemap.
Быстрые пресеты:
User-agent: * Disallow: /admin/ Disallow: /api/private/ Sitemap: https://example.com/sitemap.xml
https://yourdomain.com/robots.txtDisallow: / закрывает весь сайт от ботаГенератор robots.txt помогает создать файл robots.txt с помощью визуального редактора. Добавляйте правила для разных User-agent, блокируйте или разрешайте пути, указывайте Sitemap. Инструмент генерирует корректный синтаксис и позволяет скачать готовый файл.
Визуальный редактор правил
Поддержка нескольких User-agent
Директивы Disallow, Allow, Sitemap
Предпросмотр результата
Скачивание готового файла
Шаблоны для типичных настроек
В корне сайта: https://example.com/robots.txt. Файл должен быть доступен по этому URL. Сервер должен отдавать его с типом text/plain.
Руководства и советы по теме