Загрузка...
Загрузка...
Found a bug, outage, or unexpected behavior in reChecker? Send us a message and we will check and fix it.
Создайте правильный robots.txt за несколько кликов. Настройте правила для разных поисковых ботов, укажите sitemap.
Быстрые пресеты:
User-agent: *
Disallow: /admin/
Disallow: /api/private/
Sitemap: https://example.com/sitemap.xmlhttps://yourdomain.com/robots.txtDisallow: / закрывает весь сайт от ботаГенератор robots.txt помогает создать файл robots.txt с помощью визуального редактора. Добавляйте правила для разных User-agent, блокируйте или разрешайте пути, указывайте Sitemap. Инструмент генерирует корректный синтаксис и позволяет скачать готовый файл.
Визуальный редактор правил
Поддержка нескольких User-agent
Директивы Disallow, Allow, Sitemap
Предпросмотр результата
Скачивание готового файла
Шаблоны для типичных настроек
В корне сайта: https://example.com/robots.txt. Файл должен быть доступен по этому URL. Сервер должен отдавать его с типом text/plain.
Guides and tips for this topic