Создайте файл
Разместите robots.txt в корне сайта.
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xmlЗагрузка...
Загрузка...
Нашли ошибку в reChecker? Опишите, что произошло, и укажите адрес страницы. Оставьте email или телефон — ответим после проверки.
SEO
Robots.txt — файл, управляющий доступом поисковых роботов к страницам сайта. Неправильная настройка может полностью закрыть сайт от индексации.
3 шагов: от поиска причины до повторной проверки.
Разместите robots.txt в корне сайта.
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xmlGoogle нужен доступ к CSS и JS файлам для рендеринга страниц. Не добавляйте Disallow для /css/ и /js/.
Используйте инструмент проверки robots.txt в Google Search Console или на rechecker.ru.
Запустите аудит и узнайте, есть ли эта проблема на вашем сайте.