Как проверить Robots.txt на моём сайте?

Запустите бесплатный аудит на rechecker.ru/services/tech — введите URL сайта и через минуту получите подробный отчёт, включая проверку Robots.txt.

SEO

Как настроить Robots.txt

Robots.txt — файл, управляющий доступом поисковых роботов к страницам сайта. Неправильная настройка может полностью закрыть сайт от индексации.

Разместите robots.txt в корне сайта.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Google нужен доступ к CSS и JS файлам для рендеринга страниц. Не добавляйте Disallow для /css/ и /js/.

Используйте инструмент проверки robots.txt в Google Search Console или на rechecker.ru.

Запустите аудит и узнайте, есть ли эта проблема на вашем сайте