Массовая проверка URL — необходимость при аудите сайтов с сотнями и тысячами страниц. Ручная проверка каждого адреса невозможна. В этом руководстве разберём сценарии использования, методы проверки и интерпретацию результатов.
Зачем нужна массовая проверка
Аудит после миграции
После переноса сайта на новый домен или смены CMS нужно убедиться, что все важные URL возвращают 200 или корректный 301. Ошибки 404, битые редиректы, цепочки — выявляются массовой проверкой.
Мониторинг битых ссылок
Внутренние и внешние ссылки со временем «ломаются»: страницы удаляются, URL меняются. Регулярная проверка выявляет 404 до того, как они накопятся. Подробнее о влиянии битых ссылок — в статье о битых ссылках и SEO.
Проверка редиректов
Цепочки редиректов (A→B→C→D) замедляют загрузку и могут терять ссылочный вес. Массовая проверка показывает финальный URL и длину цепочки. Рекомендации — в руководстве по редиректам.
Валидация sitemap
URL из sitemap должны возвращать 200. Проверка выявляет страницы, удалённые без обновления sitemap, и страницы с ошибками.
Контроль после массовых изменений
Обновление структуры каталога, смена ЧПУ, объединение страниц — после таких изменений массовая проверка подтверждает корректность.
Что проверять
HTTP статус-код
Основной показатель. 200 — страница доступна. 301/302 — редирект. 404 — не найдена. 500 — ошибка сервера. Справочник кодов — в руководстве по HTTP статус-кодам.
Финальный URL после редиректов
При 301/302 важно знать, куда ведёт редирект. Цель — один редирект на целевой URL, без цепочек.
Время ответа
Медленные страницы (> 3 секунд) влияют на UX и Core Web Vitals. Массовая проверка может включать замер TTFB.
Наличие контента
Страница с кодом 200 может быть пустой (soft 404). Проверка размера ответа или наличия ключевых элементов выявляет такие случаи.
Источники URL для проверки
Sitemap
XML sitemap содержит список URL для индексации. Импорт из sitemap — стандартный способ получить список для проверки.
Crawl сайта
Сканер обходит сайт по ссылкам и собирает URL. Показывает реальную структуру, включая страницы, не попавшие в sitemap.
Список из файла
CSV или TXT с URL — ручной список страниц для проверки. Удобно для выборочной проверки (например, только товарные карточки).
Google Search Console
Экспорт URL из отчётов «Покрытие» или «Страницы». Проверка того, что видит Google.
Внутренние ссылки
Извлечение URL из внутренних ссылок сайта. Выявляет битые внутренние ссылки.
Инструменты массовой проверки
reChecker Bulk Checker
Массовая проверка URL на reChecker позволяет загрузить список URL (из sitemap, файла или ввода) и получить статус-коды, финальные URL после редиректов, время ответа. Результаты экспортируются для анализа.
reChecker Broken Links
Инструмент проверки битых ссылок reChecker сканирует страницы и проверяет все ссылки (внутренние и внешние). Выявляет 404, редиректы, таймауты.
Командная строка (curl + xargs)
Для небольших списков:
# Проверка списка URL из файла urls.txt
while read url; do
code=$(curl -o /dev/null -s -w "%{http_code}" -L "$url")
echo "$url $code"
done < urls.txt
Скрипты (Python, Node.js)
При необходимости кастомной логики — скрипт с asyncio/aiohttp (Python) или axios (Node.js) для параллельных запросов с ограничением частоты.
Интерпретация результатов
Распределение по кодам
| Код | Доля | Действие |
|---|---|---|
| 200 | > 90% | Норма |
| 301 | 5–10% | Проверить целевые URL |
| 404 | > 5% | Аудит, редиректы или удаление из sitemap |
| 500, 502, 503 | Любая | Срочно исправить |
Цепочки редиректов
Если A→B→C→D, сократите до A→D. Каждый лишний редирект — задержка и риск потери веса.
Группировка ошибок
Сгруппируйте 404 по паттернам: /old-category/, /product/?id=, /page?utm_*. Паттерны подсказывают системные причины (удалённая категория, неверные параметры).
Частота проверки
- После миграции: однократно + через неделю
- Регулярный мониторинг: раз в месяц для средних сайтов, раз в неделю для крупных
- После массовых изменений: сразу после внедрения
Ограничения и этика
Rate limiting
Не отправляйте тысячи запросов в секунду на один сайт. Это создаёт нагрузку и может вызвать блокировку. Инструменты с паузой между запросами (100–500 мс) — разумный компромисс.
Внешние сайты
При проверке внешних ссылок соблюдайте robots.txt и не перегружайте чужие серверы.
Обработка результатов
Экспорт и отчётность
Результаты массовой проверки обычно экспортируются в CSV или Excel. Группируйте по статус-коду, домену, типу страницы. Создайте сводную таблицу для отчёта.
Приоритизация исправлений
- Критично: 5xx ошибки, массовые 404 на важных страницах
- Высокий приоритет: Цепочки редиректов, 404 на страницах с трафиком
- Средний: Отдельные 404, редиректы на неоптимальные URL
- Низкий: Мелкие несоответствия
Интеграция в workflow
Включите массовую проверку в регулярный аудит: после каждого крупного обновления, ежемесячно для мониторинга. Автоматизируйте уведомления при появлении критичных ошибок (если инструмент поддерживает).
Специфика для разных типов сайтов
Интернет-магазины
Тысячи товарных карточек. Проверка sitemap — основной источник. Обращайте внимание на 404 после обновления каталога, редиректы при смене ЧПУ товаров.
Информационные сайты
Меньше страниц, но каждая важна. Проверка внутренних ссылок выявляет битые ссылки в статьях. Регулярная проверка после публикаций.
Корпоративные сайты
Небольшое количество страниц. Полная проверка за минуты. Акцент на редиректы после редизайна, смены структуры.
Альтернативные методы проверки
Серверные логи
Анализ логов показывает реальные запросы и коды ответов. Выявляет страницы, к которым обращаются пользователи и боты, но которые не попали в sitemap.
Google Search Console
Отчёт «Покрытие» показывает проиндексированные и исключённые URL. Не заменяет массовую проверку, но дополняет — видно, что именно видит Google.
Сканеры сайтов
Screaming Frog, Sitebulb и аналоги — полный crawl с проверкой статус-кодов. Подходит для аудита, но требует установки и настройки. Bulk checker reChecker — веб-инструмент без установки.
Чек-лист массовой проверки
| Шаг | Действие |
|---|---|
| 1. Сбор URL | Sitemap, crawl или список |
| 2. Проверка | Запуск bulk checker |
| 3. Анализ | Группировка по кодам, выявление паттернов |
| 4. Приоритизация | Критичные 404, цепочки редиректов |
| 5. Исправление | Редиректы, обновление sitemap, исправление ссылок |
| 6. Повторная проверка | Подтверждение после изменений |
Форматы входных данных
Sitemap XML
Загрузите URL sitemap — инструмент извлечёт все URL и проверит их. Удобно для полной проверки индексируемых страниц.
CSV/TXT
Список URL по одному на строку. Подходит для выборочной проверки, экспорта из других инструментов, ручного списка.
Вставка из буфера
Вставка списка URL из буфера обмена. Быстрая проверка без загрузки файла.
Результаты и отчёты
Структура отчёта
Типичные поля: URL, статус-код, финальный URL (после редиректов), время ответа, размер ответа. Группировка по кодам, экспорт в CSV для дальнейшего анализа.
Визуализация
Некоторые инструменты показывают распределение по кодам в виде диаграмм. Быстрое понимание масштаба проблем.
Сравнение с предыдущими проверками
При регулярных проверках сравнивайте результаты. Появление новых 404, изменение цепочек редиректов — сигналы для расследования.
Интеграция в CI/CD
Для автоматизации при деплое: скрипт проверяет ключевые URL после выката. При наличии 5xx или критичных 404 — откат или алерт. Ограничьте количество URL для скорости пайплайна.
Связанные материалы
Справочник по кодам — в руководстве по HTTP статус-кодам. Исправление 404 — в руководстве по 404. Влияние битых ссылок — в статье о битых ссылках. Массовая проверка и поиск битых ссылок — в bulk checker и инструменте битых ссылок на reChecker.