Загрузка...
Загрузка...
Руководство по массовой проверке URL. Сценарии использования, инструменты, интерпретация результатов. Проверка статус-кодов, редиректов и битых ссылок на масштабе.
Справочник HTTP статус-кодов для SEO и веб-разработки. Значение кодов 2xx, 3xx, 4xx, 5xx. Влияние на индексацию и рекомендации по настройке.
SEOКак оптимизировать анкорный текст внутренних ссылок для SEO. Разнообразие анкоров, передача релевантности, избежание переоптимизации. Практические рекомендации.
SEOПрактическое руководство по Broken Link Building: поиск битых ссылок на чужих сайтах, создание заменяющего контента, outreach. Пошаговая стратегия для SEO-специалистов.
SEOПодробное руководство по битым ссылкам: влияние на SEO, поиск 404 ошибок, инструменты проверки и методы исправления. Практические советы для вебмастеров.
Поделитесь с коллегами или изучите другие материалы блога
Массовая проверка URL — необходимость при аудите сайтов с сотнями и тысячами страниц. Ручная проверка каждого адреса невозможна. В этом руководстве разберём сценарии использования, методы проверки и интерпретацию результатов.
После переноса сайта на новый домен или смены CMS нужно убедиться, что все важные URL возвращают 200 или корректный 301. Ошибки 404, битые редиректы, цепочки — выявляются массовой проверкой.
Внутренние и внешние ссылки со временем «ломаются»: страницы удаляются, URL меняются. Регулярная проверка выявляет 404 до того, как они накопятся. Подробнее о влиянии битых ссылок — в статье о битых ссылках и SEO.
Цепочки редиректов (A→B→C→D) замедляют загрузку и могут терять ссылочный вес. Массовая проверка показывает финальный URL и длину цепочки. Рекомендации — в руководстве по редиректам.
URL из sitemap должны возвращать 200. Проверка выявляет страницы, удалённые без обновления sitemap, и страницы с ошибками.
Обновление структуры каталога, смена ЧПУ, объединение страниц — после таких изменений массовая проверка подтверждает корректность.
Основной показатель. 200 — страница доступна. 301/302 — редирект. 404 — не найдена. 500 — ошибка сервера. Справочник кодов — в руководстве по HTTP статус-кодам.
При 301/302 важно знать, куда ведёт редирект. Цель — один редирект на целевой URL, без цепочек.
Медленные страницы (> 3 секунд) влияют на UX и Core Web Vitals. Массовая проверка может включать замер TTFB.
Страница с кодом 200 может быть пустой (soft 404). Проверка размера ответа или наличия ключевых элементов выявляет такие случаи.
XML sitemap содержит список URL для индексации. Импорт из sitemap — стандартный способ получить список для проверки.
Сканер обходит сайт по ссылкам и собирает URL. Показывает реальную структуру, включая страницы, не попавшие в sitemap.
CSV или TXT с URL — ручной список страниц для проверки. Удобно для выборочной проверки (например, только товарные карточки).
Экспорт URL из отчётов «Покрытие» или «Страницы». Проверка того, что видит Google.
Извлечение URL из внутренних ссылок сайта. Выявляет битые внутренние ссылки.
Массовая проверка URL на reChecker позволяет загрузить список URL (из sitemap, файла или ввода) и получить статус-коды, финальные URL после редиректов, время ответа. Результаты экспортируются для анализа.
Инструмент проверки битых ссылок reChecker сканирует страницы и проверяет все ссылки (внутренние и внешние). Выявляет 404, редиректы, таймауты.
Для небольших списков:
# Проверка списка URL из файла urls.txt
while read url; do
code=$(curl -o /dev/null -s -w "%{http_code}" -L "$url")
echo "$url $code"
done < urls.txt
При необходимости кастомной логики — скрипт с asyncio/aiohttp (Python) или axios (Node.js) для параллельных запросов с ограничением частоты.
| Код | Доля | Действие |
|---|---|---|
| 200 | > 90% | Норма |
| 301 | 5–10% | Проверить целевые URL |
| 404 | > 5% | Аудит, редиректы или удаление из sitemap |
| 500, 502, 503 | Любая | Срочно исправить |
Если A→B→C→D, сократите до A→D. Каждый лишний редирект — задержка и риск потери веса.
Сгруппируйте 404 по паттернам: /old-category/, /product/?id=, /page?utm_*. Паттерны подсказывают системные причины (удалённая категория, неверные параметры).
Не отправляйте тысячи запросов в секунду на один сайт. Это создаёт нагрузку и может вызвать блокировку. Инструменты с паузой между запросами (100–500 мс) — разумный компромисс.
При проверке внешних ссылок соблюдайте robots.txt и не перегружайте чужие серверы.
Результаты массовой проверки обычно экспортируются в CSV или Excel. Группируйте по статус-коду, домену, типу страницы. Создайте сводную таблицу для отчёта.
Включите массовую проверку в регулярный аудит: после каждого крупного обновления, ежемесячно для мониторинга. Автоматизируйте уведомления при появлении критичных ошибок (если инструмент поддерживает).
Тысячи товарных карточек. Проверка sitemap — основной источник. Обращайте внимание на 404 после обновления каталога, редиректы при смене ЧПУ товаров.
Меньше страниц, но каждая важна. Проверка внутренних ссылок выявляет битые ссылки в статьях. Регулярная проверка после публикаций.
Небольшое количество страниц. Полная проверка за минуты. Акцент на редиректы после редизайна, смены структуры.
Анализ логов показывает реальные запросы и коды ответов. Выявляет страницы, к которым обращаются пользователи и боты, но которые не попали в sitemap.
Отчёт «Покрытие» показывает проиндексированные и исключённые URL. Не заменяет массовую проверку, но дополняет — видно, что именно видит Google.
Screaming Frog, Sitebulb и аналоги — полный crawl с проверкой статус-кодов. Подходит для аудита, но требует установки и настройки. Bulk checker reChecker — веб-инструмент без установки.
| Шаг | Действие |
|---|---|
| 1. Сбор URL | Sitemap, crawl или список |
| 2. Проверка | Запуск bulk checker |
| 3. Анализ | Группировка по кодам, выявление паттернов |
| 4. Приоритизация | Критичные 404, цепочки редиректов |
| 5. Исправление | Редиректы, обновление sitemap, исправление ссылок |
| 6. Повторная проверка | Подтверждение после изменений |
Загрузите URL sitemap — инструмент извлечёт все URL и проверит их. Удобно для полной проверки индексируемых страниц.
Список URL по одному на строку. Подходит для выборочной проверки, экспорта из других инструментов, ручного списка.
Вставка списка URL из буфера обмена. Быстрая проверка без загрузки файла.
Типичные поля: URL, статус-код, финальный URL (после редиректов), время ответа, размер ответа. Группировка по кодам, экспорт в CSV для дальнейшего анализа.
Некоторые инструменты показывают распределение по кодам в виде диаграмм. Быстрое понимание масштаба проблем.
При регулярных проверках сравнивайте результаты. Появление новых 404, изменение цепочек редиректов — сигналы для расследования.
Для автоматизации при деплое: скрипт проверяет ключевые URL после выката. При наличии 5xx или критичных 404 — откат или алерт. Ограничьте количество URL для скорости пайплайна.
Справочник по кодам — в руководстве по HTTP статус-кодам. Исправление 404 — в руководстве по 404. Влияние битых ссылок — в статье о битых ссылках. Массовая проверка и поиск битых ссылок — в bulk checker и инструменте битых ссылок на reChecker.