Загрузка...
Загрузка...
Поиск дублированного контента на сайте. Причины появления дублей, инструменты диагностики, исправление через canonical и редиректы. Практическое руководство.
Полное руководство по canonical URL. Синтаксис, когда использовать, связь с дублированным контентом. Практические примеры настройки canonical для сайтов.
SEOКак оптимизировать анкорный текст внутренних ссылок для SEO. Разнообразие анкоров, передача релевантности, избежание переоптимизации. Практические рекомендации.
SEOРуководство по массовой проверке URL. Сценарии использования, инструменты, интерпретация результатов. Проверка статус-кодов, редиректов и битых ссылок на масштабе.
SEOПрактическое руководство по устранению Cumulative Layout Shift. Диагностика причин сдвигов макета, резервирование размеров, оптимизация шрифтов и динамического контента.
Поделитесь с коллегами или изучите другие материалы блога
Дублированный контент — одна страница (или очень похожая), доступная по нескольким URL. Поисковые системы не знают, какую версию показывать, ссылочный вес размывается, индексация страдает. В этом руководстве разберём, как находить дубли и исправлять их через canonical и редиректы.
Один и тот же контент по разным URL:
Похожий контент с небольшими отличиями:
Внутренние — дубли на вашем сайте. Внешние — ваш контент скопирован на других сайтах. Canonical решает в первую очередь внутренние дубли.
Сортировка, фильтры, UTM-метки, сессионные ID создают варианты одной страницы:
/catalog
/catalog?sort=price
/catalog?sort=name
/catalog?color=red
/catalog?utm_campaign=summer
Отчёт «Покрытие» или «Страницы» показывает проиндексированные URL. Ищите страницы с похожими заголовками и описаниями. «Исключено: дубликат без выбранного канонического» — явный признак.
Скопируйте уникальную фразу со страницы и поищите в Google в кавычках. Если находятся другие URL вашего сайта с тем же текстом — дубли.
Технический аудит reChecker проверяет canonical, редиректы, структуру URL. Выявляет типичные источники дублей.
Проверьте, какие URL попадают в sitemap. Убедитесь, что каждый URL уникален или имеет canonical на основную версию.
Инструменты вроде Screaming Frog (при наличии) сканируют сайт и находят страницы с одинаковым или похожим контентом по метрикам (word count, title).
Каждая дублирующая страница получает canonical на предпочтительный URL:
<!-- На /catalog?sort=price -->
<link rel="canonical" href="https://example.com/catalog" />
<!-- На /catalog?page=2 -->
<link rel="canonical" href="https://example.com/catalog" />
Предпочтительная страница канонизирует сама себя:
<!-- На /catalog -->
<link rel="canonical" href="https://example.com/catalog" />
Подробнее о настройке — в руководстве по canonical URL.
Редирект полностью убирает дубль из доступа. Пользователь и робот попадают на целевой URL.
# Nginx: редирект с www на non-www
if ($host = 'www.example.com') {
return 301 https://example.com$request_uri;
}
| Ситуация | Решение |
|---|---|
| http и https | 301 на https |
| www и non-www | 301 на выбранный вариант |
| Параметры (sort, filter) | Canonical на версию без параметров |
| Пагинация | Canonical на первую страницу |
| Удалённая страница | 301 на релевантную существующую |
Для near-duplicates (похожий контент) canonical и редирект не всегда подходят. Нужно дифференцировать контент:
Инструмент проверки canonical на reChecker проверяет разметку и выявляет ошибки. Убедитесь, что:
| Шаг | Действие |
|---|---|
| 1. Аудит | Найти все дубли (GSC, поиск, инструменты) |
| 2. Выбор предпочтительного URL | Один URL на каждый контент |
| 3. Canonical | Добавить на дублирующие страницы |
| 4. Редиректы | 301 для технических дублей (http, www) |
| 5. Контент | Уникализировать near-duplicates |
| 6. Sitemap | Включить только канонические URL |
| 7. Проверка | Убедиться, что canonical и редиректы работают |
После внедрения canonical Google перекрауливает страницы. Обновление индекса может занять от нескольких дней до нескольких недель. Ускорьте процесс через запрос индексации в Search Console для ключевых страниц.
Если ваш контент публикуется на партнёрских сайтах, canonical на вашем сайте указывает на вашу версию как первоисточник. Партнёрские сайты могут канонизировать на вас или использовать noindex — по договорённости.
Сайты-зеркала (mirror), копии на других доменах — canonical на основной домен. Если вы не контролируете копию, можно запросить удаление через DMCA или аналогичные процедуры.
example.com/page?sessionid=abc123
example.com/page?sessionid=xyz789
Один контент, разные URL. Решение: не добавлять sessionid в URL для индексируемых страниц, или canonical на версию без параметров.
/catalog?sort=price
/catalog?sort=name
/catalog?brand=apple
Canonical на /catalog. Если страницы с фильтрами имеют уникальный контент (например, «Ноутбуки Apple» — отдельная страница), canonical на эту страницу, а не на общий каталог.
Для мультирегиональных сайтов (один язык, разные регионы) — hreflang, не canonical. Canonical не используется для связи региональных версий.
Заложите единый canonical URL с начала. Настройте ЧПУ без лишних параметров. Используйте 301 для старых URL при смене структуры.
Проверьте, что новый контент не дублирует существующий. Уникальные мета-описания и заголовки для каждой страницы. Шаблонный контент — дополните уникальными блоками.
Раз в квартал — проверка на дубли через Search Console, инструменты аудита. Новые параметры, новые разделы могут создавать дубли неожиданно.
Для поиска внешних копий вашего контента. Введите URL или текст — сервис найдёт похожие страницы в интернете. Полезно при подозрении на кражу контента.
Анализ внутренних дублей по similarity. Сравнивают страницы по контенту, выявляют near-duplicates. Список страниц с высоким процентом совпадения.
Поиск по уникальной фразе в кавычках. Если находятся несколько URL вашего сайта — внутренние дубли. Простой метод без дополнительных инструментов.
Основы canonical — в руководстве по canonical URL. Проверка разметки — в инструменте canonical checker и техническом аудите на reChecker.