Дублированный контент — одна страница (или очень похожая), доступная по нескольким URL. Поисковые системы не знают, какую версию показывать, ссылочный вес размывается, индексация страдает. В этом руководстве разберём, как находить дубли и исправлять их через canonical и редиректы.
Что считается дублированным контентом
Полные дубли
Один и тот же контент по разным URL:
- example.com/page и example.com/page/
- example.com/page и example.com/page?utm_source=google
- http://example.com/page и https://example.com/page
Частичные дубли (near-duplicates)
Похожий контент с небольшими отличиями:
- Страницы категорий с минимальным уникальным текстом
- Товарные карточки с одинаковыми описаниями
- Страницы пагинации (page=2, page=3)
Внутренние vs внешние дубли
Внутренние — дубли на вашем сайте. Внешние — ваш контент скопирован на других сайтах. Canonical решает в первую очередь внутренние дубли.
Причины появления дублей
Параметры URL
Сортировка, фильтры, UTM-метки, сессионные ID создают варианты одной страницы:
/catalog
/catalog?sort=price
/catalog?sort=name
/catalog?color=red
/catalog?utm_campaign=summer
Технические варианты
- http vs https
- www vs non-www
- Trailing slash vs без
- Регистр (для case-sensitive серверов)
- Дубли в sitemap
CMS и структура
- Страницы для печати (?print=1)
- Версии для мобильных (m.example.com)
- Пагинация
- Архивы по датам, тегам
- RSS-версии
Контент
- Копипаст между страницами
- Шаблонные описания товаров
- Минимальный уникальный контент на страницах категорий
Как найти дублированный контент
Google Search Console
Отчёт «Покрытие» или «Страницы» показывает проиндексированные URL. Ищите страницы с похожими заголовками и описаниями. «Исключено: дубликат без выбранного канонического» — явный признак.
Поиск по контенту
Скопируйте уникальную фразу со страницы и поищите в Google в кавычках. Если находятся другие URL вашего сайта с тем же текстом — дубли.
Аудит сайта
Технический аудит reChecker проверяет canonical, редиректы, структуру URL. Выявляет типичные источники дублей.
Анализ логов и sitemap
Проверьте, какие URL попадают в sitemap. Убедитесь, что каждый URL уникален или имеет canonical на основную версию.
Специализированные инструменты
Инструменты вроде Screaming Frog (при наличии) сканируют сайт и находят страницы с одинаковым или похожим контентом по метрикам (word count, title).
Исправление через canonical
Когда использовать canonical
- Параметры в URL (сортировка, фильтры, UTM)
- Пагинация
- Версии для печати
- Страницы, которые должны оставаться доступными, но не индексироваться отдельно
Каждая дублирующая страница получает canonical на предпочтительный URL:
<!-- На /catalog?sort=price -->
<link rel="canonical" href="https://example.com/catalog" />
<!-- На /catalog?page=2 -->
<link rel="canonical" href="https://example.com/catalog" />
Self-referencing на канонической странице
Предпочтительная страница канонизирует сама себя:
<!-- На /catalog -->
<link rel="canonical" href="https://example.com/catalog" />
Подробнее о настройке — в руководстве по canonical URL.
Исправление через редирект
Когда использовать 301 редирект
- http → https
- www → non-www (или наоборот)
- Старые URL после реструктуризации
- Страницы, которые не нужны пользователю (дубли без параметров)
Редирект полностью убирает дубль из доступа. Пользователь и робот попадают на целевой URL.
# Nginx: редирект с www на non-www
if ($host = 'www.example.com') {
return 301 https://example.com$request_uri;
}
Canonical vs редирект
| Ситуация | Решение |
|---|---|
| http и https | 301 на https |
| www и non-www | 301 на выбранный вариант |
| Параметры (sort, filter) | Canonical на версию без параметров |
| Пагинация | Canonical на первую страницу |
| Удалённая страница | 301 на релевантную существующую |
Исправление через контент
Для near-duplicates (похожий контент) canonical и редирект не всегда подходят. Нужно дифференцировать контент:
- Уникальные описания для товаров
- Уникальный текст для страниц категорий
- Объединение тонких страниц в одну с разделами
Проверка canonical
Инструмент проверки canonical на reChecker проверяет разметку и выявляет ошибки. Убедитесь, что:
- Canonical указывает на существующую страницу
- Нет цепочек (A→B→C)
- Каноническая страница возвращает 200
Чек-лист исправления дублей
| Шаг | Действие |
|---|---|
| 1. Аудит | Найти все дубли (GSC, поиск, инструменты) |
| 2. Выбор предпочтительного URL | Один URL на каждый контент |
| 3. Canonical | Добавить на дублирующие страницы |
| 4. Редиректы | 301 для технических дублей (http, www) |
| 5. Контент | Уникализировать near-duplicates |
| 6. Sitemap | Включить только канонические URL |
| 7. Проверка | Убедиться, что canonical и редиректы работают |
Время обновления индекса
После внедрения canonical Google перекрауливает страницы. Обновление индекса может занять от нескольких дней до нескольких недель. Ускорьте процесс через запрос индексации в Search Console для ключевых страниц.
Дубли между доменами
Синдикация контента
Если ваш контент публикуется на партнёрских сайтах, canonical на вашем сайте указывает на вашу версию как первоисточник. Партнёрские сайты могут канонизировать на вас или использовать noindex — по договорённости.
Зеркала и копии
Сайты-зеркала (mirror), копии на других доменах — canonical на основной домен. Если вы не контролируете копию, можно запросить удаление через DMCA или аналогичные процедуры.
Дубли в рамках одного домена: частые сценарии
Сессионные ID в URL
example.com/page?sessionid=abc123
example.com/page?sessionid=xyz789
Один контент, разные URL. Решение: не добавлять sessionid в URL для индексируемых страниц, или canonical на версию без параметров.
Сортировка и фильтры
/catalog?sort=price
/catalog?sort=name
/catalog?brand=apple
Canonical на /catalog. Если страницы с фильтрами имеют уникальный контент (например, «Ноутбуки Apple» — отдельная страница), canonical на эту страницу, а не на общий каталог.
Региональные варианты
Для мультирегиональных сайтов (один язык, разные регионы) — hreflang, не canonical. Canonical не используется для связи региональных версий.
Профилактика дублей
При разработке
Заложите единый canonical URL с начала. Настройте ЧПУ без лишних параметров. Используйте 301 для старых URL при смене структуры.
При добавлении контента
Проверьте, что новый контент не дублирует существующий. Уникальные мета-описания и заголовки для каждой страницы. Шаблонный контент — дополните уникальными блоками.
Регулярный аудит
Раз в квартал — проверка на дубли через Search Console, инструменты аудита. Новые параметры, новые разделы могут создавать дубли неожиданно.
Инструменты поиска дублей
Copyscape, Plagiarism
Для поиска внешних копий вашего контента. Введите URL или текст — сервис найдёт похожие страницы в интернете. Полезно при подозрении на кражу контента.
Siteliner, Screaming Frog
Анализ внутренних дублей по similarity. Сравнивают страницы по контенту, выявляют near-duplicates. Список страниц с высоким процентом совпадения.
Google Search
Поиск по уникальной фразе в кавычках. Если находятся несколько URL вашего сайта — внутренние дубли. Простой метод без дополнительных инструментов.
Связанные материалы
Основы canonical — в руководстве по canonical URL. Проверка разметки — в инструменте canonical checker и техническом аудите на reChecker.