Дубли страниц, мешают поисковику нормально жить. Поиск не любит индексировать одинаковые страницы, и тратить на это ресурсы (память, в которой хранятся копии страниц).

Что бы закрыть дубль страницы от поисковика, нужно в области <head> этой страницы вывести следующий тег:

<link rel="canonical" href="https://site.ru/category/" >

Где https://site.ru/category/ - это адрес основной страницы, которую нужно индексировать вместо текущей.

Пример простановки Rel=Canonical в коде страницы

Обратите внимание на URL страницы в адресной строке, и на URL тега link="" rel="canonical"

По аналогии, нужно разметить и другие дубли страниц.

В этом случае, поиск не станет их индексировать, он будет индексировать всего одну страницу вместо десятков производных.

Рассмотрим на примере

Предположим, у нас есть интернет магазин с фильтром товаров, через который формируются динамические адреса (фильтр по наличию, остаткам, цене и прочим атрибутам).

В этом случае, адрес нашей типовой товарной категории будет выглядеть так:

site.ru/category/

И вот так он преобразится после отработки фильтрации по цене на этой же странице

site.ru/category/?price=1500

В данном случае, у нас 2е одинаковых страницы, просто на одной из них товары отфильтрованы по цене. Вот ее (ту, что с параметрами) и нужно пометить как не основную страницу!

Для этого, в область <head> нашей страницы с параметрами, нужно вывести тег:

<link rel="canonical" href="https://site.ru/category/" >

Данный тег, сообщает поисковику что страница внутри которой он указан - не основная, и ее индексировать не нужно. 

И что основная страница, находится по адресу: https://site.ru/category/

На заметку

  • Тег link с атрибутом rel="canonical", должен быть проставлен на всех дубликатах (производных динамических страницах). Это делается автоматически (обратитесь к программисту с задачей), вручную такие теги проставлять нереально.
  • Атрибут rel="canonical" поддерживает и Google и Yandex
  • Ошибаться в настройке rel="canonical" - недопустимо. Можно наглухо убить сайт, и уронить позиции с трафиком.
  • Отслеживать какие страницы каноничные, а какие исключены как дубли - можно через webmaster.yandex.ru и google search console.

Для каких страниц использовать rel="canonical"

  • Для динамических URL
  • Для UTM меток и других идентификаторов
  • При кривых адресах, когда страница доступна по нескольким адресам
  • Для страниц пагинации

На что еще обратить внимание при настройке:

  1. После настройки, проверьте, открыты ли для индексации нужные страницы сайта. Инструмент Яндекса: https://webmaster.yandex.ru/tools/robotstxt/ покажет статус страницы.
  2. Убедитесь, что на сайте нет цепочек переадресации по rel="canonical" (это когда одна не каноничная страница ссылается на другую не каноничную страницу)