Любая страница на сайте должна иметь свой список слов, по которому ее можно будет найти в поисковике. Если страница не имеет такого списка (либо слова мало популярные) – то такую страницу нужно удалять.

Исключений мало, но они есть:

  • карточки товаров в интернет-магазине (могут быть без спроса, но удалять их нельзя)
  • страница «о компании», «контакты», «новости компании» и т.д.

Как плохие страницы влияют на позиции сайта

Поисковые системы понижают сайты в поиске, если кол-во бесполезных (никому не нужных) страниц на этих сайтах превышает отметку в 10-15% от общего кол-ва страниц.

Простой пример:

Если у вас на сайте 100 страниц, 20 из которых не имеют спроса (их никто не ищет), то удаление этих 20 страниц поможет вырасти оставшимся 80.

По опыту скажу, что удаление мусора из индекса поисковиков – задача чуть ли не первостепенной важности. Пара проектов в моем портфолио мощно выросли как раз за счет удаления неэффективных страниц.

Поисковики бдят за качеством вашего сайта

Что бы понять причины такого негативного отношения поисковиков к неэффективным страницам, нужно немного разобраться в принципах их работы.

Основная задача поисковых систем – помогать пользователю найти ответ на заданный вопрос.

Поисковик должен в доли секунды определить какие сайты окажутся полезными пользователю, а какие нет, и упорядочить их по полезности.

Для этого, поисковик заранее находит сайты в сети, проверяет все страницы найденных сайтов, и добавляет их в свой индекс (архив).

Пополнение индекса происходит в режиме нон-стоп. Поисковик всегда находится в поиске новых страниц и в процессе определения порядка показа этих страниц по запросам пользователей (какой сайт показать выше, а какой ниже).

Теперь к сути:

Представьте сколько страниц поисковику приходится проверять и затем сохранять у себя в памяти. Это огромное кол-во ресурсов, а ресурсы стоят денег.

Пример:

Вот кол-во сайтов, релевантных запросу «курс доллара»

Видимо 15 000 000 потенциально полезных сайтов, упорядоченных по уровню полезности.

В среднем, размер 1 страницы сайта составляет 360 кбайт.

Посчитаем сколько поисковику потребуется ресурсов для сохранения всего 1 мусорной страницы на каждом из этих сайтов?

15 000 000 * 360 кбайт = 5 273 437 гигабайт

А если на каждом сайте будет 10 таких страниц? Понадобится уже 50 000 000 гигабайт

И это выборка только по одному запросу, и под каждый запрос будет свой список сайтов.

Как поисковики с этим борются

Поисковые системы при индексации сайта, находят плохие страницы и исключают их из индекса, снижая при этом доверие к домену в целом.

Чем больше исключенных из индекса страниц – тем хуже сайт продвигается.

Плохие страницы могут вылетать из индекса и попадать в него снова (мигать). При этом, доверие к домену все равно будет низким.

Если доля некачественных страниц переваливает за 40-60%, то сайт может попасть под фильтры, и рискует быть полностью исключенным из индекса.

В Яндексе, такой фильтр официально называется АГС (подробнее).

Как проверить есть ли у вас некачественные страницы

  1. Посмотреть через Яндекс вебмастер
  2. Выгрузить полный список страниц, и посмотреть посещаемость по ним за последний квартал через Яндекс Метрику (проверяем в Excel) + проверить есть ли спрос в интернете на страницы без трафика.

С первым вариантом все просто – если Яндекс уже исключил страницу, значит нужно разбираться в причинах (это может быть низкое качество контента, или дублирующийся информация)

Второй вариант позволит выявить страницы без переходов и оценить есть ли у них потенциал в плане трафика, или же это дохлые страницы, которые нужно удалить

Как удалять некачественные страницы

  1. Если страница техническая (страница авторизации в админке, или же корзина в интернет-магазине), то закрывать от индексации ее нужно через теги noindex (делается через программиста)
  2. Если же страница не техническая (старая статья, или новость в блоге на которую уже нет переходов), то удалять такую страницу нужно через перенаправление (301 редирект). При попытке перехода по адресу этой страницы, пользователя будет перебрасывать на полезную (похожую по смыслу) страницу.
  3. Существует 3 способ, закрыватие страницы от индексации через директиву robots.txt – но этот способ работает не стабильно, и рассматривать я его не буду.