Причины выпадения страниц из индекса поисковых систем

 


На протяжении всего времени перед владельцами сайтов и сео оптимизаторами стояла задача остановить выпадение страниц из индекса поисковых систем и вернуть их обратно в поиск. Ведь поисковый трафик и позиции по запросам напрямую зависят от количества документов в индексе.


Ко мне на продвижение поступил интернет магазин, в котором владелец начал жаловаться на отсутствие страниц в поиске Яндекса. В вебмастере я увидел следующую картину:

index
 
За период с 17.04.2016 по 10.05.2016 выпало из индекса 840 000 документов.

 


Основные причины, из-за которых могут выпадать страницы из индекса:


111  Технические проблемы с сайтом.

222  Некачественный контент документов.

333  Отсутствие доступа на сайте.

444  Продажа ссылок на сайте.

555  Использование запрещенных методов сео или “черного сео”.

666  Закупка ссылок.

777  Не исключаем и “глюки” поисковой системы.

 

 

Исследование причин выпадения страниц из индекса

 

 

111  Первым этапом проводим технический аудит сайта и находим следующие недочеты:


7Наблюдается дублирование подразделов. На одну подкатегории приходится по 5 дублей. Все они вызваны неправильной структурой cms Битрикс. Помимо категорий дублируется еще и главная страница ***/index.php.


7На сайте найдено огромное количество одинаковых метатегов description и тегов title.


7Все картинки товаров размещены на сторонних сайтах. Это не влияет на индексацию, но при удалении сайта-донора пропадут фото с товарами. Также сайт теряет трафик на картинках.


7На сайте внедрен функционал, который скрывает текст от пользователей.

 skritiy-tekst

Поисковая система неоднократно говорила про негативное влияние скрытого текста, из-за чего может наблюдаться выпадение страниц из индекса поисковых систем. В данном случае скрытый текст не приводит к штрафным санкциям, а тем более выпадения документов из индекса.


7Файл sitemap.xml не обновлен и в нем присутствуют страницы 404, которые ранее были удалены.


7В robots.txt были закрыты следующие элементы: пагинация и некоторые служебные папки cms, что приводило к ошибкам индексирования. В данном файле была открыта сортировка товаров, которая создавала дубли основных разделов каталога.

Все технические ошибки были устранены, кроме дублей категорий, в связи с огромной работой для программиста.


222  Следующим этапом была проверка оптимизации контента страниц:


7Были проверены все ключевые страницы сайта на уникальность контента, по которым планировалось продвигать запросы из семантического ядра. Средняя уникальность по сайту составила 33%. На некоторых документах она составляла 0%. Клиент при этом утверждал, что весь текст должен быть уникален. После полного аудита контента, была выявлена причина не уникальности страниц. Ею стал ресурс http://redo.me.uk/8nigb/, который полностью копировал основные категории сайта.


После непродолжительной переписки с технической поддержкой Яндекса и жалобами в google, страницы вредоносного сайта были удалены во всех поисковых системах.

 

7В интернет магазине были выделены жирным шрифтом ключевые слова, что могло привести к штрафным санкциям за переоптимизацию.


Со всех документов был удален жирный шрифт.

 

7В тексте наблюдался переспам ключевых запросов. У некоторых страниц плотность вхождения наблюдалось на уровне 6.55%, т.е. в два раза превышала рекомендованную.


Была снижена плотность запросов.

 

7На сайте было найдено огромное количество страниц, которые отличались всего несколькими символами. Многие из них выпали из индекса.

 

Была поставлена задача об уникализации страниц для всех товаров интернет магазина.

 


333  За время продвижения сайт проблем с доступом не наблюдалось. Но была допущена критическая ошибка программистом при переносе сайта на другой сервер. Он скопирован не тот robots.txt и полностью закрыл сайт от индексации. Что привело к выпадению некоторой части страниц из индекса.


444  На сайте интернет магазина исходящие ссылки на внешние ресурсы отсутствовали, кроме картинок, которые использовались для карточек товаров.


555  Запрещенные методы продвижения поисковыми системами на сайте не использовались.


666  Был проведен анализ внешней ссылочной массы, в котором было проверено качество доноров и анкоров. На сайте не было сео ссылок и доноров низкого качества. Следовательно, внешние ссылки не влияли на выпадение страниц из индекса.


777  Чтобы проверить “глюки”  поисковой системы Яндекс, я обратился в техническую поддержку по вопросу выпадения страниц из индекса:


Здравствуйте, документы, приведенные выше, выпадают из индекса поисковой системы Яндекс. По какой причине это происходит?


Техническая поддержка Яндекса:


yandexДанные страницы не выпадали из поисковой выдачи. Дело в том, что робот еще не успел проиндексировать приведенные Вами документы. Мы проверили, в базе индексирующего робота отсутствует информация о страницах по указанным Вами адресам. Это может быть связано, например, с тем, что на страницы не ведут доступные роботу ссылки (ссылки могут быть закрыты с помощью тега "nofollow"), поэтому я советую Вам проверить наличие ссылок на данные документы в исходном коде уже проиндексированных страниц или в файле sitemap. Если документы были созданы совсем недавно, индексирующему роботу необходимо время для того, чтобы добавить информацию о страницах в свою базу и посетить их. Как правило, на это требуется не менее 2 недель.


Как видно из переписки, служба технической поддержки Яндекс ничем нам не помогла.

 


Итоги индексации страниц в Яндексе.

 


На протяжении всего времени я также занимался внешней и внутренней оптимизацией сайта. Итогом моих работ стала полная индексация страниц интернет магазина. На сегодня в индексе около 3.3 млн. документов.

 

itogindexa


 
Итогам выпадения страниц из индекса стало:


7Технические проблемы сайта.

7Проблемы не уникальности контента.

7Закрытые параметры в robots.txt.

7Не обновленные файлы sitemap.xml.

 

 

 

Комментарии   

#3 Лера 02.10.2016 20:14
Очень полезная инфа. Надо добавить в закладки.
Ответить +2
#2 Иван 02.08.2016 13:26
В гугле тоже было выпадение страниц, но не такое явное как в Яндексе. После исправления технических ошибок проблемы индексации пропали.
Ответить +1
#1 Гена 02.08.2016 13:21
А в google выпадение страниц из индекса не наблюдалось?
Ответить -1

Оставить комментарий


Защитный код
Обновить

Автор

a8

Я, Жданович Иван Анатольевич занимаюсь продвижением и раскруткой сайтов более 6 лет. За этот период было оптимизировано более 300 проектов. Создатель проекта SeoHouse(Сео дома).
Узнать больше

Присоединяйтесь:

Свяжитесь с нами
X