Каждый опытный вебмастер хотя бы раз в своей практике встречается с такой проблемой, что страницы сайта выпадают из индекса поисковых систем. Если вы с этим тоже столкнулись, то в этой статье мы разберем причины возникновения такого явления . Д ля начала нам нужно собрать все страницы которые были исключены с индекса и поддать их следующему анализу по следующим критериям:
10 основных причин выпадения страниц сайта из индекса Яндекса
Давайте разберем подробно причины выпадения из индекса поисковых систем страниц сайта. Почему это произошло и как поступить в сложившейся ситуации. Анализ можно провести самостоятельно и так же самостоятельно исправить выявленные проблемы.
Некачественный контент
Неуникальность . Конечно, если вы написали сами вполне внятный текст, проверяли на уникальность при публикации, и не постили где-нибудь еще, то тут может быть только одна причина – статью скопировали, разместили на стороннем ресурсе и скорее всего поисковые системы посчитали что первоисточник не вы.
Что делать? Проверьте текст на уникальность. Как это делать вы можете почитать в статье. Если вы нашли дубликаты в сети, то советуем проверить, как Яндекс относится к вашему тексту. Выберите один абзац не уникального текста, скопируйте и вставьте в поисковую строку Яндекса, возьмите этот кусочек текста в кавычки.
Если ваш сайт в выдаче находится первый, то волноваться нечего — ваш текст Яндекс считает первоисточником и ранжирует выше копий.
Если же наоборот – то надо обращаться с жалобой к владельцу сайта и хостинговой компании с просьбой удалить сворованный контент. При составлении письма советуем изучить закон об авторском праве и меры наказания за его нарушение.
Плохое качество контента. Что тут имеется ввиду? Это может быть грубый рерайт, размноженный текст с помощью синонимайзеров и прочих программ. Что делать? Переписать или дописать статью, так как плохой контент по сути никому не интересен.
Переоптимизация контента. Проверьте статью, которая выпала из индекса на количество вхождений ключевых слов. Сделать это можно любым сервисом http://advego.ru/text/seo/ или http://istio.com/rus/text/analyz/ . Тут обращайте внимание на максимальный процент по слову. Он должен быть максимум до 4%, или же ориентируйтесь по ТОПу выдачи, какой процент вхождения используют конкуренты, статьи которых занимают первые позиции. Так же обратите внимание как у вас прописаны метатеги: Title, Disсription, заголовок H1 и другие подзаголовки с тексте. Возможно вы перестарались и слишком много употребили ключевых слов.
Технические проблемы
Если сайт постоянно недоступен для ботов Яндекса, то поисковая система может посчитать, что данная страница уже не существует и исключить из поисковой выдачи. Иногда такие косяки бывают со стороны хостинга. Если он постоянно подводит, сайт часто становится недоступным, то надо переносить свои сайты на другой более качественный хостинг.
Так же проверьте, закрыта ли страница для индексации (проверьте запрещающие директивы файла роботс, и наличие атрибута noindex в metarobots. Вы могли не корректно настроить какой-нибудь плагин или CMS и случайно закрыть доступ роботам к индексации данного урл адреса.
За нарушение закона
Контент, размещенный на данной странице может нарушать закон об авторском праве. Или не соответствовать нормам, правилам и действующему законодательству РФ.
Что делать? Изучать более детально закон под действие которого попал ваш сайт. Если есть ошибки со стороны поисковой системы то это стоит решить в частной переписке со службой поддержки, если все по закону то удалить все нарушающие закон материалы и больше так не делать
Много исходящих ссылок с страницы
Проверьте количество исходящих ссылок, обратите внимание так же на количество расположенной рекламы. За агрессивную продажу ссылок Яндекс может посчитать страницу (или весь сайт) спамным, не соответствующим критериям качественного сайта.
Что делать? Убрать максимально возможное количество внешних ссылок, ведущие на сторонние ресурсы или закрыть их от индексации атрибутом rel=nofollow.
Дубли страниц внутри сайта
Очень частая мера при нахождении роботом в индексе страниц дублей это удаление лишних на усмотрение робота, и не редко бывает что удаляются совсем не те страницы которые нужно.
Что делать? Если у вас в индексе 24000 страниц а уникального контента всего 300 страниц, то будьте готовы к внезапному удалению 23500-23600 страниц или же, если лишние страницы не приносят вам трафик, пропишите корректные правила индексации в файле robots.txt и закройте все страницы не имеющие полезного уникального содержания.
Плохое качество сайта
У вас может быть изумительный контент, но если он будет подан на сломанной верстке или на совсем не естественной цветовой гамме то среднестатический пользователь вряд ли будет ее читать а скорее всего перейдет к конкурентам. Накопление статистики плохих поведенческих факторов может привести к наложению фильтра на ваш сайт.
Санкции в поисковых системах
Не стоит упускать такой момент, как фильтры поисковых систем. Как правило они накладываются уже за очень грубое и систематическое нарушение описанных здесь причин и если вы получили АГС или Бан тогда вам стоит пересмотреть все предыдущие пункты и найти конкретную причину за который вы получили санкции.
Глюк Яндекса
Если вы все проверили, но грубых нарушений не обнаружили, то это может быть обычный глюк Яндекса. Такое периодически бывает, и как правило восстанавливается в следующие 1-2 апдейта.
Массовое выпадение посадочных страниц из индекса поисковых систем, а следовательно и из поиска, черевато падением позиций сайта и снижением объема органического трафика.
Можно отметить несколько основных и часто встречающихся причин, почему поисковые системы выкидывают страницы сайта из своего индекса и перестают их учитывать в ранжировании.
Причины выпадения страниц из индекса
- Страницы, которые перенаправляют 301 или 302 редиректом на другие страницы или сторонние сайты, либо содержат слишком большое кол-во исходящих на сторонние ресурсы ссылок. Иначе их можно назвать дорвейными страницами .
- Страницы которые отдают контент для поисковых систем отличный от того что видит пользователь, так называемый клоакинг .
- Размещение на странице скрытого для пользователя контента, это может быть использовано программно (ошибки в коде или умышленно), а также с помощью разметки текста (очень маленький шрифт или цвет под фон)
- Не уникальный или малополезный контент, а также страницы с дублирующимся контентом с других страниц сайта.
- Страницы с большим количеством рекламных блоков, созданных преимущественно или исключительно, для заработка на рекламе.
- Избыточное количество ключевых фраз на странице – переоптимизация.
- Накрутка поведенческих факторов путем имитации действий пользователей
- Использование на сайте технологии кликджекинга - размещением на сайте невидимых пользователю элементов, взаимодействие с которыми осуществляется без его ведома или создание на сайте невидимых пользователю элементов поверх кнопок, форм, видеороликов и т.п.
- Ошибочное закрытие раздела сайта или страницы в файле robots.txt или мета-тегом robots.
- Заражение сайта вредоносным кодом с точки зрения ПС.
- Сбои в работе хостинга или CMS из-за чего страница длительное время не доступна для роботов ПС.
Как определить выпавшие из индекса Яндекса страницы
В Яндекс Вебмастере имеется достаточно удобный инструмент по анализу страниц, которые поисковая система посчитала не соответствующими необходимым критерия качества. Владея этой информацией Вы сможете устранить допущенные ошибки для возврата возврата необходимых страниц в индекс поисковой системы Яндекс.
Резюме:
Чтобы избежать выпадения страниц сайта из индекса ПС следует следить за техническим состоянием ресурса и своевременно устранять возникающие ошибки. Не злоупотреблять рекламными блоками для информационных проектов, а для E-commerce проектов вообще от них отказаться. Не использовать запрещенных поисковыми системами техник, таких как клоакинг, дорвеи и кликджекинг. А также наполнять свой ресурс качественным и уникальным контентом полезным не только для SEO , но и для пользователей.
В этой статье мы расскажем, почему Яндекс может не индексировать конкретную страницу на сайте, раздел или весь проект целиком. Описанные проблемы могут повлиять и на индексацию в Google, и в любых других поисковых системах. Выпадение страниц из индекса – серьезная проблема, поскольку напрямую влияет на потенциальное количество переходов, которое может получить ресурс из поисковых систем.
1. Яндекс не индексирует сайт полностью
Если у вас новый сайт, то он появится в поисковой системе не сразу – может пройти от 2-3 недель до месяца. Как правило, Google быстрее находит и индексирует новые проекты, Яндекс – медленнее.
Если 2-3 недели прошло и все равно Яндекс не индексирует сайт – возможно, он просто о нем не знает:
- Добавьте ссылку на сайт в специальную форму: http://webmaster.yandex.ru/addurl.xml
- Добавьте сайт в сервис Яндекс.Вебмастер: http://webmaster.yandex.ru
- Добавьте на сайт Яндекс.Метрику
- Разместите на сайт ссылки из социальных сетей и блогов (роботы поисковых систем активно индексируют новый контент в социальных сетях и блогах);
1.2. Старый сайт частично или полностью выпал из индекса
Данную проблему вы заметите, сравнив число страниц на сайте и количество страниц в индексе поисковой системы (можно посмотреть через сервис Яндекс.Вебмастер).
Если из индекса выпало большинство страниц, и осталась только главная страница или главная и несколько внутренних – проблема скорее всего в наложенном фильтре АГС . Яндекс посчитал контент вашего сайта неуникальным или мало привлекательном для пользователей. Необходимо переработать содержание сайта.
Помимо наложения фильтров, Яндекс может не индексировать сайт по следующим причинам:
- Случайно запретили индексацию в файле Robots.txt . Проверьте его содержание.
- Робот не может получить доступ к сайту по причине нестабильной работы хостинга или IP-адрес робота случайно забанили (например, сайт отражал DDOS-атаку и робота поисковой системы приняли за атакующего).
2. Яндекс не индексирует страницы на сайте
Данная проблема встречается чаще, чем выпадение всего сайта из индекса. Из типичных проблем, при которых Яндекс может не индексировать страницу, можно выделить:
- Робот поисковой системы не доходит до страницы из-за запутанной структуры сайта или высокого уровня вложенности. Постарайтесь сделать так, чтобы на любую страницу сайта можно было попасть, сделав два щелчка мышкой. Создайте карту сайта.
- На странице мало уникального, интересного контента, и поисковая система не считает ее полезной для посетителей. Проверьте уникальность текста, доработайте его, сделайте более полезным.
- Количество страниц на сайте превышает лимит, выделенный поисковой системой для проекта. Например, Яндекс готов взять в индекс с вашего сайта 10 тысяч страниц, а на вашем проекте – 15 тысяч страниц. В любом случае 5 тысяч страниц в индекс не попадут. Старайтесь развивать проект, чтобы повысить лимит – и закрывайте от индексации ненужные, служебные страницы, чтобы освободить место в индексе для продвигаемых страниц.
- На страницу нет ссылок – соответственно, поисковая система не может ее найти.
- Страница запрещена к индексации в файле Robots.txt . Проверьте содержание файла.
- Страница содержит атрибут noindex в мета-теге robots, поэтому не индексируется поисковыми системами. Проверьте код страницы.
- Меню сайта сделано на флеше, который поисковые системы не обрабатывают. Соответственно, Яндекс не индексирует страницы сайта, ссылки на которые спрятаны во флеше. Необходимо сделать альтернативное меню, ссылки в котором будут доступы для роботов поисковых систем.
Сегодня я с ужасом обнаружил, что целая куча страниц на всех моих сайтах выпали из Яндекса. Из-за этого трафик везде просел в два-три раза, а как понимаете — это полная печаль 🙁 Почему страницы выпали из Яндекса?
Причина, скорее всего, кроется в недавнем падении моего сервера, об этом я писал в своем живом журнале, тут писать, по понятным причинам, не мог. Сервер лежал почти сутки, называется, поковырялся в пятницу вечером!
НИКОГДА НИЧЕГО НЕ ДЕЛАЙТЕ НА СЕРВЕРЕ В ПЯТНИЦУ ВЕЧЕРОМ!
Почему? Потому что и у ребят, которые держат хостинг тоже есть выходные. Они оставляют дежурного специалиста, и я на собственном опыте убедился, что в это время суток сажают не самых лучших. Но это ладно, тема для отдельного разговора.
Сначала я подумал, что трафик просел из-за Пасхи , люди гуляют, интернетом пользуются реже. На выходных у меня всегда проседает немного посещаемость, а на большие праздники еще сильнее.
Но наступил понедельник, а трафик так и остался на пасхальном уровне, и вот тогда я начал беспокоиться. Полез стразу в Яндекс вебмастер, и вот что я вижу:
40% статей на этом блоге вылетели из индекса! Понятно, почему ! Связано ли это с падением сервера? Захожу в Яндекс вебмастер и сморю на исключенные страницы:
Как хорошо видно на фото, страницы вылетели из индекса 23 числа. Когда было падение сервера? Смотрим:
Как видно на графике, падение сервера было тоже 23 числа. Но это пока догадки, написал в Яндекс, через несколько часов получил ответ:
Здравствуйте, Андрей!
Все указанные страницы Вы можете найти среди исключенных из поиска в соответствующем разделе «Яндекс.Вебмастера». Дело в том, что 23 апреля, когда робот обращался к ним, Ваш сервер вернул код ответа 404. Сейчас со страницами все в порядке, роботу уже об этом известно, поэтому они смогут вернуться в поиск уже после следующего обновления поисковой базы.
О двух других сайтах, пожалуйста, напишите отдельно с помощью формы на странице .
Правило вести о каждом сайте отдельную переписку помогает нам избежать путаницы и быстрее отвечать Вам.
Спасибо за понимание, ждем Вашего письма!
Все ясно, пришел робот, а сайт в ауте, он не долго мучаясь выкинул пол сайта из индекса. МОЛОДЕЦ! ВОЗЬМИ С ПОЛКИ ПИРОЖОК!
Я все понимаю, алгоритмы там всякие, но вот объясните мне, сотрудники Яндекса: почему ОДИН раз не найдя страницу ваша поисковая система сразу выкидывает ее из индекса? В то же время у меня до сих пор в индексе много страниц, которые я уже как пол года назад удалил, и они все в индексе?
Но не об этом даже хотел я написать, это была прелюдия. В процессе решения этого вопроса у меня возник закономерный вопрос:
Как найти страницы выпавшие из Яндекса?
Рыская по интернету я нашел отличное решение по МАССОВОМУ поиску выпавших из индекса страниц, будь то из Яндекса или Google. Для этого нам понадобятся две программы: SiteMap Generator и .
Первая программа (бесплатная) поможет нам выкачать с сайта все статьи. Запускаем программу, пишем адрес сайта и запускаем сканирование:
Когда все страницы собраны, переходим во вкладку Yahoo и копируем список всех страниц.
Далее вставляем все это в таблицу EXEL и сортируем по алфавиту. Так как программа спарсила нам и все картинки, которые нам не нужны, благодаря сортировке мы сможем все их быстро найти и удалить. Теперь открываем Key Collector и идем в НАСТРОЙКИ программы:
В ИНТЕРФЕЙСЕ настраиваем все так, как показано на фото выше. Далее переходим в другую вкладку и удаляем все символы из указанных полей:
Теперь прописываем в верхнем правом поле адрес нашего сайта и запускаем сбор позиций Яндекс или Google:
После того как все закончилось выгружаем результат в EXEL. Что мы видим?
А видим простую картину: если страница не в индексе, то в выдаче релевантной страницей будет главная страница или другая похожая статья. Отсортируем левую колонку по алфавиту и сразу увидим страницы, которые выпали из индекса:
Все это делается за пять минут. Что дальше? В моем случае нужно ждать обновления выдачи (сегодня утром он случился), если же страницы выпали из индекса по другим причинам, то можно загнать их обратно способами, изложенными в этой статье — как можно ускорить индексацию сайта?
Написал это больше для себя, чтобы не забыть алгоритм, все может повторится, ну и вам может быть пригодится. И еще урок для всех: держи ноги в тепле, в сервер в холоде…
Не нашли ответ? Воспользуйтесь поиском по сайту
Кто не хочет быть первым в поисковой выдаче Яндекса и Google? Даже если ваш сайт некоммерческий. Таких нет. Ибо, как гласит народная мудрость, плох тот солдат который не хочет быть генералом.
Примерно вот так выглядит первая страница поисковой выдачи Яндекса по запросу «Купить фотоаппарат»:
Как видите первыми идут рекламные материалы, а затем Яндекс.Маркет и сайты популярных сетевых магазинов торгующих бытовой техникой М.Видео и Эльдорадо.
Попасть на первую страницу в выдаче по запросу «купить фотоаппарат
» означает обеспечить себя гарантированным потоком пользователей, заинтересованных в покупке фотоаппарата. Это ли не мечта любого владельца сайта по продаже фототехники?
Как гарантированно попасть на первую страницу в поисковой выдаче?
Вариантов всего два. Первый — это создать сайт, который попадёт в десятку лучших по нужным запросам. Второй — заказать рекламу в Яндекс.Директ.
Рассмотрим оба варианта.
1. Создать сайт, который попадёт в десятку лучших по нужным запросам.
Задача сложная, но вполне решаемая. Для этого необходимо заняться SEO-продвижением. Можно это сделать самостоятельно, а можно обратиться к профессионалам.
Что конкретно можно сделать, чтобы поднять свой сайт на первую страницу?
- Провести юзабилити-аудит сайта и получить квалифицированные рекомендации по его улучшению. Что это даст?
Во-первых , специалисты выявят существующие на сайте проблемы, и дадут рекомендации о том, как их устранить. Чем лучше сайт, тем выше вероятность, что он попадёт в топ-10.
Во-вторых , если сайт вдруг удастся продвинуть на заветное место поисковой выдачи, и пользователи начнут на него переходить, а затем сразу же закрывать, то долго на этом месте сайт не продержится. Поисковики скоро поймут, что сайт не нравится пользователям, и вновь отодвинут его подальше.
Поэтому легче и лучше продвигать действительно хорошие сайты, а улучшить сайт можно как раз с помощью юзабилити-аудита. - Написать самому хорошие продающие тексты для сайта или заказать их у seo-копирайтеров. Такие тексты написаны по определённым правилам. С одной стороны, в них учтено вхождение достаточного количества ключевых слов. А с другой стороны, они написаны именно для пользователей – с учётом интересов и поведенческих особенностей целевой аудитории. Иными словами мало просто писать для людей, нужно чтобы сайт отвечал поисковым запросам. Главное правило: не что люди ищут, а как люди ищут . Ваш сайт должен разговаривать с посетителями на одном языке.
- Заказать регистрацию в каталогах статей , с целью получить весомые ссылки на свой сайт и зарекомендовать себя в качестве эксперта.
- После этого зарегистрировать сайт в каталогах сайтов – это поможет получить ссылки на ваш сайт с нужными анкорами, кроме того, они будут разнородные, что более естественно.
Только помните, что любые действия по оптимизации сайта занимают время и не дают гарантированного результата. Чем выше конкуренция в интересующей вас сфере, тем сложнее продвинуть сайт. Позиции сайта, скорее всего, улучшатся, но никто не сможет дать гарантий, что вы попадёте именно в топ-10 по всем интересующим ключевым запросам.
Если решите обратиться к профессионалам, то тут главное выбрать правильную компанию. Я рекомендую специалистов Сервиса 1PS.RU, которые уже 13 лет занимаются продвижением сайтов в поисковых системах и предоставляют все перечисленные выше услуги, что достаточно удобно. Рекомендую почитать отзывы о работе Сервиса 1PS.RU .
2. Заказать контекстную рекламу на Яндекс.Директ.
По некоторым запросам очень трудно попасть в ТОП-10. Если не получилось, то не беда! Ведь есть контекстная реклама, которая показывается выше поисковой выдачи. А первые места на странице выдачи поиска гарантированы вам уже через 3 дня. К тому же платить придётся только за тех клиентов, которые заинтересуются вашим предложением и перейдут по ссылке объявления на ваш сайт. Это очень эффективный и удобный способ рекламы.
Что нужно сделать, чтобы получить максимальную отдачу от рекламы в поисковых системах?
- Подобрать ключевые слова с учётом интересов целевого посетителя.
Совет: поручите этот вопрос интернет-маркетологу, который проведёт предварительные исследования целевой аудитории и проверит популярность каждого запроса.
- Написать объявления, которые привлекут клиента и побудят его к действию.
- Установить на сайте специальные программы-счётчики.
- Проводить периодический срез по результатам рекламной компании с тем, чтобы вовремя внести корректировки.
Сервис 1PS.RU предлагает три тарифа по размещению контекстной рекламы : Тариф Базовый, Тариф Стандартный и Тариф Премиум. Вы можете выбрать любой из них, в зависимости от ваших познаний Интернет-маркетинга, уровня конкуренции в вашей сфере бизнеса и ваших финансовых возможностей.
И SEO, и контекстная реклама имеют свои плюсы и минусы. Какой способ продвижения сайта выбрать – решать вам. Если вы всё ещё сомневаетесь, то обратитесь к специалистам Сервиса 1PS.RU . Они подскажут оптимальный вариант именно для вашего сайта.
P.S.
Все действия по продвижению сайта с целью его появления на первых местах в поисковой выдаче Яндекса можно проводить самостоятельно и совершенно бесплатно. Методика и способы не меняются. Это написание статей которые попадают в ТОП-10 по поисковым запросам и реклама в Яндекс.Директ.
Но помните, что когда вы выполняете работу самостоятельно вы платите зарплату сами себе, ведь все равно несете некоторые издержки, кроме того в это же самое время вы могли бы преуспеть в том деле которое у вас лучше всего получается.
По части продвижения сайта все зависит от того, что вы хотите получить на выходе и какой ваш уровень профессионализма в той или иной области. Ведь ничто не мешает самостоятельно выращивать пшеницу, молоть муку и выпекать хлеб. Но человечество уже давно отошло от натурального хозяйства и предпочитает разделение труда. Да и быть специалистом во всех областях просто невозможно.
