Индекс гугл


Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.

логотип поисковой системы Google

Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:

индексация сайта в google

Кстати в этой записи все буду разбирать на примере блога. Он находится в dmoz-каталоге, на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?


индексация сайта в яндекс

Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 — это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности :smile:.

Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:

таблица индексации сайта sosnovskij.ru

Сейчас я объясню всю эту таблицу ;-).

  • Основной индекс. Существуют такие понятия как основной индекс в Google и дополнительный. Страницы основного участвуют в ранжировании на общих основаниях. Страницы, которые находятся в дополнительном («в соплях» — supplemental) очень редко появляются в выдаче, и то только по тем запросам, по которым нет ответов у страниц из «основы» (например, некоторые низкочастотные запросы или long tail).

    обы определить, сколько документов находится в основном индексе Google, необходимо ввести запрос site:https://sosnovskij.ru/&. У меня получилось 95. А у вас сколько? Причем интересно то, что сюда попадают страницы вида https://sosnovskij.ru/page/4/, то есть не особо полезные для пользователей.
  • Дополнительный индекс. По мнению гугла это некачественные страницы, которые не могут дать хороших, исчерпывающих ответов на поисковые запросы. Эти страницы часто включаются в «опущенные результаты<«. Они были определены путем исключения из тех 172 страниц 95, которые находятся в основном. Как видно, что 172-95=77, а не 38. В цифре 172 также много страниц навигации.
  • Нет в индексе. Это самый понятный пункт :smile:.
  • Не определено. Этих страниц не было в числе 172, не было в числе основного индекса, но Google о них знает. Поиск был как просто по url, так и по кускам текста.
  • Всего страниц в sitemap. Это только посты, страницы и категории.

Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет ;-).

Выводы по поводу индексации в Google


  1. Дополнительный индекс или «сопли» точно существует, потому что некоторые из страниц выдаются по запросу url не на первой строчке. Также я проверил некоторые среднечастотные и низкочастотные запросы на этих страницах. Их не было в ТОП 100.
  2. В категории «не определено» скорее всего, те же «сопли», так как страницы ведут себя также.
  3. дополнительный индекс в Google

  4. Часто страницы, которые находятся в дополнительном индексе, находятся в выдаче ниже сайтов, копирующих и грабящих контент. То есть одна из причин попадания в «сопли» — это неуникальный контент.
  5. Нельзя судить по запросу site:https://sosnovskij.ru/ о точном количестве проиндексированных страниц в этой поисковой системе. Их больше, но они будут не в основном индексе, и посетителей с гугла скорее всего не принесут. В доказательство этому 185 страниц, на которые были посещения в течение месяца.
    количество страниц блога, которые вызвали посещения через поисковую систему google

До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит :smile:.

Почему Google отправляет страницы в дополнительный индекс?

  1. Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
  2. Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
  3. Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.

Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите ;-). Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?

sosnovskij.ru

Какие страницы проиндексировал google

Для вебмастера есть несколько способов определить проиндексированные страницы в  Google.


Самый простой — это ввести в поисковую систему «site:ваш_сайт.ru». Здесь вам будут представлены все страницы, которые поисковый робот нашел на вашем сайте. Тут могут быть даже те, которые заблокированы файлом robots.txt.

Обратите внимание, что результатов поиска может быть гораздо больше, чем количество реальных ваших страниц на сайте. Сюда добавляются заблокированные страницы роботс.тхт, дубли страниц. В обычном состоянии они будут в так называемом «дополнительном индексе», то есть при поиске обычными пользователями, они не участвуют в выдаче.

Но нужно быть осторожными:

  • во-первых, большое количество дублей и мусорных страниц могут дать сигнал Гуглу, что ваш ресурс не качественный, а значит существенно понизить в выдаче нормальные страницы;
  • во-вторых, в дополнительный индекс могут угодить и хорошая страница в силу различных причин, а значит она не будет повышать вам релевантность и привлекать новых посетителей.

Есть и другой способ более подробно изучить «кухню» Google и узнать какие страницы им проиндексированы.

Проверка проиндексированных страниц сайта — панель инструментов вебмастера Гугл

Каждая поисковая система имеет свои специальные «кабинеты», где владельцы сайтов могут отслеживать ситуацию со своими сайтами, а также влиять на неё. Для Google — это Search Console. Мы уже рассматривали довольно подробно эту панель вебмастера Гугл, но сегодня обратим внимание конкретно, на то, что поможет нам узнать проиндексированные страницы, а также те, что были заблокированы.


Итак, когда вы входите в Панель инструментов, еще не выбирая конкретное меню, вам показывают общую короткую сводку по сайту.

Слева вы увидите проиндексированные страницы Google. Это те, которые системе показала xml карта сайта — sitemap.Проиндексировано страниц Google

 

Можно нажать на «Файлы Sitemap» и увидите график динамики индексации, а также предупреждения. У нас предупреждения связаны с тем, что две ссылки из sitemap запрещены к индексации в robotx.txt.

Далее вы можете более подробно посмотреть как Гугл видит каждую отдельную страницу, которую проиндексировал — «Вид в поиске» — «Структурные данные». Здесь также можно понять, какие ошибки поисковый робот находит на некоторых участках вашего ресурса. А следовательно и исправить.

Более интересный пункт меню «Индекс Google». Тут вам показывают сколько всего проиндексировано страниц, а если нажать на «Расширенные данные», то и сколько заблокировано файлом роботс.тхт.

Во вкладке меню «Заблокированные ресурсы» — смотрите что именно было блокировано. Если находите страницы, которые не нужно закрывать от индексации — нужно исправлять robots.txt.

Как вы поняли, именно этот файл и играет главную роль в определении, какие страницы будут индексироваться, а какие нет.

sitesnulya.ru


Существует ли дополнительный индекс (supplemental index) и дополнительные (supplemental) результаты поиска?

Можно годами спорить о существовании или отсутствии дополнительного индекса поисковой системы Google. Но с данными статистики, которые свидетельствуют о более активном участии в поиске одних страниц и мизерном (практически нулевом) других, не поспоришь. Так какая разница, будем ли мы называть этот эффект «дополнительным индексом», «соплями» или «пессимизацией», основная суть и результат в виде отсутствия трафика на эти страницы от этого не меняется. Эти страницы попадают на самые дальние стеллажи на складе Google и достает он их с этих стеллажей крайне редко.

Причины попадания в дополнительный (supplemental) индекс

Основными причинами выпадания страниц из основного индекса и попадания их в дополнительный являются:

  • Отсутствующий, повторяющийся или слишком короткий заголовок страницы (TITLE), или ее описание (DESCRIPTION).
  • Очень малое количество индексируемого содержания (контента) на странице.
  • Не уникальное содержание страницы — копированный или дублирующийся контент.
  • Изолированные страницы (orphaned pages) — страницы на которых нет ни одной внутренней ссылки.

Чем грозит и чем опасно исключение страниц из основного индекса.

  • Исключенные из основного индекса Google страницы снижают показатели эффективности сайта.
  • Большое количество исключенных страниц понижает доверие (trust), поисковой системы к сайту и каждой новой добавленной странице становится все труднее попасть в основной индекс.
  • Ссылки с таких страниц ранжируются довольно низко (так-же есть еще пока не проверенное мнение, что и передаваемый ими вес тоже занижается).
  • Googlebot посещает такие страницы крайне редко, намного реже чем присутствующие в основном индексе.

Как узнать сколько страниц в основном индексе Google

Раньше, когда факт существования основного и дополнительного индексов был общепризнан и подтвержден самими представителями этой поисковой системы, был выявлен ряд формул при введении которых в строку поиска можно было точно узнать количество страниц, которые находятся в каждом из индексов.

В данное время, представители Google, как обычно умалчивают о алгоритмах и изменениях в них, а старые методы и формулы уже, к сожалению не работают. Единственная формула, при помощи которой можно узнать страницы (и их количество) основного индекса: site:site.ru/*. Немного смущает тот факт, что отображаемое количество страниц на первой странице результатов такого запроса и на последней — различаются. Какой из них считать более верным неизвестно. Но ясно одно: отсутствие страницы в результатах такого запроса совместно с данными аналитики об отсутствии, или очень малом поисковом трафике на нее, дает реальный повод задуматься, что же с ней не так.


Как вернуть страницу в основной индекс

Для того, чтобы вернуть страницу из дополнительного (supplemental) в основной индекс Google сначала стоит разобраться, в причинах послуживших поводом для ее исключения.
Для определения наличия дублей, копированного или не уникального контента, можно воспользоваться сервисом Copyscape.com.

  • Удалить все страницы с дублированным контентом или в случае невозможности проставить на них мета тег: REL=»CANONICAL» с указанием оригинального URL статьи.
  • Перелинковать исключенные страницы с остальными внутренними страницами.
  • Увеличить количество входящих внешних ссылок. Как наиболее простой и эффективный метод для этого подойдет прогон по закладкам (или простое добавление в закладки).
  • При большом количестве исключенных из основного индекса страниц, кроме всего вышеперечисленного, не лишним будет сменить дизайн сайта.

В 99% из 100% в результате этих действий все ваши страницы из дополнительного (Google supplemental index) благополучно перейдут в основной индекс (index) Google, будут участвовать в поиске и приносить сайту трафик, а соответственно и доход.

Читайте также: google index


  • Обратные ссылки с RSS агрегаторов
  • Посещаемость 1000 уникальных посетителей и 10000 фолловеров за 2,5 месяца
  • Централизованная система управления SEO проектами
  • 16 способов увеличения трафика на блог
  • Опасные SEO трюки и проверенные методы оптимизации
  • LinkGator.ru — биржа вечных ссылок и статей
  • Прогон сайта в Cheaptop, хорошие отзывы и скидки
  • SEO Для начинающих — основы поисковой оптимизации
  • Популярные запросы, топ самых популярных поисковых запросов
  • Критерии анализа юзабилити сайта

seodiz.ru

Всем привет! Сегодня на seo-mayak.com очень интересная тема, которая волнует большинство веб-мастеров и говорить мы будем о Supplemental index.

Кто не в курсе, Supplemental index — это дополнительный индекс поисковой системы Google, которому русскоязычные веб-мастера, со свойственным им красноречием, приклеили название — сопливый индекс.

Специалисты Google выдумали Supplemental index для хранения некачественного контента, в который попадет все, что проиндексировал Googlebot и что, по его мнению, недостойно основной выдачи.

Объясняется это все борьбой за качество результатов поиска. Дело то в общем хорошее, но только вот народ в находится недоумении.

Не выдуманная история одного блогера

Один обычный человек, никакой там не программист, решил стать блогером. Он создал сайт, написал сто статей, так сказать честно работал и наивно полагал, что на его ресурсе теперь должно быть сто страниц.

И вот, в один прекрасный день, наш новоиспеченный блогер решил провести анализ своего сайта. Для реализации задуманного, он воспользовался одним из онлайн сервисов, после чего долго сидел, смотря на цифру 2300, демонстрирующую количество страниц в индексе Google.

— Откуда столько?

Немного пораскинув мозгами, решил наш блогер проверить, как обстоят дела на сайтах его друзей, потом проверил конкурентов и везде положение дел с индексацией в Gooпle было схожим.

— Наверно так и надо…

Подумал наш блогер, и успокоился. Ведь его мозг так и не смог найти ответ, откуда взялась эта цифра.

Наш блогер был талантливым человеком! Писал настолько воодушевляющие и душещипательно, что благодарные читатели щедро награждали его своими комментариями.

Пролетело несколько месяцев и в ожидании посещаемости с Гугла он опять решил провести анализ. И какого же было его удивление, когда он обнаружил, что в индексе Гугла находятся уже не 2300, а 10000 страниц.

Тут  наш блогер не на шутку забеспокоился и принялся штудировать интернет, в надежде получить ответы, на свои вопросы.

supplemental index

Он прочел дюжину статей по теме и наконец понял, что дела плохи и рассчитывать на высокие позиции в Гугле его сайт не может, так как в Supplemental index находится слишком много страниц.

Данную историю можно продолжить и рассказать о том, как наш блогер перепробовал массу вариантов, предлагаемых «бывалыми», применял даже нестандартные подходы, в общем что он только не делал, но проблема ни как не решалась.

Я думаю эта история многим знакома и дальше ее продолжать не стоить. А теперь серьезно.

Пора разобраться, чем руководствуется Гугл, при индексации сайтов? Почему в Supplemental index попадает такое количество страниц, откуда они берутся? В конце концов должно же быть какое-то противоядие?

Противоядие конечно есть! Но прежде надо выявить причины, уяснить правила, ведь как у нас говориться — «Незнание законов не освобождает от ответственности». Поехали!

Отношение Google к директивам файла robots.txt

В одной из своих статей я писал, что поисковые роботы, зайдя на любой интернет-ресурс, первым делом ищут файл robots.txt и исходя из прописанных в нем директив, индексируют или не индексируют те или иные страницы.

Все правильно и Гугл сам об этом говорит:

Файл robots.txt позволяет ограничить доступ к сайту для роботов поисковых систем, сканирующих Интернет. Перед обращением к сайту эти роботы ищут файл robots.txt, который запрещает им доступ к определенным страницам.

Но тут же оговаривается:

Хотя роботы основных поисковых систем следуют директивам файла robots.txt, некоторые могут интерпретировать их по-своему.

Интересно получается, налицо политика двойных стандартов! Чувствуется западный подход! Что интересно, под некоторыми поисковыми системами, Гугл подразумевает себя. Читаем дальше:

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.

Вот еще цитата:

Однако даже если вы запретите поисковым роботам сканировать содержание сайта с помощью файла robots.txt, это не исключает, что Google обнаружит его другими способами и добавит в индекс.

Цитаты взяты из следующих мануалов Google:

Блокировка и удаление страниц из индекса с помощью файла robots.txt
Блокировка сканирования Google

Интересно получается, «Google не сканирует и не индексирует содержание страниц заблокированных в файле robots.txt…»  —  в тоже время это не уберегает страницы от индексации.

«…URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс» — что это за другие страницы?

Выходит так, что под другими страницами, Гугл понимает, как внешние, так и внутренние страницы. Т.е, внутренние ссылки могут привести к индексации страниц, заблокированных в robots.txt. Да уж, дела. Так вот она где собака зарыта!

Получается, что все наши усилия, направленные на борьбу с дублями страниц такими, как: страницы категорий, страницы меток и т.д, через директивы в файле robots.txt просто не имеют смысла? Ведь все рано, на те же категории ведут ссылки: с меню навигации, с карты сайта для посетителей, да и в записях не редко приходится ссылаться на рубрики.

Здесь надо понимать следующее. Директивы в robots.txt вовсе не бесполезны, так как они действительно уберегают сайт от внутренних дублей.

Внимательно вчитайтесь в данные строки: — «… Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt…». Т.е, текст самой статьи не индексируется, а в индекс попадет только URL, заголовок и текст ссылок, возможно и сами ссылки.

Поэтому, в «сопливой» выдаче вместо сниппета, под URL или заголовком, помещается следующий текст:

supplemental index1

Что переводится так — «Описание веб-страницы не доступно из-за ограничения в robots.txt».

Робот не может выбрать сниппет по той причине, что ему просто не из чего выбирать, так как сам текст он не сканировал и ничего о нем не знает, хотя страницу он все равно загрузил.

Тогда возникает один общий вопрос:

ЧТО ДЕЛАТЬ?

А также пара дополнительных:

1. Если дублей нет, то стоить ли бороться с supplemental index и если стоит, то как?
2. Какое влияние оказывают «сопли» на ранжирование сайта в основной выдачи Гугла и оказывают ли вообще?

Вопросы довольно не простые. Ну что же, давайте попробуем в этом разобраться.

Влияние Supplemental index на ранжирование в основной выдаче Google

Мнения, касающиеся влияния Supplemental index на ранжирование сайтов в Гугле бытуют разные. Одни пугают честной народ «Пингвином» (жесткий фильтр Гугла), другие наоборот успокаивает, мол плохо конечно, но и критичного ничего в этом нет, а кто-то вообще на сопли не обращает никакого внимания.

А что же говорит сам Гугл по этому поводу? А ничего не говорит. По крайней мере я ничего не нашел. Конечно, есть статьи разных наших и западных сеошников, которых рассуждают о предназначении Supplemental index, но мнения высказываются настолько разные, а порой прямо противоположные, что поймать рыбку в такой мутной воде не представляется возможным.

Ничего не остается, как включить мозги, активировать логику, призвать в помощь накопленный опыт и попытаться самому разобраться в вопросе влияния «соплей» на «здоровье» тех или иных интернет-ресурсов.

Давайте с помощью расширения RDS bar проанализируем пару популярных сайтов. Интересно как у них обстоят дела с индексацией в Гугле.

Возьмем кулинарную тематику:

mata teg robots2

Как видите Гугл проиндексировал 403000 URL, из них в основной индекс попало всего 9% страниц.

Если исходить из той логики, что Supplemental index оказывает негативное влияние на ранжировании, то данный ресурс явно не здоров. Но почему тогда посещаемость в районе 180000 уников в сутки? Кстати счетчики у сайта открыты, так что можете полюбопытствовать.

Возьмем еще один популярный сайт IT тематики:

mata teg robots3

Здесь процент страниц, находящихся в основном индексе немного выше, но и общая цифра в два раза больше, хотя сути это не меняет. А суть следующая. Вы не найдете сайты, у которых было бы 100% страниц в основном индексе Google. Есть конечно сайты у которых менее 50% страниц «в соплях», но таких не так много.

Какой вывод можно из этого сделать? Наверное можно предположить, что Supplemental index не влияет на ранжирование. Хотелось бы конечно в это верить, но я бы не стал торопиться.

Здесь надо учесть, как мне кажется, один очень важный момент. Данные сайты довольно возрастные и они уже заслужили безусловное доверие поисковых систем.

Кроме того известно, что при ранжировании сайтов, поисковые алгоритмы учитывают сотни, а может даже тысячи факторов и одним из таких факторов вполне может быть процент страниц в Supplemental index.

По моему мнению, в повышенной зоне риска находятся прежде всего молодые сайты, у которых еще нет никаких заслуг, а основные показатели близки к нулю и при этом в «соплях» находится в десятки раз больше страниц, чем в основном индексе. Конечно такое положение дел не сулит ничего хорошего.

Теперь я опять вернусь к мануалу Google, а конкретно к следующим строкам — «В результате URL страницы, а также другие общедоступные сведения, например текст ссылок..». СТОП!

Что за текст ссылок? Если робот индексирует текст ссылок, то велика вероятность, что и сами ссылки он также индексирует, причем это приводится в качестве примера. В общем никто точно не знает, что там еще индексирует Гугл, но мне понятно одно: чем меньше URL моего блога попадут в сопливый индекс, тем для него будет лучше.

А теперь пришло время рассказать об обещанном противоядии от «соплей».

seo-mayak.com

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Проверяйте индексацию в панели вебмастеров

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Количество качественных страниц растет, и они добавляются в индекс Проблемы с индексацией выглядят так: Сайт, закрытый от индексации

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

За последний час в индексе Google появились 49 страниц русскоязычной Википедии

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — RDS Bar для Google Chrome

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать 🙂

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

Ошибка с метатегом robots

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Таблица для фиксации индексации сайтов

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

Таблица для фиксации результатов выдачи по оператору site: для Yandex

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

netpeak.net

Аддурилка Гугла

Как и у яндекса, гугл имеет свой собственный сервис по добавлению url-адресов (add url – отсюда и название «аддурилка»). Расположен он по следующему адресу: http://www.google.ru/addurl/. Перейдя по нему, вы попадете на окно, аналогичное яндексу, где нужно будет в главное поле ввести желаемый url-адрес, а затем каптчу.

добавление сайта

В отличие от яндекса, данный сервис менее удобен из-за заумной каптчи: она содержит латинские цифры, которые очень сложно разобрать. Счастье, что к регистру букв сервис «равнодушен».

Публикации в Гугл+

Неплохой скорости индексации можно добиться и в том случае, если вы станете добавлять свои новые статьи в социалку Гугл+. Существует специальный раздел – публикации, куда можно добавлять свои статьи. Во-первых, таким образом вы подтверждаете, что статья принадлежит вам. Во-вторых, вы ускоряете индексацию новой страницы.

Заходите на сайт Гугл+, выбираете раздел «Профиль», затем «Изменить профиль», и ищите пункт «Публикации». Остается только добавить ссылку на те страницы, которые вы хотите запихнуть в индекс гугла.

Индекс гугл

Чтобы ваши статьи распространялись сами собой с помощью пользователей, установите кнопку гугл плюс на сайт, социальные кнопки это всегда хорошо.

Ссылки с Твиттера

Еще один вариант добавления сайта в индекс поисковика – закупка ссылок с твиттера. Или же можно попросить друзей проретвитить ссылки ваших новых материалов. Дело в том, что твиттер очень быстро индексируется гуглом, практически мгновенно, поэтому можно таким образом приманить роботов на свой сайт.

Если вы хотите купить ссылки, то я рекомендую воспользоваться сервисом prospero.ru. Самая дешевая ссылка стоит там всего 2 рубля, купив 3-4 штуки, вы обеспечите себя быстрой индексацией.

Также можно организовать сообщество блоггеров, каждому участнику завести аккаунт в твиттере и вместе обмениваться твитами на статьи. Так вы сможете помогать друг другу в ускорении и улучшении индексации сайта.

Анонсирование

Еще один вариант добавления сайта в индекс гугла – анонсирование. Анонсирование – это краткое описание вашей статьи на других сайтах (с ссылкой на ваш). Существует немало социалок для блоггеров, где можно анонсировать новые посты на сайт. Гугл активно индексирует данные ресурсы, т.к. они очень часто обновляются. Поэтому, добавив пару анонсов, вы можете ожидать улучшения индексации.

great-world.ru

Как Mobile-first сказался на индексировании сайтов

После полноценного запуска мобильного поискового алгоритма изменились результаты органической выдачи. В ТОПе Google появилось больше сайтов с мобильными версиями. У части ресурсов, оптимизированных под просмотр с ПК, позиции снизились. Сайты с адаптивной вёрсткой действие алгоритма на себе практически не ощутили.

Google не стал выкашивать из топа сайты, у которых реализована только версия для ПК. Такие ресурсы по-прежнему индексируются. Однако для поисковика теперь в приоритете mobile-friendly сайты.

Поисковик призвал вебмастеров улучшить мобильные версии сайтов. Помимо удобного дизайна, ресурс должен содержать весь контент, который присутствует в версии для ПК. Немаловажным фактором останется и скорость загрузки — медленные ресурсы начнут опускаться в топе.

Это интересно: Как проиндексировать сайт в Яндекс и Гугл

Можно ли повлиять на скорость индексации сайта

Владельцы ресурсов не смогут каким-либо образом повлиять на скорость индексации по новому алгоритму. Это право Google оставляет за собой. Когда сайт будет включен в индекс, в Search Console (Гугл Вебмастер) появится такое сообщение:

Уведомление в сёрч консоль

Вебмастерам, не получившим «письмо счастья», придется внести изменения на сайте. В противном случае со временем позиции ресурса в органической выдаче ухудшатся.

Как перестроиться под Mobile-first

По заверениям поисковика, переделывать сайты с адаптивной вёрсткой не нужно. Владельцам ресурсов с десктопной версией нужно создать и привязать мобильную. При этом Google будет проверять удобство и полезность сайтов по ряду критериев.

Этот чек-лист поможет понять соответствие ресурса принципам индексации Mobile-first:

  1. Релевантность контента. Пользователи, просматривающие сайт со смартфонов и планшетов, должны видеть такой же контент, который отображается на ПК.
  2. Метатеги. Тайтлы и метаописания нужно прописать для обеих версий ресурса. Поисковик допускает сокращение заголовков для повышения удобства пользователей.
  3. Hreflang. При использовании атрибута rel=»hreflang» мобильные URL должны вести на мобильные версии страниц, а десктопные — на версии для ПК.
  4. Нагрузка на сервер. Хостинг, на котором размещена мобильная версия ресурса, должен справляться с повышенной скоростью сканирования.
  5. Тег rel=»alternate». Поисковик будет поощрять вебмастеров, использующих теги переключения. Благодаря такой функции Гуглу не придётся проверять все страницы сайта — поисковик просто покажет пользователям URL типа m.site.ru.

Обе версии ресурса нужно подтвердить в Search Console. Там же можно узнать, как Google видит мобильный сайт. В разделе «Сканирование» нужно кликнуть по кнопке «Посмотреть как Googlebot» и выбрать в списке пункт «Mobile: Smartphone».

В ближайшем будущем поисковик, возможно, усовершенствует алгоритм. Google советует вебмастерам не вдаваться в панику, а постепенно улучшать ресурсы в соответствии с потребностями пользователей мобильных устройств.

internet-marketings.ru

1. Проверка нахождения страницы в индексе

Индекс в Яндексе

Тут все просто, лично я использую самый простой инструмент — RDS bar для Chrome или Firefox. Хотя RDS bar есть даже для Opera, а вот для моего любимого браузера Safari, на который я перешел после покупки «макбука», к сожалению, пока нет.

Заходим на ту страницу сайта, которую нужно проверить на проиндексированность. В RDS bar смотрим на раздел «Проиндексировано»:

Проверить страницу в индексе

Допустим, мы переделали страницу и нам нужно узнать, как страница выглядит в индексе: она в старом виде или уже изменная страница участвует в поиске? К примеру, мы хотим узнать для Яндекса: кликаем на слово «Да», которая располагается напротив «Индекс Я стр.:» (см. выше, в зеленом прямоугольнике). Откроется страница Яндекса, где нужно нажать на маленькую стрелочку возле URL страницы в выдаче и уже там нажать на кнопку «Сохраненная копия»:

Нахождение страницы в индексе

И вы увидите в каком виде находится данная страница в индексе Яндекса:

Страница в индексе Яндекса

Если сравнить с оригиналом, то никаких отличий в тексте нет, так как я не производил изменения. Отличия можно увидеть по тому, насколько проиндексированы свежие комментарии. Самые последние комментарии не успели попасть в индекс:

Кэш Яндекса

А вот и свежий оригинал:

Оригинал страницы

Как видите, комментариев на самом деле больше, не все успели попасть в индекс.

Старая версия страницы, которую мы смотрели через «Сохраненная копия» носит название кэш Яндекса. Кстати, если вы вдруг что-то нечеянно удалили: какой-то текст на странице или вообще всю страницу, возможно еще успеваете ее «вытащить» из данного кэша.

Индекс в  Google

Чтобы же посмотреть, как выглядит страница в кэше Google, просто вбиваем в адресную строку следующую фразу:

http://webcache.googleusercontent.com/search?q=cache:http://адрес-вашей-страницы.ру/

И вверху страницы вы увидите уведомление от Google, что данная страница может быть неактуальной:

Кэш Google

2. Как очень быстро добавить страницу в индекс Google

Гугл итак довольно быстро «кидает» страницы сайта в индекс. Но с некоторыми сайтами, особенно молодыми, процесс затягивается. Как быть? Сайт молодой, контент появился, а Гугл все никак не может «засунуть» страницы в индекс.

С Google все очень просто, «загнать» в индекс плевое дело. Чтобы очень быстро добавить страницу в Гугл, нужно:

  1. Добавить сайт в Google Webmasters, если там еще его нет.
  2. Заходим на наш сайт в Гугл Вебмастере: Google Webmasters
  3. Там находим в пункт «Сканирование» -> «Посмотреть как  Googlebot»: Googlebot
  4. Вбиваем адрес нашей страницы, которую нужно «загнать» в индекс и нажимаем на кнопку «Сканировать»: Сканирование страницы
  5. Ждем немного, появится кнопка «Добавить в индекс», нажимаем на нее: Добавить в индекс Google
  6. Можно добавить только данный URL или целую рубрику. В месяц подобным образом можно добавить до 500 отдельных страниц или 10 рубрик (сама страница и те, куда ведут ссылки с нее). Мне просто нужно добавить данную страницу в индекс, поэтому я выбираю первый пункт «Сканировать только этот URL»: Отправка в индекс Google
  7. В моем случае страница переиндексировалась в Google очень быстро. На молодых сайтах отправка в индекс может тянутся до нескольких часов, но это все равно лучше, чем ждать дни, а то и недели. Как страница добавится в индекс, вы увидите сообщение «URL добавлен в индекс»: URL добавлен в индекс

Конечно, я не извращаюсь подобным способом и не вгоняю вручную каждую страницу своего сайта. Google итак отлично индексирует сайты, исключение составляют некоторые, особенно молодые сайты. Данный способ я использую довольно давно, новые сайты или переделенные страницы мгновенно «влетают» в Google.

3. Как быстро загнать страницу в индекс Яндекса

Жаль, что у Яндекса нет такого же классного инструмента. Тут все сложнее. Новые сайты не так просто загнать в индекс. Немного ускоряет процесс покупки ссылок с сайтов, страницы которых очень хорошо и быстро попадают в индекс. Если покупать ссылки на новые сайты для индексации, то лучше это делать без ключевых слов, использовать безанкорные ссылки. Анкор ссылки может быть в виде URL (лучше всего) или же словами типа «тут», «здесь» и т.п. Но даже покупка ссылок, не такой хороший способ для быстрой индексации страниц сайта, как способ, описанный ниже.

Вот рабочий способ:

  1. Составляете тексты объемом не более 140 символов, где содержится: url целевой страницы + тематичный околоссылочный текст.
  2. Прогоняете эти тексты по нескольким хорошо индексируемым Twitter-аккаунтам, штук 10 достаточно. Да, Twitter — очень хороший инструмент для ускорения индексации, как многие уже знают.

Ну или же вы просто можете купить твиты у других пользователей.

В моем же случае, когда мне довольно часто приходится «загонять» страницы, а то и сайты целиком в индекс Яндекса, покупать твиты у разных «чуваков» не выгодно. Из-за сферы своей деятельности я часто переделываю страницы клиентов и мне постоянно нужно их заново переиндексировать. Я работаю по той же самой схеме, но более в автоматическом режиме. Распишу подробнее.

1). Покупка twitter-аккаунтов

Сервисов по покупке твиттер-аккаунтов сейчас довольно много. Главное, найти аккаунты, твиты которых действительно хорошо индексируются. Чтобы проверить, индексируется ли вообще аккаунт, просто перейдите по это ссылке http://yandex.ru/yandsearch?text=http://twitter.com/wpnew, и уже там вводите полное твиттер-аккаунта. Я покупаю аккаунты на этом сервисе bar-akk.ru, пункт «Аккаунты Twitter (индекс Я+Г)»:

Аккаунты Twitter

Как видите, 1 аккаунт стоит 50 рублей, 10-ти подобных достаточно. Только там их быстро раскупают, нужно прям «ловить». Например, сейчас доступно на продажу 0 аккаунтов.

2). Составление текстов

Тексты пишите до 140 символов с пробелами (именно такой объем — максимум в Twitter). Ссылку желательно размещать внутри текста, он должен быть окружен тематическим текстом. Пишем сами, если нет времени/плохо получается, обращаемся к копирайтерам. Если таковых нету, обращайтесь ко мне, за более-менее крупные заказы готов взяться со своей командой. 3$ за 1000 знаков, заказы принимаю минимум на 10 000 знаков. Пишите на почту.

wpnew.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.