Проверка индексации страницы



Привет друзья! Я уверен, что если ты решил прочитать эту статью, то у тебя наверняка есть свой сайт и ты озаботился таким вопросом: как возможно проверить индексацию страницы в поисковых системах, а в частности в Яндексе и Гугл.

Все мы пишем интересные статьи на наш блог, и хотим чтобы их читали как можно больше людей. Но для того, чтобы люди находили вашу статью во всемирной паутине необходимо, чтобы поисковые роботы занесли ее в свою огромную базу. 

Кстати рекомендую почитать мой пост о том, как получить доверие поисковых систем, где все разложено по пунктам.

Процесс добавления твоей новой страницы в индексную базу поисковой системы может длится от нескольких минут до недели, в зависимости от того как часто роботы захаживают на твой сайт. И конечно хотелось бы, чтобы роботы почаще бывали на твоем блоге, и чтобы свежая информация была как можно быстрее доступна в поиске пользователям.

Так как же проверить индексацию страницы в Яндексе и Google — наиболее популярных поисковиках?

Проверить индексацию страницы —  операторы


Яндекс

Для выяснения присутствует ли страница в индексной базе Яндекса существуют несколько так называемых документных операторов:

  • url: Поиск заданной страницы в индексе, формат написания: url:адрес_проверяемой_страницы
  • site: Поиск всех индексированных страниц на сайте, формат написания: site:адрес_сайта
  • host: Поиск всех страниц на данном хосте, формат написания: host:адрес_сайта

Вот как это выглядит для моего сайта:

Результат запроса в Яндексе по оператору URL:
Результат запроса в Яндексе по оператору site:

Впрочем если ты в операторе site введешь адрес отдельной страницы он сработает аналогично оператору url


Google

В данном поисковике есть всего один оператор — site. Он полностью аналогичен по функции своему одноименному собрату в Яндексе. Он также выдает все проиндексированные страницы на сайте. В формате этого оператора можно использовать команду &, которая позволяет понять сколько рабочих страниц находятся в индексной базе, отсекая при этом «сопли», которые находятся в дополнительном индексе. Вот так выглядит запрос данного оператора site:адрес_сайта/&. Пример запроса индексации страниц в Гугле на моем сайте:

Результат запроса в Гугле по оператору site:

Если же ты в операторе site для Гугла введешь полный адрес страницы он сработает также как оператор url для Яндекса.

Еще можно воспользоваться расширенными функциями поиска на сайте:

  • Яндекс — переходим сюда http://yandex.ru/search/advanced
  • Google — переходим сюда http://www.google.ru/advanced_search

В поисковой строке необходимо ввести какую-нибудь фразу или словосочетание, либо заголовок страницы, которую мы хотим проверить, и указать сайт, где будем искать. В итоге получим релевантные запросу страницы сайта, среди которых должна находиться искомая страница (если она присутствует в индексе). Вот так выглядит расширенный поиск для Яндекса:


Поиск с помощью расширенного поиска
Расширенный поиск на Яндексе

У Google ситуация похожая, отличается только интерфейс расширенного поиска. В результате выполнения запроса получаем список страниц, в которых присутствует ключевая фраза.

Сторонними программами и сервисами

Яндекс.Вебмастер

Этот способ подходит для проверки индексации страницы в Яндексе. Правда проверка таким способ занимает несколько минут, но зато он дает дополнительную информацию о дате индексирования.

Чтобы получить данные необходимо сделать следующее:

  1. Выбрать пункт Мои сайты
  2. Найти необходимы сайт, на котором расположена страница
  3. Перейти в меню Проверка URL
  4. Введите адрес искомой страницы и нажмите кнопу Проверить

В течении некоторого времени система обрабатывает данные и формирует отчет. Чтобы посмотреть ответ нажмите ссылку готово.


Проверка индексирования в Яндекс.Вебмастер

RDS bar

Наверное самым простым и быстрым способом проверки на индексацию является расширение для браузеров RDS bar. Данный плагин является бесплатным, встраивается практический в любой браузер и служит для определения показателей сайта. Возможности у RDS bar очень большие, перечислять в данном посте не имеет смысла, но каждый вебмастер должен иметь в своем арсенале данный инструмент.

Одна из возможностей программы — определение нахождения в индексе поисковых систем любой страницы сайта. Для установки плагина для хромбраузеров идем по этой ссылке. После установки плагина достаточно кликнуть по иконке в панели инструмента и получить полную картину:

Расширение для браузеров RDS bar

На скриншоте видно сколько возможностей у данной программы, после установки не забудь зайти в меню настройки и сделать установки под себя.

YCCY

Данная программа включает в себя несколько блоков, исполняющих разнородные задачи, но в нашем случае самое большое значение имеет модуль INDEXATOR, который выполняет следующие функции:

  • Проверка индексированных страниц в Google и Яндексе в массовом порядке
  • Проверка в пакетном режиме на количество страниц
  • Проверка на тИЦ сайта

Программу можно скачать с официального сайта, там же прочитать полное описание всех модулей программы и инструкцию по работе. Все достаточно просто и наглядно. Для проверки необходимо в левое окно ввести адрес тестируемого сайта, выставить нужные чекбоксы на предмет проверки, нажать кнопку Начать проверку и в трех правых окнах получить результат проверки.

Проверка индексации программой YCCY

Серпхант

Недавно открыл для себя интересный онлайн сервис с помощью которого можно проверить индексацию страницы. Все очень просто, вводите списком ссылки на необходимые страницы и нажимаете кнопку Начать проверку.

Проверка индексации сервисом Серпхант

По истечению непродолжительного времени вым выдаются результаты проверки индексации в Яндексе и Google запрошенных страниц.


Результат проверки индексации

Описанный способ наверное самый простой и быстрый чтобы проверить индексацию страницы.

Я описал способы, которыми пользуюсь сам для быстрой проверки индексации страницы в поисковых системах. На самом деле похожих сервисов довольно много, есть бесплатные и платные, хорошие и не очень.

В данной статье я специально не упомянул сервисы Вебмастера от Яндекс и Google. У каждого из перечисленных поисковиков есть свой инструментарий, который дает полную картину о сайте, но чтобы ими воспользоваться ты должен быть хозяином сайта, а вышеперечисленные методы подходят абсолютно для любого сайта, будь он чужим или своим.

А какие способы используешь ты для проверки индексации своего сайта? Поделись в комментариях, я думаю это будет всем полезно знать.

leonov-do.ru

1) Как проверить индексацию сайта через панель управления в сервисе для веб-мастеров

Этот метод является основным. Для сервиса Google следует выполнить следующие действия:

  • перейти в панель управления сервиса;
  • выбрать вкладку Search Console;
  • после этого перейти в еще одну вкладку «Индекс Google»;
  • кликнуть по пункту Статус индексирования.

Для сервиса Яндекс последовательность действий будет следующей:

  • открыть Вебмастер;
  • найти пункт Индексирование сайта;
  • выбрать строку Страницы в поиске.

вкладки индексирование в яндекс вебмастере

Также можно пойти по другой последовательности вкладок – после Индексирования сайта кликнуть на вкладку История, а уже там кликнуть на вкладку Страницы в поиске. Это позволит вам отследить, как меняется количество проиндексированных страниц.

Такой способ проверки доступен только тем веб-мастерам, для которых в панели инструментов сервиса открыт соответствующий доступ.

На картинке ниже представлен график хорошо проиндексированного сайта. Как можно увидеть, количество страниц в индексе постоянно возрастает.

хорошая статистика индексации сайта в яндекс вебмастере

А на картинке ниже представлен тот случай, когда наблюдаются проблемы с индексацией или страницы сайты вообще закрыты от индексирования.

статистика плохой индексации сайта в яндекс вебмастере

2) Проверка поисковыми операторами


С их помощью легко уточнить будущие результаты. Например, отлично для этих целей подходит параметр/оператор «site:», посредством которого вы сможете увидеть, сколько именно страниц проиндексировано.

Для этого в поисковой строке (Яндекс или Google, а лучше и там, и там) вводится следующая комбинация: site: url сайта

 

Обратите внимание! Большая разница в результатах двух поисковых систем может говорить о наличии тех или иных проблем в работе сайте.

 

К примеру, сайт cubing.com.ua, данные которого приведены на скринах ниже, находится под фильтром АГС, накладываемым поисковой системой Яндекс.

фильтр АГС в яндексе и гугле

А вот дополнительные инструменты, которые есть в поисковых системах, дают возможность получить много интересной информации. Например, как менялась индексации за тот или иной период времени.

дополнительные инструменты поиска

3) Плагины и расширения


Это автоматизированный метод проверки. Помимо плагинов можно использовать специальные расширения. Их еще называют букмарклеты, который представляют собой программы-скрипты. Они сохраняются в виде обычных браузерных закладок.

Привлекательность скриптов состоит в том, что теперь вам не придется снова и снова открывать поисковую системы и вводить какие-то слова или символы. За вас все сделает программа.

плагин RDS bar для Google Chrome

На картинке выше представлен пример работы плагина RDS bar. На скриншоте показано, какие данные он показывает при интеграции в браузер Google Chrome. Но в браузере Mozilla он предоставляет еще больше данных и возможностей.

В частности, такой плагин дает возможность получить данные, как по отдельной странице, так и по всему сайту в целом.

 

Обратите внимание! Плагины бывают, как платными, так и бесплатными. Явный недостаток бесплатных версий – необходимость постоянно вводить капчу. Нервирует жутко!

 

Хорошие отзывы заслужил скрипт/букмарклет «Проверка индексации». Его нужно всего лишь перетащить на панель вашего браузера. Потом открывайте нужный вам сайт и кликните по закладке скрипта. Это активирует новую вкладку браузера, на которой показаны все данные.

4) Специальные сервисы

Истинные помощники всех «сеошников». Перечислять подобные сервисы можно долго – их много. К примеру, выделяется ресурс Netpeak Spider.

Основное преимущество сервисов состоит в том, что вы получаете массу дополнительной информации помимо основных данных:


  • данные о количестве проиндексированных страниц;
  • полный список всех страниц, которые находятся в индексе;
  • коды ответа;
  • мета-теги;
  • файл robots.txt и многое-многое другое.

Кроме того, сервис предоставит информацию об ошибках на сайте.

5) Проверка индексации сайта с помощью Topvisor

Topvisor — является лучшим из сервисов для мониторинга и анализа поискового продвижения. Для проверки индексации следует выполнить следующие действия:

После того, как пройдете регистрацию, выберите проект, которой хотите проиндексировать.

выбор проекта в топвизор

Далее переходим во вкладку «ядро»

вкладка ядро в топвизор

Здесь можно создавать группы ключевых слов для удобства и с помощью сервиса определить частотность запросов и посмотреть их базовые, «фразовые» и «точные» значения. При этом «ключи» вводить можно вручную, импортировать их из файла, а также сделать подбор из Яндекс.Wordstat и Google AdWords.

группы запросов в топвизор

 

Для проверки позиций переходим на вкладку «позиции» , выбираем нужную поисковую систему, к примеру Яндекс, выбираем нужную группу ключевых запросов и кликаем по зеленой кнопке в верхнем левом углу «обновить».

проверка позиции запроса в топвизор

Спустя некоторое время данные обновятся. В отчете вы увидите позиции вашего сайта по определенным запросам и частоту запросов по «ключам». Когда происходят какие-либо изменения, например, ваш сайт поднялся на несколько позиций выше в поисковой системе, то эти изменения будут отображены здесь же. Так же доступна опция автоматического запуска проверки в указанное время или в зависимости от апдейтов Яндекса

проверка позиций сайта по ключевым запросам

 

Почему возникают проблемы с индексированием сайта: описание основных проблем и пути их решения

Рассмотрим основные причины, почему сайт может не индексироваться. Зачастую на исправление ошибок нужно не так уж и много времени, но после этого результаты поисковой выдачи существенно улучшаются.

Молодой сайт

Если вашему ресурсу совсем мало дней/недель/месяцев, нужно лишь просто подождать. Немного. Так уж работают поисковые системы, что сайты и страницы попадают в индекс далеко не сразу. Иногда приходится ждать несколько месяцев.

Отсутствует sitemap

Без нормальной карты сайта добиться хороших результатов нереально. Sitemap оказывает непосредственную помощь поисковым роботам, что существенно ускоряет скорость сканирования сайта, а также попадания его страниц в индекс. Добавлять ссылку на карту сайта проще всего через панель управления в сервисе веб-мастеров.

Наличие ошибок

Внимательно следите за оповещениями при посещении сервиса веб-мастеров. Там постоянно появляются сообщение о наличии тех или иных недочетов, ошибок. Просматривайте их и не забывайте исправлять.

Проблема с robots

Метатег robots важен для правильного индексирования сайта. Неосознанное изменение настроек на хостинге или вашей CMS приводит к появлению следующей записи в коде.

код страницы сайта с ошибкой в метатеге

Что говорит о том, что страница попросту не индексируется.

Ошибка с файлом robots.txt

Правильно написанный файл robots.txt – гарантия хорошего индексирования. Нередко можно встретить советы и рекомендации закрывать для поисковых роботов через данный файл все ненужное.

Однако уникальная особенность файла состоит в том, что лишь один неправильно поставленный символ может вообще закрыть сайт для индексации поисковыми системами.

Даже если вы стремились закрыть всего лишь одну страницу, может оказаться так, что одним кликом перекрыли несколько страниц и т.д.

Посмотрите внимательно на свой файл. Нет ли в нем записи User-agent: * Disallow: /? Если она присутствует, значит сайт закрыт для индексрования.

И еще несколько причин, по которым сайт не индексируется

Среди основных проблем с индексированием можно выделить:

  • наличие дублей страниц;
  • использование при наполнении сайта неуникальных материалов;
  • низкая скорость загрузки сайта и проблемы с доступом к нему.

Как ускорить индексацию сайта в Яндексе и Гугле?

Главная цель владельца сайта – чтобы все страницы, открытые для поисковых роботов, находились в индексации. Добиться такого результата, скажем откровенно, весьма и весьма сложно.

Кроме того, необходимо постоянно отслеживать весь процесс добавления страниц в индекс. Любые изменения – резкие – будь-то положительные или отрицательные, сигнализируют о наличии конкретных проблем, которые мешают нормальному индексированию ресурса.

Для проверки индексирования сайта воспользуйтесь любым (а лучше последовательно каждым) способом, описанным в нашей статье:

  • панелью инструментов в сервисе для веб-мастеров;
  • поисковым оператором/параметром site: ;
  • плагины и скрипты;
  • специализированные онлайн-сервисы.

ifish2.ru

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

Индексация в поисковых системах

То есть у поискового робота есть задача — обойти ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля перед ним предстает список ресурсов, релевантных этому запросу.

Поиск в Google по запросу агентство копирайтинга

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 5 шагов к качественному тексту.

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, что нужно делать.

Проиндексированный и закрытый сайт

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Посмотрим, как обстоят дела с файлом Robots.txt на сайте Textum.

Анализ Robots.txt

Анализ файла в Yandex Webmaster показал, что сайт открыт для индексации в поисковых системах.

Также необходимо сообщить о новом ресурсе с помощью функций Yandex Webmaster и Search Console.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Посмотреть как Googlebot

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap (карта сайта), есть возможность поставить странички на переообход. Например, в Yandex Webmaster это выглядит так:

Переобход страниц в Yandex Webmaster

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress (кстати, здесь же можно полность убрать портал с «глаз» поисковиков). Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Видимость сайта для поисковых систем

Вы все это уже сделали? Отлично, можно приступать к «десерту» – анализу индексации сайта. Это можно сделать как в онлайн-режиме, так и при помощи установленных плагинов, подробнее об этом далее.

Как проверить индексацию сайта в Google и Yandex?

С помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс.

Способ №1. Проверка с помощью Google и Yandex Вебмастер

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Webmaster. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

  1. Заходим в Search Console.
  2. Выбираем в панели инструментов «Индекс Google».
  3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт Textum и посмотрим, что же покажет Google Webmaster у нас.

Статус индексирования в Google Search Console

Как видим, синяя полосочка уверенно ползет вверх, странички на нашем ресурсе успешно индексируются. Если же график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Как проверить индексацию страниц сайта в Яндекс:

  1. Заходим в Yandex.Webmaster.
  2. Переходим во вкладку «Индексирование».
  3. Выбираем пункт «Страницы в поиске».

Сервис предлагает сформировать график за определенный период. Можно посмотреть количество добавленных или удаленных страничек.

Количество добавленных и удаленных страниц в Yandex Webmaster

Подробнее о сервисе читайте здесь: Яндекс.Вебмастер: обзор 30 разделов и анализ 30 функций.

Способ №2. Прибегаем к помощи оператора поисковых систем

Чтобы спросить не у ясеня, а Гугла или Яндекс об индексации сайта нам понадобится оператор «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Yandex или Google: site: адрес ресурса. В качестве подопытного портала используем Textum.

Вот что показал Гугл:

Поисковый оператор site в Google

И что выдал Яндекс:

Поисковый оператор site в Yandex

По версии Yandex у нас целых 91 страниц участвует в поиске, Google более скромно сообщил о 69 страничках. Разница довольно существенная. Рекомендуем все-таки пользоваться сервисом Вебмастер, он выдает более точные результаты.

Еще один вариант – поисковый оператор «info». В отличие от site, он показывает проиндексирована ли одна конкретная страница.

Поисковый оператор info

Как видим, страница отразилась в результатах поиска (также здесь указана скорость ее загрузки), значит, она успешно проиндексирована поисковиками.

Для упрощения работы есть одна фишка. Чтобы не заходить сначала в один поисковик, затем в другой, можно это сделать в пару кликов: заходим на сайт seogadget.ru→ вставляем адрес страницы→ нажимаем «Проверить». Все, смотрим результат.

Проверка индексации сайта в seogadget.ru

Еще один простой и быстрый способ проверки индексации сайта – зайти на xseo.in. Алгоритм действия аналогичен предыдущему.

Вставляем в специальное поле адрес сайта, отдельной страницы, кликаем на «Проверить».

Проверка индексации сайта в xseo.in

После этих нехитрых манипуляций сервис в считанные секунды выдает результат.

Результат проверка индексации сайта в xseo.in

Разница между этими двумя способами: на seogadget.ru можно осуществить массовую проверку индексации сайтов, xseo.in – по одному.

Способ №3. Используем плагины

От ручного способа переходим к автоматизированному методу.

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

  • устанавливаем расширения в своем браузере;
  • открываем нужный сайт и выбираем страницу;
  • кликаем на расширение вверху экрана;
  • знакомимся с результатами.

Вот как примерно это будет выглядеть.

Плагин RDS bar для проверки индексации сайта

Плагин RDS bar предоставит информацию о количестве проиндексированных страничек; дата последнего обновления портала «глазами» робота; получение значения ТИЦ; определение Google Pagerank, количество весомых входящих ссылок на сайт и еще множество другой полезной инфы.

Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы – несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. После регистрации здесь аккаунта пользователю предоставят 14 дней бесплатного пользования, также потребуется скачать программу на компьютер. Посмотрим, что нам покажет по Textum Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Анализ сайта в Netpeak Spider

Затем кликаем на старт и получаем ответ от программы.

Результаты анализа сайта в Netpeak Spider

Какие данные можно почерпнуть из Netpeak Spider:

  • количество URL с важными ошибками;
  • индексированные страницы;
  • критичность ошибок (средняя, низкая);
  • время ответа сервера;
  • тип контента (например, изображения, HTML) и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Проверка страниц в Netpeak Checker

Перетаскиваем в зеленое поле адрес нужной нам страницы, опять кликаем на старт и через 1-2 секунды получаем результат. Кстати, данные можно экспортировать в Excel.

Результат проверки сайта в Netpeak Checker

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

  • код ответа сервера;
  • время ответа сервера;
  • скорость загрузки страницы;
  • описание title и description;
  • количество проиндексированных URL;
  • сколько раз пользователи поделились страницей в Facebook и Twitter.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Netpeak Checker – параметры проверки сайта

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

Также можно воспользоваться возможностями простенькой, главное, бесплатной программой YCCY. Минус только один – ее нужно скачать и установить на ПК или ноут. Но делается это очень быстро, скачать прогу можно с официального сайта YCCY.

После распаковки и установки файлов вы увидите такое окошечко, в котором нужно кликнуть на вкладку Indexator.

Программа для проверки индексации сайта YCCY

В список исходных URL вносим 1 или несколько страниц, выбираем поисковую систему и жмем «Начать проверку».

Проверка индексации сайта в YCCY

Здесь все просто, если страница есть/нет в поиске, то она появится в соответствующем разделе после проверки.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

  1. Ошибки или отсутствие sitemap. Карта сайта поможет правильной индексации ресурса, т.к. направит робота по всем нужным страницам. Sitemap добавляется в Вебмастер Google и Yandex.
  2. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. Обычно в Google индексирование происходит быстрее, чем в Yandex.
  3. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google или Yandex. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
  4. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации – добавьте. Можно написать 2-3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.
  5. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.

Запрет индексации сайта в Robots.txt

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

Как ускорить индексацию сайта

 

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

  1. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом.
  2. Sitemap. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая посетить все важные странички.
  3. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
  4. Переобход страниц. Мы регулярно пользуемся этим инструментом в Яндекс Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
  5. Посмотреть как Googlebot. Такая возможность есть в панели инструментов Search Console. В форме нужно ввести адрес карты сайта. Добавленный файл отобразится в списке под формой, кликаем «отправить в индекс». После этого робот пройдется по всем ссылкам с sitemap, приняв за исходную страничку карту ресурса.
  6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

Анонс статьи в Facebook

 

Выше на скрине показано, как в агентстве Textum делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков.

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

  • Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе – значить Google, Yandex и другие о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
  • Создать инструкции для правильной индексации можно с помощью Robot.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
  • Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
  • Не забываем о важности и нужности sitemap, а также уникального, тематического контента на вашем портале.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

textum.com.ua

Содержание:

  1. Узнаем количество фактических страниц
  2. Проверяем индексацию в целом
  3. Проверяем индексацию конкретной страницы
  4. Проверяем индексацию каждой страницы списком

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

  1. Если вы используете современную систему управления сайтом, то в административной части наверняка можно посмотреть количество страниц. Например, у меня это выглядит так: количество страниц на сайте
  2. Следующий способ подойдет практически всем (при условии что у вас до 500 страниц на сайте, иначе за деньги). Есть отличный сервис http://www.xml-sitemaps.com/, который строит xml-карты сайта. В процессе работы он посчитает и количество страниц вашего сайта. Опять же, пример для моего сайта (совпадает с прошлым способом: 146 страниц, это 113 записей и 33 страницы): количество страниц в карте сайта
  3. Третий способ — это использование программы Xenu (легко ищется в Яндексе). Это программа полностью сканирует ваш сайт, составляет список страниц, список битых ссылок и еще много полезной информации. Потом просто нужно посчитать количество страниц на сайте. Но подойдет не всем, т.к. в ней нужно будет разобраться.

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе. Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

  • Смотрим приблизительно индексацию страниц в Яндексе вручную. Для этого нужно в поисковой строке ввести конструкцию вида:url:адрес-вашего-сайта*. Обратите внимание, в конце стоит звездочка. Например, в моем случае: url:ilyapronin.ru*.индексация в яндексе
  • Следующий способ — это использование Яндекс.Вебмастера http://webmaster.yandex.ru/. Возможно понадобится подключить ваш сайт к этому сервису, если вы еще этого не сделали. После подключения сайта к Яндекс.Вебмастеру мы можем узнать много полезной информации о сайте и кроме всего прочего — количество проиндексированных страниц:информация в вебмастере

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

  • Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
  • Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

  • Мне очень нравится бесплатная программа Site Auditor, скачать ее можно здесь: http://www.site-auditor.ru/. Она проверяет индексацию сайта сразу в Яндекс и Google, а так же и другие полезные параметры:программа сайт аудитор
  • Плагин для браузеров — RDS Bar. Его можно добавить в все популярные бразеры (Chrome, Firefox, Opera). После этого у вас появится информационная панель, показывающая информацию о сайте, на котором вы находитесь, в том числе и индексацию страниц:плагин rds-bar

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

  • Ручной способ. Тут всё очень просто. Копируем адрес страницы с сайта и вставляем в поисковую строку Яндекс или Google. Если она проиндексирована, то она окажется на первом месте результатов поиска.индексация конкретной станицы
  • Используя упомянутый уже плагин RDS бар. Он показывает проиндексирована ли страница, на которой вы сейчас находитесь.

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике.

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Чтобы получить список всех страниц сайта, будем использовать программу для Windows, которая генерирует карту сайта — Sitemap Generator, взять можно здесь http://www.wonderwebware.com/sitemap-generator/

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: http://ilyapronin.ru/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom=324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

sitemap-gen2

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

список всех страниц на сайте

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Дальше нам понадобится программа YCCY, которую можно скачать здесь: http://www.yccy.ru/soft/yccy

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

программа для проверки индексации страниц

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

ilyapronin.ru

Что такое индексация страниц сайта? Зачем сайту индексация? Зачем страницам сайта быстрая индексация?

При индексировании страницы сайта поисковые роботы просматривают содержимое этой страницы и заносят ее в базу данных поисковика. При наличии внутренних ссылок робот переходит и на другие материалы этого же сайта и индексирует их либо обновляет данные в базе.

Послушайте внимательно. Каждый день новые материалы на вашем сайте, которые вы только написали, но которые медленно индексируются, теряют свою уникальность. Почему? Это происходит из-за великого множества сайтов вашей тематики, плюс ежедневно появляются новые сайты, блоги, порталы и они должны наполняться статьями.

Открываю вам глаза:

РАЗ: 99% новых (и старых… очень старых) сайтов публикуют рерайты с других ресурсов, а потому каждая новая написанная статья хоть и немного, но будет похожа на вашу (в скором времени на некоторые темы вообще невозможно будет написать уникальный материал, а значит это в порядке вещей), а отсюда следует, что ваша не проиндексированная статья уже не такая и уникальная будет в момент ее индексации.

ДВА: Есть сайты, на которых админы могут быть злостными нарушителями авторских прав, т.е. они возьмут с вашего неокрепшего сайта уникальную не проиндексированную статью и разместят на своем старом трастовом сайте, короче, нагло сопрут ее, загонят в индекс, поисковые системы ее проиндексируют, посчитают ее оригиналом, а вам останется ПС доказывать что вы не верблюд…

Индексация нужна для подтверждения авторства материалов, размещенных на сайте, и для скорейшей их выдачи при поисковом запросе от пользователя. Ускорить индексацию особенно важно для молодых ресурсов, так как при наличии уникального контента они рискуют стать мишенью для интернет-разбойников.

Например, вы разместили отличный материал, но поисковый робот заглянет к вам только через неделю… За это время какой нибудь жуликоватый вебмастер, владеющий схожим по тематике сайтом или блогом, зайдет к вам в гости, скопирует вашу уникальную статью себе на страницу и проиндексирует ее за несколько часов. Робот присвоит авторство мошеннику, а когда попытается проиндексировать статью на вашем сайте, натолкнется на неуникальный контент. Это прямой путь к бану сайта. Такие вот дела, господа.

Несколько статей по теме воровства статей:

  1. Как защитить контент от воровства
  2. Оригинальные тексты в Яндекс.Вебмастер

Индексация важна если вы в погоне за трафиком. Т.е. чем быстрее статья проиндексируется, тем быстрее ее станут находить через поисковые системы.

Индексация крайне важна если вы торгуете ссылками в GGL (Gogetlinks). На бирже правило, пока статья с размещенной ссылкой не проиндексируется, вы не получите денег. А значит, нужно как можно быстрее загонять в индекс все новые статьи.

В целом и общем, как вы надеюсь сообразили, в условиях высокой и жесть какой конкуренции, одна из первоочередных важностей приобретает скорость индексации страниц вашего сайтов.

Прежде чем включать механизмы ускорения индексации, необходимо подготовить сайт для поискового робота:

  • уберите все дубли адреса главной страницы. Если сайт называется blog.com, то робот не должен натыкаться на blog.com/index.html или подобное.
  • избавьтесь от «битых» ссылок.
  • на каждую страницу вашего сайта пользователь должен переходить не более чем за три клика, и с каждой страницы посетитель должен иметь возможность уйти на главную в один клик.
  • создать правильный файл robots.txt, запрещающий индексацию лишних материалов.
  • пересмотрите контент. Он должен быть уникальным, иначе ваш сайт могут забанить за плагиат.

Как проверить, проиндексирован ли сайт/страница?

как проверить индексацию страницы сайта

  • Самый простой способ проверить индексацию страницы – ввести ее URL в строку поиска Яндекса/Гугла. Она появится в результатах выдачи, если ПС ее проиндексировали в внесли в свою базу.
  • Также можно проверять индексацию сайта с помощью различных интернет-сервисов. Например, http://www.seolib.ru/script/extlfree/
  • Индексацию сайта в Яндексе можно проверить в панели вебмастера этой поисковой системы: webmaster.yandex.ru.
  • Посмотреть, проиндексирована ли страница можно с помощью расширения для браузеров RDS bar.

Если страница еще не попала в БД поисковых систем, есть смысл позаботиться о ее скорейшей индексации.

Медленная индексация: как ускорить?

Существует множество способов ускорения индексации. Некоторые действительно помогают, а некоторые следует использовать только «на всякий случай». Рассмотрим самые эффективные:

 

  1. ПИШИТЕ ЧАЩЕ! Роботы ПС будут «жить» на вашем сайте. Иногда, не получается писать часто, чего уж греха таить…
  2. После написания статьи публикуйте ссылку во все социальные сети. Для этого у вас должны быть на сайте кнопки социальных сетей
  3. Используйте аддурилки (add URL) поисковых систем. Написали статью, опубликовали, скопировали ссылку и добавили в аддурилки. Аддурилка Яндекса — http://webmaster.yandex.ru/addurl.xml Аддурилка Гугла — https://www.google.com/webmasters/tools/submit-url?pli=1
  4. Создайте карту сайта и для поискового робота, и для пользователей. Добавьте  карту сайта в панель вебмастера поисковой системы. Карту сайта для людей поможет сделать плагин для WordPress – DDSitemapGen, а для поисковой системы – плагин Google XML Sitemaps.
  5. Делайте анонсы в социальные сети для вебмастеров. http://subscribe.ru, http://webice.ru/, http://grabr.ru/, http://postpr.ru/ Этим вы не только ускорите индексацию записи, но и увеличите посещаемость вашего сайта. Также постите анонсы в ВК и FB — это существенно ускорит индексацию ваших страниц. Чтобы не искать подходящие паблики вручную — используйте SEO-модуль системы SeoPult.
  6. Сделать внутреннюю перелинковку сайта. В каждой статье должно быть две или больше ссылок на другие статьи с этого же сайта. Так поисковый робот сможет проиндексировать все новые материалы и обновить старые.
  7. Оставлять ссылку на статью на форумах, где постоянно общаетесь – в теле комментария или в подписи.
  8. После публикации статьи сделайте прогон по социальным сетям. Это покупка ретвитов и лайков в фейсбук (Яндекс начал индексировать Facebook), ВКонтакте и Гугл+. Я прогоняю по соц сетям через Форумок (Статья о важности Форумка) Этим шагом не только ускорите индексацию, но и увеличите посещаемость сайта и ранжирование в выдачи. Сделайте на Форумке шаблон один раз, и затем прогон каждой новой статьи будет осуществляться за пол минуты (как сделать шаблон).  Плюс почитайте статью как Твиттер влияет на раскрутку вашего сайта — статья тут
  9. Если у вас сайт на WordPress, то добавьте несколько сервисов для обновления (пинг адресов) через админку WordPress. Идем: Админка → Параметры → Написание → Сервисы обновления и вставляем в форму вот эти адреса и жмем «Сохранить изменения»
      http://rpc.pingomatic.com/  http://blogsearch.google.ru/ping/RPC2  http://blogsearch.google.com/ping/RPC2  http://ping.blogs.yandex.ru/RPC2  

    как ускорить индексацию страниц сайта

  10. Разместить сайт на качественном хостинге (Рекомендую хостинг Бегет. Вот полный обзор хостинга)

Выпадение сайта из индекса поисковой системы или почему поисковые системы не индексируют страницы сайта?

Бывает так, что все затраченные на ускорение индексации сайта усилия пропали даром и сайт (страницы сайта) выпал из индекса. Почему так происходит?

    • Первая причина – неразумная продажа ссылок с сайта. На одну статью должно приходиться не более двух ссылок на сторонние ресурсы, желательно одной тематики с вашим.
    • Тексты должны быть длиннее 2000 символов без пробелов, иначе со временем их уникальность станет практически нулевой, и страница со статьей выпадет из индекса.
    • Flash и Java ссылки
    • Запрет в Robots.txt
    • Бан сайта поисковыми системами
    • Запрет в мета-тегах
    • Вход на страницы через заполнение форм
    • Неуникальный контент
    • Хостинг работает с частыми перебоями

Быстрая индексация сайта – это база для поискового продвижения. Чем быстрее страница попадет в результаты выдачи, тем больше пользователей посетит ваш сайт, и тем выше вероятность, что они купят что-либо (если вы оказываете услуги или производите товары). Вывод прост: чем быстрее индексация, тем больше вы зарабатываете.

Удачи!

aimblog.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.