Проверка индексации

Как правильно проверить сайт на индексацию в Яндекс и Google?

Большинство оптимизаторов используют для проверки сайта на индексацию браузерные бары вроде RDS-bar и других.

Проверка индексации

Все бары берут эти данные из выдачи поисковых систем c помощью различных операторов и просто «подтягивают» в свой интерфейс.

Проверка индексации
Проверка индексации

Но стоит учитывать что данные, полученные таким способом не точные, так как поисковые системы не отдают корректные данные об индексации для больших сайтов. По картинкам выше можно заметить расхождения в данных даже для маленького сайта. Для больших сайтов (начиная от 10 000 страниц) данные по индексации могут очень сильно искажаться!

Как же корректно проверить сайт на индексацию, чтобы данные были точными?

В отличие от сайта целиком, поисковые системы выдают точные данные об индексации каждой конкретной страницы. Следовательно, необходимо взять все нужные страницы сайта и проверить индексацию каждой из них по отдельности, а затем свести все данные вместе для получения целостной картины индексации всего сайта. Это верно как для Яндекса, так и для Гугла.


Массовая проверка страниц сайта на индексацию в Яндекс и Google от Rush Analytics

Большинство онлайн сервисов по проверке индексации дают возможность проверить небольшое количество страниц — от 10 до 100. А что делать, если нужно проверить на индексацию большой интернет-магазин или портал размером 100 000 или несколько миллионов страниц? Для задач такого масштаба в Rush Analytics был запущен модуль проверки индексации в Яндексе и Гугле. Основные преимущества и возможности данного модуля:

  • Удобная пакетная загрузка страниц на проверку индексации тремя способами:

а) С помощью списка URL
б) С помощью файла, поддерживаются форматы xls, xlsx, xml
в) С помощью файла Sitemap.xml – просто укажите путь к карте сайта, мы сами спарсим ее, достанем оттуда URL и пробьем их на индексацию!

  • Неограниченное количество URL на проверку – вы можете за раз проверить на индексацию от одной, до нескольких миллионов страниц!
  • Доступна проверка индексации как в Яндексе, так и в Гугле: вы можете отправить свои страницы на проверку только в одной поисковой системе или в обоих сразу, достаточно поставить всего одну галку
  • Удобная выгрузка в Excel. Вы можете просматривать данные как в веб-версии сервиса, так и быстро выгрузить их файлом

Модуль проверки индексации Rush Analytics в данный момент единственный на рынке, который позволяет массово проверить страницы на индексацию в таком объеме. Если у вас большой сайт – это решение однозначно для вас.

У нас предусмотрены особые условия для больших сайтов и порталов. Если у вас есть потребность в разовой или постоянной проверке на индексацию в Яндекс и Google от 200 000 страниц, напишите нам в поддержку на support@rush-analytics.ru и мы найдем что вам предложить!

www.rush-analytics.ru

Какую роль играет индексация

Главная задача любого проекта в интернете — это привлечение пользователей, которые впоследствии могут стать клиентами (или просто найти интересующую их информацию). Это будет влиять на уровень посещаемости, конверсию, инвестиционную привлекательность для рекламодателей и так далее. Львиная доля трафика приходится на поисковые системы (самые популярные — это Яндекс и Google), из которых люди попадают на ваш проект через предоставленные ссылки. Последние ведут на страницы с соответствующими ключевыми словами, которые в той или иной форме вводили пользователи в качестве запроса.
боты поисковиков анализируют интернет ресурсы, собирают данные и добавляют их в свою систему для дальнейшего обслуживания посетителей. Таким образом, чтобы конкретный пользователь увидел ваш сайт или, если быть точнее, конкретную страницу в поисковой выдаче, она должна быть добавлена в базу поисковика. То есть должна быть проведена индексация сайта в Гугл или Яндекс. Если процедура не завершена, через поисковую систему вас банально не найдут.

В этом вопросе имеет значение множество факторов и технологий работы. Очень важно, чтобы индексация сайта в Яндекс или Google охватывала как старые, так и новые страницы, все актуальные изменения в их содержании. В этом вам могут помочь различные инструменты и подходы. Например, очень востребована внутренняя перелинковка. Она обеспечивает переход с одной страницы ресурса на другую посредством установленной ссылки, что помогает ботам быстро пройти весь ресурс. Результатом станет полная индексация страниц сайта.

Другой важный фактор — уникальность контента. Чем больше схожих частей текста представлено на веб-сайте, тем ниже скорость индексирования. Или же она может быть полностью заблокирована, если поисковый робот посчитает, что ваш текстовый материал неуникален и был взят с других ресурсов. Поэтому уникальный контент — первое, что нужно реализовать, чтобы проверка индексации страницы проходила успешно.


Здесь стоит добавить и то, что наличие вашего проекта в поисковой системе — это в некоем роде защита от злоумышленников. Пока ресурс не будет отображаться в поисковике, ПС не сможет обнаружить ваши тексты при определении уникальности. Этим могут воспользоваться плохие люди, которые скопируют материалы с вашего проекта и опубликуют на своем. И после проверки индексация сайта в Google или Yandex уже будет проведена у них, но не у вас.

Вывод прост: регулярно следите, проиндексировался ли ваш проект. И делайте все возможное для ускорения процесса.

Проверка индексации в Yandex и Google

Есть множество инструментов и технологий для анализа доступности страниц вашего сайта в поисковых системах. Это могут быть как наработки самих ПС, так и сторонние инструменты. Начнем с отечественного поисковика. Узнать, прошла ли индексация сайта в Яндексе можно, используя специальные операторы при вводе поискового запроса:

  • host. Загружает данные с доменов и поддоменов, показывает сведения об индексированных страницах;
  • site. Показывает все страницы, доступные в базе ПС.

Проверка индексации сайта - site


Чтобы ими воспользоваться, достаточно в поисковой строке ввести, к примеру, «site:адрес сайта». Вы получите всю необходимую информацию. Это поможет как узнать проиндексирован ли сайт, так и найти страницы, недоступные в базе.

Аналогично можно использовать и оператор host, чтобы получить дополнительные сведения и провести полный анализ проекта.

Проверка индексации сайта - host

Обязательно обратите внимание на правильность написания команд, включая знаки препинания и пробелы. Если допустите ошибку, то получите недостоверные данные или вовсе пустую страницу. Не будет лишним проводить анализ, используя адрес сайта с www и без (при использовании host). Результаты могут быть совершенно разными.

Проверка индексации сайта - сайт

Теперь необходимо разобраться, как проходит индексирование сайта в Google. Здесь используется уже знакомый нам оператор site. При этом важно отметить, что ввод адреса домена с www и без www покажет разные результаты в отличие от предыдущего поисковика. Этим проверка индексации страницы в Яндексе отличается от аналогичной процедуры в зарубежной системе. Попробуйте ввести в Google запрос «site:адрес сайта» (с www и без) и проанализируйте результаты.


Проверка индексации сайта - host в яндекс

Итоги проверки могут сильно различаться.

Проверка индексации сайта - site в google

Что касается анализа конкретной страницы, то здесь все очень просто. Вам достаточно ввести ее адрес в поисковую строку и начать поиск. Если в выдаче появится ее сниппет (краткая информация), то все в порядке — проверка индексации страниц прошла успешно. Это актуально и для Яндекса, и для Гугла.

Проверка индексации сайта - сниппет

Инструменты проверки поисковых систем

Мы рассмотрели методы проверки каждой конкретной страницы или сайта целиком. А как провести более точный и глубокий анализ? Для этого можно использовать инструменты поисковиков. К примеру, сервис Yandex Webmaster. Здесь можно проверить индексацию страниц, вбив адрес в строку и нажать «Проверить URL». По завершении анализа предоставляется подробная информация по конкретным страницам ресурса.


Инструменты проверки поисковых систем

Вы можете нажать на ссылку «Готово» в строке «Статус», чтобы получить более детальные сведения:

  • посещал ли этот адрес бот поисковой системы;
  • прошла ли индексация сайта Яндексом;
  • когда бот последний раз посещал ресурс;
  • статус доступа страницы и пр.

Проверка индексации сайта - Yandex Webmaster

Эта информация очень полезна, так как позволяет определить состояние вашего проекта. Возможно, бот не может проиндексировать страницу, так как она банально недоступна. Рекомендации по решению проблем вы можете получить в разделе «Помощь».

Как проверить индексацию сайта в Гугл? Здесь также есть инструмент для вебмастеров — Google Webmaster. Необходимо зайти в раздел «Индекс Google», выбрать пункт «Статус индексирования» и нажать на кнопку «Расширенные данные».

Проверка индексации сайта - Индекс Google

Здесь доступны подробные сведения:


  • состояние ресурса;
  • количество проиндексированных страниц;
  • количество заблокированных страниц (в том числе недоступных для ботов через robots.txt).

Как определить наличие страниц с помощью сторонних инструментов

Помимо поисковых систем, проверка сайта в Google и Yandex может быть проведена и с помощью сторонних инструментов. Например, это специальные плагины или букмарклеты — программы на JavaScript (или других языках), автоматизирующие процесс сбора информации. Все, что нужно здесь, — это ввести адрес сайта и запустить систему. Тут не требуется работать с самими поисковиками.

Проверка индексации сайта - плагин

Плагины доступны в большом спектре и для самых разных браузеров: Google Chrome, Firefox и пр.
которые из них бесплатны. Другие же за отдельную плату предложат вам расширенный функционал. Букмарклеты работают как закладки. Вы сохраняете сайт, потом открываете закладку и получаете всю необходимую информацию. Имеет смысл использовать несколько плагинов, чтобы с высокой точностью определить, прошла ли проверка индексации сайта. Дело в том, что у инструментов могут различаться алгоритмы работы. И по одной и той же странице могут быть получены разные данные.

Популярные сервисы для анализа

Разумеется, это далеко не все возможности, доступные вебмастеру. Если вам нужна комплексная информация и ряд других сведений, то посмотреть индексацию сайта можно через специальные онлайн-сервисы. Причем каждый сможет подобрать инструмент под себя, опираясь на внешний вид, скорость работы, перечень предоставляемых данных и пр. Если вам требуется комплексная проверка сайта в Google и Яндекс, попробуйте следующие сервисы.

Проверка индексации сайта - приложение

XSEO

Популярный ресурс, который много лет выручает SEO-специалистов.

Проверка индексации сайта - XSEO

После ввода адреса веб-сайта в соответствующее поле вы получите следующий набор сведений:


  • данные веб-сайта;
  • параметры ТИЦ и PR;
  • наличие проекта в каталогах;
  • активные внешние ссылки;
  • количество страниц в Яндексе и Гугл;

Проверка индексации сайта - сведения

Удобно, полезно, точно. Профессиональная проверка сайта на индексацию.

PR-CY

Проверка индексации сайта - PR-CY

Все так же: вводите адрес домена и запускаете. Сервис показывает количество страниц в базе поисковиков, а также можно разделять индексы Гугла на второстепенный и главный.

Проверка индексации сайта - показатели гугл

Webmasters

Проверка индексации сайта - Webmasters

Крупный SEO-форум, где можно не только найти полезную информацию, но и проверить сайт на индексацию в Гугле и Яндексе. Ресурс работает достаточно быстро и предоставляет полный набор информации, которой будет достаточно, чтобы сделать выводы по проекту и начать комплексную SEO оптимизацию. Главным достоинством сервиса является массовая проверка индексации страниц — возможность проводить одновременно анализ нескольких сайтов, что очень удобно на практике.

Почему проект не индексируется

Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.

Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.

Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.

Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.

Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.

В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.

В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.

Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.

В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.

Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:

  • возраст сайта;
  • состояние внутренней оптимизации (перелинковка);
  • наличие ошибок на сайте;
  • скорость загрузки страниц;
  • количество и качество контента.

По этой причине рекомендуем регулярно проверять индексацию. Если же страницы даже спустя длительное время не добавляются в базу, не помешает организовать комплексный аудит с привлечением квалифицированных специалистов.

www.seo62.ru

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

Индексация в поисковых системах

То есть у поискового робота есть задача — обойти ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля перед ним предстает список ресурсов, релевантных этому запросу.

Поиск в Google по запросу агентство копирайтинга

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 5 шагов к качественному тексту.

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, что нужно делать.

Проиндексированный и закрытый сайт

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Посмотрим, как обстоят дела с файлом Robots.txt на сайте Textum.

Анализ Robots.txt

Анализ файла в Yandex Webmaster показал, что сайт открыт для индексации в поисковых системах.

Также необходимо сообщить о новом ресурсе с помощью функций Yandex Webmaster и Search Console.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Посмотреть как Googlebot

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap (карта сайта), есть возможность поставить странички на переообход. Например, в Yandex Webmaster это выглядит так:

Переобход страниц в Yandex Webmaster

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress (кстати, здесь же можно полность убрать портал с «глаз» поисковиков). Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Видимость сайта для поисковых систем

Вы все это уже сделали? Отлично, можно приступать к «десерту» – анализу индексации сайта. Это можно сделать как в онлайн-режиме, так и при помощи установленных плагинов, подробнее об этом далее.

Как проверить индексацию сайта в Google и Yandex?

С помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс.

Способ №1. Проверка с помощью Google и Yandex Вебмастер

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Webmaster. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

  1. Заходим в Search Console.
  2. Выбираем в панели инструментов «Индекс Google».
  3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт Textum и посмотрим, что же покажет Google Webmaster у нас.

Статус индексирования в Google Search Console

Как видим, синяя полосочка уверенно ползет вверх, странички на нашем ресурсе успешно индексируются. Если же график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Как проверить индексацию страниц сайта в Яндекс:

  1. Заходим в Yandex.Webmaster.
  2. Переходим во вкладку «Индексирование».
  3. Выбираем пункт «Страницы в поиске».

Сервис предлагает сформировать график за определенный период. Можно посмотреть количество добавленных или удаленных страничек.

Количество добавленных и удаленных страниц в Yandex Webmaster

Подробнее о сервисе читайте здесь: Яндекс.Вебмастер: обзор 30 разделов и анализ 30 функций.

Способ №2. Прибегаем к помощи оператора поисковых систем

Чтобы спросить не у ясеня, а Гугла или Яндекс об индексации сайта нам понадобится оператор «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Yandex или Google: site: адрес ресурса. В качестве подопытного портала используем Textum.

Вот что показал Гугл:

Поисковый оператор site в Google

И что выдал Яндекс:

Поисковый оператор site в Yandex

По версии Yandex у нас целых 91 страниц участвует в поиске, Google более скромно сообщил о 69 страничках. Разница довольно существенная. Рекомендуем все-таки пользоваться сервисом Вебмастер, он выдает более точные результаты.

Еще один вариант – поисковый оператор «info». В отличие от site, он показывает проиндексирована ли одна конкретная страница.

Поисковый оператор info

Как видим, страница отразилась в результатах поиска (также здесь указана скорость ее загрузки), значит, она успешно проиндексирована поисковиками.

Для упрощения работы есть одна фишка. Чтобы не заходить сначала в один поисковик, затем в другой, можно это сделать в пару кликов: заходим на сайт seogadget.ru→ вставляем адрес страницы→ нажимаем «Проверить». Все, смотрим результат.

Проверка индексации сайта в seogadget.ru

Еще один простой и быстрый способ проверки индексации сайта – зайти на xseo.in. Алгоритм действия аналогичен предыдущему.

Вставляем в специальное поле адрес сайта, отдельной страницы, кликаем на «Проверить».

Проверка индексации сайта в xseo.in

После этих нехитрых манипуляций сервис в считанные секунды выдает результат.

Результат проверка индексации сайта в xseo.in

Разница между этими двумя способами: на seogadget.ru можно осуществить массовую проверку индексации сайтов, xseo.in – по одному.

Способ №3. Используем плагины

От ручного способа переходим к автоматизированному методу.

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

  • устанавливаем расширения в своем браузере;
  • открываем нужный сайт и выбираем страницу;
  • кликаем на расширение вверху экрана;
  • знакомимся с результатами.

Вот как примерно это будет выглядеть.

Плагин RDS bar для проверки индексации сайта

Плагин RDS bar предоставит информацию о количестве проиндексированных страничек; дата последнего обновления портала «глазами» робота; получение значения ТИЦ; определение Google Pagerank, количество весомых входящих ссылок на сайт и еще множество другой полезной инфы.

Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы – несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. После регистрации здесь аккаунта пользователю предоставят 14 дней бесплатного пользования, также потребуется скачать программу на компьютер. Посмотрим, что нам покажет по Textum Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Анализ сайта в Netpeak Spider

Затем кликаем на старт и получаем ответ от программы.

Результаты анализа сайта в Netpeak Spider

Какие данные можно почерпнуть из Netpeak Spider:

  • количество URL с важными ошибками;
  • индексированные страницы;
  • критичность ошибок (средняя, низкая);
  • время ответа сервера;
  • тип контента (например, изображения, HTML) и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Проверка страниц в Netpeak Checker

Перетаскиваем в зеленое поле адрес нужной нам страницы, опять кликаем на старт и через 1-2 секунды получаем результат. Кстати, данные можно экспортировать в Excel.

Результат проверки сайта в Netpeak Checker

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

  • код ответа сервера;
  • время ответа сервера;
  • скорость загрузки страницы;
  • описание title и description;
  • количество проиндексированных URL;
  • сколько раз пользователи поделились страницей в Facebook и Twitter.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Netpeak Checker – параметры проверки сайта

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

Также можно воспользоваться возможностями простенькой, главное, бесплатной программой YCCY. Минус только один – ее нужно скачать и установить на ПК или ноут. Но делается это очень быстро, скачать прогу можно с официального сайта YCCY.

После распаковки и установки файлов вы увидите такое окошечко, в котором нужно кликнуть на вкладку Indexator.

Программа для проверки индексации сайта YCCY

В список исходных URL вносим 1 или несколько страниц, выбираем поисковую систему и жмем «Начать проверку».

Проверка индексации сайта в YCCY

Здесь все просто, если страница есть/нет в поиске, то она появится в соответствующем разделе после проверки.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

  1. Ошибки или отсутствие sitemap. Карта сайта поможет правильной индексации ресурса, т.к. направит робота по всем нужным страницам. Sitemap добавляется в Вебмастер Google и Yandex.
  2. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. Обычно в Google индексирование происходит быстрее, чем в Yandex.
  3. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google или Yandex. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
  4. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации – добавьте. Можно написать 2-3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.
  5. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.

Запрет индексации сайта в Robots.txt

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

Как ускорить индексацию сайта

 

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

  1. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом.
  2. Sitemap. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая посетить все важные странички.
  3. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
  4. Переобход страниц. Мы регулярно пользуемся этим инструментом в Яндекс Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
  5. Посмотреть как Googlebot. Такая возможность есть в панели инструментов Search Console. В форме нужно ввести адрес карты сайта. Добавленный файл отобразится в списке под формой, кликаем «отправить в индекс». После этого робот пройдется по всем ссылкам с sitemap, приняв за исходную страничку карту ресурса.
  6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

Анонс статьи в Facebook

 

Выше на скрине показано, как в агентстве Textum делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков.

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

  • Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе – значить Google, Yandex и другие о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
  • Создать инструкции для правильной индексации можно с помощью Robot.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
  • Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
  • Не забываем о важности и нужности sitemap, а также уникального, тематического контента на вашем портале.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

textum.com.ua

Содержание:

  1. Узнаем количество фактических страниц
  2. Проверяем индексацию в целом
  3. Проверяем индексацию конкретной страницы
  4. Проверяем индексацию каждой страницы списком

Как узнать количество страниц на сайте

Это можно сделать несколькими путями:

  1. Если вы используете современную систему управления сайтом, то в административной части наверняка можно посмотреть количество страниц. Например, у меня это выглядит так: количество страниц на сайте
  2. Следующий способ подойдет практически всем (при условии что у вас до 500 страниц на сайте, иначе за деньги). Есть отличный сервис http://www.xml-sitemaps.com/, который строит xml-карты сайта. В процессе работы он посчитает и количество страниц вашего сайта. Опять же, пример для моего сайта (совпадает с прошлым способом: 146 страниц, это 113 записей и 33 страницы): количество страниц в карте сайта
  3. Третий способ — это использование программы Xenu (легко ищется в Яндексе). Это программа полностью сканирует ваш сайт, составляет список страниц, список битых ссылок и еще много полезной информации. Потом просто нужно посчитать количество страниц на сайте. Но подойдет не всем, т.к. в ней нужно будет разобраться.

Теперь, когда мы знаем фактическое количество страниц, надо проверить сколько из них проиндексированы в Яндексе и Google

Смотрим индексацию сайта в целом

В данном случае мы узнаем сколько всего страниц сайта проиндексировано в поисковой системе. Что нам это дает? Зная фактическое количество страниц на сайте, мы можем сравнить соответствует ли оно количеству проиндексированных страниц. И если соответствует, значит всё в порядке, а если нет, то нужно разобраться с проблемой и выяснить каких именно страниц не хватает (или какие страницы имеют дубли).

Индексация сайта в Яндексе

Несколько способов.

  • Смотрим приблизительно индексацию страниц в Яндексе вручную. Для этого нужно в поисковой строке ввести конструкцию вида:url:адрес-вашего-сайта*. Обратите внимание, в конце стоит звездочка. Например, в моем случае: url:ilyapronin.ru*.индексация в яндексе
  • Следующий способ — это использование Яндекс.Вебмастера http://webmaster.yandex.ru/. Возможно понадобится подключить ваш сайт к этому сервису, если вы еще этого не сделали. После подключения сайта к Яндекс.Вебмастеру мы можем узнать много полезной информации о сайте и кроме всего прочего — количество проиндексированных страниц:информация в вебмастере

Как видите данные немного отличаются. Это из-за того, что конструкция url:ваш-сайт показывает не только страницы, но другие типы файлов (doc, xls, jpg и т.п.). Вебмастер же показывает именно количество страниц.

Индексация сайта в Google

Здесь аналогично с Яндексом есть 2 способа:

  • Вручную с помощью конструкции site:ваш сайт. Эффект будет примерно такой же, как с Яндексом.
  • Используя инструменты Google для Вебмастеров https://www.google.com/webmasters/ (аналог Яндекс.Вебмастер)

автоматические способы

  • Мне очень нравится бесплатная программа Site Auditor, скачать ее можно здесь: http://www.site-auditor.ru/. Она проверяет индексацию сайта сразу в Яндекс и Google, а так же и другие полезные параметры:программа сайт аудитор
  • Плагин для браузеров — RDS Bar. Его можно добавить в все популярные бразеры (Chrome, Firefox, Opera). После этого у вас появится информационная панель, показывающая информацию о сайте, на котором вы находитесь, в том числе и индексацию страниц:плагин rds-bar

Что дальше

Теперь когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Как проверить индексацию одной страницы

Это нам может понадобится, когда мы хотим проверить конкретную страницу на своем сайте (например, недавно опубликованную) или страницу на чужом сайте (например, где мы купили ссылку и ждем, когда она проиндексируется)

  • Ручной способ. Тут всё очень просто. Копируем адрес страницы с сайта и вставляем в поисковую строку Яндекс или Google. Если она проиндексирована, то она окажется на первом месте результатов поиска.индексация конкретной станицы
  • Используя упомянутый уже плагин RDS бар. Он показывает проиндексирована ли страница, на которой вы сейчас находитесь.

Как проверить индексацию всех страниц по отдельности

В данном случае мы будем проверять на проиндексированность сразу все страницы сайта и в результате узнаем какие конкретно страницы не проиндексированы в поисковике.

Здесь нам понадобится не просто знать количество фактических страниц на сайте, но и список адресов этих страниц (их url). Это наверно самое сложное в этой статье. Список страниц мы вроде бы получили, когда генерировали карту сайта, но там адреса содержатся не в чистом виде и нужно уметь работать с какой-нибудь программой по обработке данных, чтобы извлечь их. Поэтому будем использовать еще одну программу.

Как получить список всех страниц сайта

Чтобы получить список всех страниц сайта, будем использовать программу для Windows, которая генерирует карту сайта — Sitemap Generator, взять можно здесь http://www.wonderwebware.com/sitemap-generator/

Перед сбором ссылок нужно настроить параметр Exclude Patterns. Это делается, чтобы исключить при сборе ненужные ссылки, например, в моем случае при сборе собирается очень много адресов вида: http://ilyapronin.ru/prodvizhenie/kak-prodvigayut-sajjty.html?replytocom=324#respond, которые указывают на комментарий на странице. А мне нужен только адрес страницы. Поэтому, я настроил исключение адресов по маске *replytocom*:

sitemap-gen2

Дальше, запускаем сбор url и когда программа закончит их собирать, переходим на вкладку Yahoo Map / Text и копируем адреса оттуда (Кнопка сохранить не работает, т.к. мы используем бесплатную версию программы)

список всех страниц на сайте

Теперь у нас есть адреса всех страниц.

Как проверить индексацию страниц автоматически

Дальше нам понадобится программа YCCY, которую можно скачать здесь: http://www.yccy.ru/soft/yccy

Здесь всё просто. После запуска программы добавляем собранный на прошлом шаге список url вашего сайта и добавляем в список исходных url. Программа позволяет проверять индексацию в Яндекс, Гугл и Rambler, выбираем нужную нам поисковую систему и запускаем проверку:

программа для проверки индексации страниц

После того, как получили список страниц, которые не попали в индекс, нужно понять почему это произошло. Если со страницей всё впорядке, то чтобы она зашла в индекс, можно закупить на нее ссылок или несколько ретвитов с прокаченных аккаунтов.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

ilyapronin.ru

Как узнать количество страниц на сайте?

Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:

  1. Посмотреть карту сайта. Ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml. Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть.
  2. Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платная) иди Xenus Links Sleuth (бесплатная).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

Панель инструментов Яндекс.Вебмастер

  1. Авторизуйтесь в Яндекс.Вебмастер.
  2. Перейдите в меню «Индексирование сайта».
  3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

  1. Выберите «Индексирование сайта».
  2. Дальше перейдите в «История».
  3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

Google

  1. Зайдите в панель управления сервиса Google Webmaster Tools.
  2. Кликните на вкладку Search Console.
  3. Перейдите в «Индекс Google».
  4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».
Проиндексированные страницы в Яндексе

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».
Дополнительные инструменты в Google

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Rds бар

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Бесплатная проверка индексации через сервис Serphunt

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Топвизор индексация

Заключение

Главная цель владельца любого веб-ресурса – добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.

Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого мы в этой статье и рассказали о четырех методах проверки индексации сайта.

Знайте, что, если страницы слишком резко начали вылетать из поиска – с вашим ресурсом что-то не так. Но зачастую проблема таится не в процессе индексации, а в самой оптимизации. Желаете быстро индексироваться и попадать в ТОП выдачу поисковых запросов? Предлагайте целевой аудитории контент, превосходящий конкурентов.

webmasterie.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Adblock
detector