Проверить сайт на индексацию

Привет читателям и гостям блога Textum! Сегодня посмотрим на сайт «глазами» поисковиков и узнаем, насколько хорошо они рассмотрели страницы портала. В этом нам помогут сервисы для онлайн-проверок индексации сайта. Ведь каждый SEO-специалист и владелец веб-ресурса желает знать: сколько страниц робот-поисковик обошел и добавил в свою базу, сделал доступными для поиска?

Чтобы выяснить все эти моменты, предлагаю изучить:

1. Что такое поисковая индексация сайта?
2. Как открыть сайт для индексации?
3. Как проверить индексацию сайта в Google и Яндекс?
4. Сервисы для быстрой проверки индексации сайта.
5. Почему веб-ресурс не индексируется?
6. Как ускорить индексацию сайта?

В этой статье мы с вами рассмотрим основные понятия, плагины, сервисы, проблемы и ускорение индексирования веб-портала в поисковых системах. Материал пригодится, чтобы выяснить, есть ли проблемы с добавлением страниц сайта в поиске, ведь не зная этого, невозможно провести эффективную оптимизацию ресурса. Думаю, никто не откажется видеть свой портал на лидирующих позициях в поиске, а значит нужно приступать к работе с ним прямо сейчас.

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

То есть у поискового робота есть задача — обойти ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля перед ним предстает список ресурсов, релевантных этому запросу.

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 5 шагов к качественному тексту.

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, что нужно делать.

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Посмотрим, как обстоят дела с файлом Robots.txt на сайте Textum.

Анализ файла в Yandex Webmaster показал, что сайт открыт для индексации в поисковых системах.

Также необходимо сообщить о новом ресурсе с помощью функций Yandex Webmaster и Search Console.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap (карта сайта), есть возможность поставить странички на переообход. Например, в Yandex Webmaster это выглядит так:

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress (кстати, здесь же можно полность убрать портал с «глаз» поисковиков). Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Вы все это уже сделали? Отлично, можно приступать к «десерту» – анализу индексации сайта. Это можно сделать как в онлайн-режиме, так и при помощи установленных плагинов, подробнее об этом далее.

Как проверить индексацию сайта в Google и Yandex?

С помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс.

Способ №1. Проверка с помощью Google и Yandex Вебмастер

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Webmaster. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

1. Заходим в Search Console.
2. Выбираем в панели инструментов «Индекс Google».
3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт Textum и посмотрим, что же покажет Google Webmaster у нас.

Как видим, синяя полосочка уверенно ползет вверх, странички на нашем ресурсе успешно индексируются. Если же график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Как проверить индексацию страниц сайта в Яндекс:

1. Заходим в Yandex.Webmaster.
2. Переходим во вкладку «Индексирование».
3. Выбираем пункт «Страницы в поиске».

Сервис предлагает сформировать график за определенный период. Можно посмотреть количество добавленных или удаленных страничек.

Подробнее о сервисе читайте здесь: Яндекс.Вебмастер: обзор 30 разделов и анализ 30 функций.

Способ №2. Прибегаем к помощи оператора поисковых систем

Чтобы спросить не у ясеня, а Гугла или Яндекс об индексации сайта нам понадобится оператор «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Yandex или Google: site: адрес ресурса. В качестве подопытного портала используем Textum.

Вот что показал Гугл:

И что выдал Яндекс:

По версии Yandex у нас целых 91 страниц участвует в поиске, Google более скромно сообщил о 69 страничках. Разница довольно существенная. Рекомендуем все-таки пользоваться сервисом Вебмастер, он выдает более точные результаты.

Еще один вариант – поисковый оператор «info». В отличие от site, он показывает проиндексирована ли одна конкретная страница.

Как видим, страница отразилась в результатах поиска (также здесь указана скорость ее загрузки), значит, она успешно проиндексирована поисковиками.

Для упрощения работы есть одна фишка. Чтобы не заходить сначала в один поисковик, затем в другой, можно это сделать в пару кликов: заходим на сайт seogadget.ru→ вставляем адрес страницы→ нажимаем «Проверить». Все, смотрим результат.

Еще один простой и быстрый способ проверки индексации сайта – зайти на xseo.in. Алгоритм действия аналогичен предыдущему.

Вставляем в специальное поле адрес сайта, отдельной страницы, кликаем на «Проверить».

После этих нехитрых манипуляций сервис в считанные секунды выдает результат.

Разница между этими двумя способами: на seogadget.ru можно осуществить массовую проверку индексации сайтов, xseo.in – по одному.

Способ №3. Используем плагины

От ручного способа переходим к автоматизированному методу.

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

• устанавливаем расширения в своем браузере;
• открываем нужный сайт и выбираем страницу;
• кликаем на расширение вверху экрана;
• знакомимся с результатами.

Вот как примерно это будет выглядеть.

Плагин RDS bar предоставит информацию о количестве проиндексированных страничек; дата последнего обновления портала «глазами» робота; получение значения ТИЦ; определение Google Pagerank, количество весомых входящих ссылок на сайт и еще множество другой полезной инфы.

Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы – несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. После регистрации здесь аккаунта пользователю предоставят 14 дней бесплатного пользования, также потребуется скачать программу на компьютер. Посмотрим, что нам покажет по Textum Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Затем кликаем на старт и получаем ответ от программы.

Какие данные можно почерпнуть из Netpeak Spider:

• количество URL с важными ошибками;
• индексированные страницы;
• критичность ошибок (средняя, низкая);
• время ответа сервера;
• тип контента (например, изображения, HTML) и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Перетаскиваем в зеленое поле адрес нужной нам страницы, опять кликаем на старт и через 1-2 секунды получаем результат. Кстати, данные можно экспортировать в Excel.

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

• код ответа сервера;
• время ответа сервера;
• скорость загрузки страницы;
• описание title и description;
• количество проиндексированных URL;
• сколько раз пользователи поделились страницей в Facebook и Twitter.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

Также можно воспользоваться возможностями простенькой, главное, бесплатной программой YCCY. Минус только один – ее нужно скачать и установить на ПК или ноут. Но делается это очень быстро, скачать прогу можно с официального сайта YCCY.

После распаковки и установки файлов вы увидите такое окошечко, в котором нужно кликнуть на вкладку Indexator.

В список исходных URL вносим 1 или несколько страниц, выбираем поисковую систему и жмем «Начать проверку».

Здесь все просто, если страница есть/нет в поиске, то она появится в соответствующем разделе после проверки.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

1. Ошибки или отсутствие sitemap. Карта сайта поможет правильной индексации ресурса, т.к. направит робота по всем нужным страницам. Sitemap добавляется в Вебмастер Google и Yandex.
2. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. Обычно в Google индексирование происходит быстрее, чем в Yandex.
3. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google или Yandex. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
4. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации – добавьте. Можно написать 2-3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.
5. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

 

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

1. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом.
2. Sitemap. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая посетить все важные странички.
3. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
4. Переобход страниц. Мы регулярно пользуемся этим инструментом в Яндекс Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
5. Посмотреть как Googlebot. Такая возможность есть в панели инструментов Search Console. В форме нужно ввести адрес карты сайта. Добавленный файл отобразится в списке под формой, кликаем «отправить в индекс». После этого робот пройдется по всем ссылкам с sitemap, приняв за исходную страничку карту ресурса.
6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

 

Выше на скрине показано, как в агентстве Textum делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков.

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

• Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе – значить Google, Yandex и другие о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
• Создать инструкции для правильной индексации можно с помощью Robot.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
• Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
• Не забываем о важности и нужности sitemap, а также уникального, тематического контента на вашем портале.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

textum.com.ua

Как быстро проверить индексацию в Яндексе и Google?

Способов и сервисов проверки индексации страниц достаточно много и у нас есть три инструмента, которые показывают количество документов в индексе по домену:

• Быстрый аудит сайта

• Быстрый анализ списка сайтов.

• Онлайн-аудит

Просто укажите домен в любом из них. Инструмент поможет проверить сайт на индексацию и подскажет сколько документов в базе данных Google и Яндекс, с учётом поддоменов или без них:

Поисковые операторы для проверки индексации

Узнать индексацию сайта можно, используя операторы поиска. Для Яндекса это операторы «site:», «host:» и «url:».

Для Google — «site:», «inurl:» и «info:».

В обеих поисковых системах указываются приблизительные результаты, но можно использовать дополнительные параметры, чтобы узнать, сколько страниц было проиндексировано, например, за неделю:

Для того, чтобы проверить индексацию определённой страницы сайта используйте оператор «url:» для Яндекса и «info:» для Google.

Вебмастер и Search Console

Если вы уже добавили свой сайт в панель Яндекс.Вебмастер и/или Google Search Console, то можете детально отслеживать статус сканирования и индексирования документов.

В Вебмастере переходим на вкладку «индексирование» — «страницы в поиске». Здесь расположилась статистика по добавленным и удалённым из поиска документам. Также можно посмотреть историю изменений для всего сайта за определённый интервал дат:

Проверить индексацию сайта в Google можно с помощью Search Console. В новой версии консоли переходим на вкладку «статус» — «индексирование отправленных URL» и получаем картину изменений, ошибок, исключенных страниц и график показов:

Возможный контроль индексации

Важно понимать, что сканирование или обход страницы сайта не означает её попадание в индекс. Иногда необходимо запретить индексирование страниц, которые не нужны в поиске, например: URL с техническими GET-параметрами, служебные или пользовательские документы (корзина, личный кабинет и прочие), документы с UTM-метками. Поэтому каждому сайту желательно иметь:

1. Sitemap.xml — файл, который помогает поисковым роботам сканировать сайт, с учётом заданных приоритетов.

2. Robots.txt — файл, задающий правила и параметры обхода для всех роботов поисковых систем или индивидуально для каждой:

   • С помощью команды Disallow можно запрещать индексирование отдельных URL или разделов сайта.

   • Crawl delay — задаёт минимальное время обращения робота к серверу для избежания нагрузок на сайт.

   • Clean param — позволяет указать неважные для индексации CGI-параметры в URL-адресах, то есть различные идентификаторы пользователей, сессий и так далее. Используется только в Яндексе.

Открытые страницы должны быть в поиске, только тогда можно думать о ранжировании. Не забывайте проверять сайт на индексацию, отслеживайте изменения и удачных позиций в выдаче!

tools.pixelplus.ru

Несмотря на то, что комплексный анализ сайта — ключевой элемент в структуре нашего портала, это всего лишь один элемент. К услугам SEOшников и веб-мастеров у нас также имеется свыше 30 других сервисов, превращающих поисковую оптимизацию (раскрутку сайта) в по-настоящему увлекательный процесс. У нас найдется все: от незаменимых SEO-инструментов до приятных мелочей, без которых эффективное продвижение веб-ресурса в Интернете маловероятно, если вообще возможно.

CY-PR.com в режиме нон-стоп держит руку на пульсе важнейших апдейтов. Мы круглосуточно отслеживаем и информируем наших пользователей об апдейтах ИКС Яндекса и изменениях его выдачи.

Стремитесь узнать, какими показателями тематического Индекса Цитирования (ИКС) располагают ваши конкуренты? Массовая проверка ИКС сайта — инструмент, который обязательно пригодится в этом случае. С его помощью вы не только определите нужный показатель, но и получите точную оценку сайта как донора ссылок.

Желаете всегда быть в курсе собственных ИКС и Alexa Rank? Воспользуйтесь нашим информером, внешний вид которого настраивается под дизайн любого сайта. Данные информера обновляются каждый раз, когда происходит апдейт ИКС Яндекса и рейтинга Алексы.

Всесторонняя и глубокая проверка сайта — то, что гарантируют наши многочисленные SEO-инструменты. Хотите обеспечить высокую скорость загрузки страниц своего ресурса, оптимизируйте его CSS-код! Планируете максимально ускорить процесс индексации поисковыми системами, создайте Карту сайта (sitemap.xml)! Сервис анализа контента позволит увидеть сайт глазами поисковых роботов Яндекса и Google. Кроме того, мы рассчитаем точную стоимость сайта, ориентируясь на показатели его посещаемости и развития.

Настоящее признание у пользователей CY-PR.com снискала наша проверка скорости Интернета. Она дает возможность оценить качество линии (реальную скорость Интернет-соединения), ибо не секрет, что очень часто скорость, оговоренная провайдером, в действительности оказывается совсем иной.

Помимо названных, мы разработали и предлагаем вам другие весьма полезные SEO-инструменты, а именно: кнопки добавления в соцсети и закладки, генераторы robots.txt, мета-тегов и фавиконок, транслит-переводчик и конвертер цветов, прочие незаменимые сервисы.

CY-PR.com — сокровищница актуальной, а значит всегда востребованной информации с приставкой «SEO». Читайте свежие новости, нашу энциклопедию, авторские статьи и интересные обзоры, которые непременно расширят круг ваших знаний и навыков в области поискового продвижения. С их помощью поисковая оптимизация под Google и Яндекс станет в разы эффективнее!

Выбирая наш портал, вы становитесь частью уникальной социальной сети, которую в рамках форума и блогосферы формируют тысячи специалистов, приближенных к сфере поискового продвижения. Нас — много, мы — разные, при этом всех нас объединяет то, что мы умеем не только говорить, но и слушать! Изюминкой SEO-форума CY-PR.com является то, что он преисполнен дружелюбием и взаимовыручкой его участников. Только у нас вы можете открыто обсуждать любые свои достижения и провалы, связанные с оптимизацией и раскруткой сайтов, не боясь при этом насмешек со стороны маститых веб-мастеров и SEO-гуру. Поисковая оптимизация, разработка сайтов, контекстная реклама, копирайтинг, хостинг и доменные имена — вот лишь некоторые названия популярных сообществ, которыми славится наш форум.

Социальную платформу портала дополняет его блогосфера. Каждый пользователь, кто имеет такое желание, может вести у нас собственный SEO-блог, популяризируя его средствами разные стороны Интернет-жизни, в частности поисковое продвижение сайтов. Обновление записей в блогах ведущих авторов — процесс систематический, а это значит, что вы всегда сможете узнать и обсудить новые полезные мысли других SEOшников.

Комплексный анализ сайта указывает дорогу к нам впервые, а наши многочисленные SEO-сервисы, бесценная база знаний, профессиональная, но в то же самое время по-домашнему уютная социальная сеть заставят вас остаться здесь навсегда!

www.cy-pr.com

1.    Сложный и не всегда понятный

Делаем это с помощью оператора поисковых систем:

Используем оператор site:vashsite.com. Так же смотрим какие страницы находятся в основном индексе:

По сути количество страниц мы то увидим, даже можем сопоставить основной индекс с не основным.

Но как понять, какие важные страницы не индексируются?

Именно про это сегодняшняя статья. Сразу переходим к быстрому способу.

2.    Быстрый способ проверки сайта на индексацию

Есть такой сервис: saitreport.ru, с помощью которого можно сделать небольшой аудит сайта.

Сервис платный, но стоит совсем небольших денег. Но может сильно помочь сэкономить время, а так же показать проблемные места.

Вот пошаговый план действий:

А) Добавляем проект для проверки

Вводим нужный URL вашего сайта, выбираем платную проверку, выбираем количество страниц, пополняем аккаунт и отправляем на проверку.

Если сайт небольшой, например, до 1000 страниц, то он проверяется довольно таки быстро 10-20 минут.

Б) Смотрим отчет по проверке

Сразу же смотрим в левую сторону и переходим во вкладку – индексация в ПС.

Далее нас интересуют 2 поисковых системы:

В) Проверяем индексацию в Google и Яндекс

Для этого меняем сортировку, чтобы изначально показывались не проиндексированные страницы:

Что там можно найти?

Как минимум:

—       Битые ссылки

Например такое:

—       Важные страницы, которые не индексируются

Это основная причина, делать такую быструю проверку. Так как если вы обнаружите такие страницы, то:

—       понять причину

—       исправить ошибки

—       проиндексировать страницу

—       получать с нее поисковый трафик

Почему именно этот сервис?

Он удобно показывает сразу индексацию по двум поисковым системам и сканирует довольно таки быстро.

Что действительно экономит время и дает возможность быстрее увидеть проблемные места.

seoprofy.ua

Как проверить страницы на индексацию

Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.

Ну или же можно просто вбить в Яндекс вот этот код:

url:www.wpnew.ru/about | url:wpnew.ru/about

Или для Google:

info:https://wpnew.ru/about

Конечно, URL адрес wpnew.ru/about меняете на свой.

А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:

1. Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
2. Запускаем ее и переходим в Indexator:
   
3. В левую часть программы загружаем список URL, который нужно проверить на индекс:
   
4. В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
   
5. Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае «Индексированность») и нажимаем на кнопку «Начать проверку»:
   
6. И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
   

к оглавлению ↑

Что делать с непроиндексированными страницами?

к оглавлению ↑

Сервисы для ускорения индексации

Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).

Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.

Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом «Абсолют апдейт» (кликните на изображение, чтобы увеличить):

Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.

Принцип работы getbot.guru (взял с ветки сёрча):

На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.

к оглавлению ↑

Ускорение индексации с помощью Твиттера или новостных сайтов

Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо «кушают», если аккаунты более-менее адекватные.

Про это я уже писал относительно подробно в уроке «Как быстро добавить страницу в индекс». Там помимо твиттера я разбирал еще другие способы быстрой индексации.

Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.

к оглавлению ↑

Переиндексация существующих страниц

Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.

к оглавлению ↑

Работа с индексом с помощью программы Comparser

YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.

Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.

И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.

Если вдруг нужно проверить «пачку» страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:

Так вы можете понять, какие страницы переиндексированы, какие нет.

к оглавлению ↑

wpnew.ru

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать 🙂

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — все страницы, открытые для индексации, в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

1. В панелях вебмастеров Google и Яндекс.
2. С помощью поискового оператора «site:».
3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

1. Сделать копию.
2. Выбрать доменную зону.
3. Загрузить в столбец А список URL-адресов.
4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

1. Выбрать доменную зону.
2. Выбрать регион.
3. Ввести запрос (адрес сайта).
4. Поставить «1», если хотите получить адрес и заголовок.
5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

netpeak.net

Почему так важна проверка индексации сайта

Ваш сайт будет приносить прибыль, если уровень посещаемости его будет высоким, так как только этим можно заинтересовать рекламодателей.

Большая часть посетителей сайтов переходит на них по ссылкам из поисковиков, выдаваемым после введения запроса. Роботы поисковых систем проводят сверку запроса с информацией баз данных и выдает наиболее актуальные результаты. Попасть ресурсу в такую базу данных можно только после прохождения индексации поисковиком. Если сайт не проиндексировать или отдельные его страницы, то и потенциальный клиент никак не попадет на ваш ресурс.

Одним из факторов, влияющих на скорость индексации, является посещаемость ресурса. Но есть и другие.

Каждый день в Интернете появляются новые сайты, схожие по тематике с вашим. Они являются конкурентами, поскольку их контент дублирует содержимое вашего ресурса. С увеличением числа конкурирующих веб-страниц уникальность сайта падает. Причина этого – публикация в Сети материалов, представляющих собой рерайт уже имеющихся статей, поэтому так необходим учет поисковой системой уникального текста.

Также отсутствие индексации материалов сайта может стать причиной атаки ресурса мошенниками. Они могут скопировать ваш контент, выложить на своей странице и быстро проиндексировать его, таким образом заявив роботам поисковиков о своем авторстве. Впоследствии поисковые системы будут определять ваш контент как неуникальный, и это может стать причиной бана вашего ресурса.

В связи с этим так важен контроль индексации и ускорение ее проведения, особенно для молодых сайтов, только начинающих свое продвижение.

Проверка индексации сайта в Яндексе и Google с помощью операторов

Проверка индексации сайта в Яндексе

Проверка индексации страницы сайта в Яндексе достаточно проста. Для проверки количества находящихся в индексе поисковика страниц используются такие операторы:

Рассмотрим применение этих операторов на примере нашего сайта sales-generator.ru. Сначала используем оператор «site». Нужно зайти в Яндекс и в строке поиска ввести: site:sales-generator.ru. Поисковик выдает следующий результат:

Затем нужно использовать оператор «host». Пример приведем опять на сайте sales-generator.ru. Снова нужно зайти в Яндекс и вбить в поиск host:sales-generator.ru. Результат проверки индексации представлен на скриншоте ниже:

Нельзя писать служебные слова с ошибками. К примеру, когда мы вбивали в строку поиска site :sales-generator.ru, Яндекс выдавал какую-то непонятную информацию. Оказалось, ошибка заключалась в написании пробела между служебным словом и адресом ресурса. Такого быть не должно, и всю фразу нужно писать слитно.

Обратите внимание, что проверяли домен мы без www, поскольку он является главным зеркалом. Можно провести проверку индексации с помощью операторов «site» и «host» c www.

На запрос с оператором «site» поисковик выдал следующий результат:

Вот результат запроса с оператором «host»:

Проверка индексации сайта в Google

Для проверки, сколько страниц находится в индексе поисковика Google, используют оператор «site». Он позволяет узнать число страниц домена в индексе поисковой системы. При написании домена с www Google выведет страницы только для этого случая, как и при написании домена без www. Этим проверка индексации сайта в Google отличается от таковой в Яндексе.

Приведем пример. В строке поиска Google вводим: site:sales-generator.ru.

Результат система выдает следующий:

Google нашел 58 страниц в отличие от 24, найденных Яндексом.

Вобьем в поиск домен с www: site:www.sales-generator.ru. Результат будет таким:

Как и ожидалось, ни одной страницы не найдено.

Проверка индексации страницы сайта

Самый простой способ проверить индексацию отдельной страницы в Яндексе – в самом поиске. Нужно ввести в строку поиска ее адрес. При наличии страницы в индексе будет выведен ее сниппет. В Google проверяют индексацию страниц так же.

Проверка индексации страниц сайта с помощью инструментов Яндекса и Google

Проверка индексации сайта в Yandex Webmaster

Проверку сделать несложно: нужно в вебмастере открыть проверяемый ресурс и нажать «Проверить URL». После этого следует ввести ссылку из строки адреса браузера требуемой страницы сайта (при этом в конце необходимо обязательно поставить слеш):

После того как вы введете адрес, сервис начнет обрабатывать запрос. На это уйдет немного времени. Затем появится ссылка «Готово», на которую нужно кликнуть.

Откроется страница, на которой будет содержаться детальная информация: был ли робот на данном сайте, индексирован ли его контент и другие сведения. В случае если робот уже был на странице, выведется сообщение: «Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован». Наличие такого ответа позволяет вебмастеру быть спокойным: индексация контента будет проведена через 1 или 2 АПА (обновления базы поиска).

Также будет доступна такая информация: есть ли на проверяемую страницу внешние и внутренние ссылки, дату последнего обхода роботом, статус индексирования.

Если же ваша страница не посещается роботом в течение длительного времени, зайдите в раздел «Помощь». Может быть, Яндекс порекомендует эффективный способ сделать процесс индексации более быстрым.

Проверка индексации сайта в Google Webmaster

Порядок проверки следующий: зайдите в «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

Там вы увидите информацию о количестве проиндексированных и заблокированных в Robots.txt страниц. Однако вывод данных задерживается, и их корректность не всегда гарантирована.

Проверка индексации сайта с помощью букмарклетов и плагинов

Плагины и букмарклеты (небольшие программы на языке javascript, сохраняемые в виде закладок браузера) позволяют автоматизировать процесс проверки индексации. Их использование не требует открытия поисковых систем и ввода запроса в строку поиска.

Эту задачу выполняют плагины и скрипты:

На картинке представлен скриншот плагина RDS bar для Google Chrome. Данный плагин для Mozilla Firefox еще лучше. Он позволяет провести проверку индексации отдельных страниц и всего ресурса в целом. Есть и минус – в бесплатных версиях постоянно выскакивает капча.

Букмарклет «Проверка индексации». Сохраните ссылку в закладках, затем перейдите на проверяемый сайт и откройте закладку. В новой вкладке Google выдаст вам результаты проверки.

Лучшие сервисы проверки индексации сайта

Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.

Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:

XSeo

Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).

Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:

PR-CY

Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:

• ТИЦ, PR;
• находится ли сайт в каталоге Яндекса и Dmoz;
• внешние ссылки.

Для получения результата после перехода по ссылке нужно ввести свой домен.

Сколько страниц есть в Google:

Сколько страниц в Яндексе:

Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.

Webmasters

Сервис разработан SEO-форумом. Качество его результатов хорошее. Преимущество сервиса – возможность единовременной проверки нескольких доменов. Чтобы проверить сайт, нужно совершить переход по ссылке и ввести адрес ресурса.

Почему не индексируется сайт в поисковиках

Ошибка 404

Нужно проверить действие скриптов при обнаружении ошибок. Если в сообщении скрипта об ошибке будет выдаваться код нормального завершения 200, то его индексация будет проведена. А в случае возврата скриптом кода 404 индексирования сообщения об ошибке не произойдет.

С обычными документами ситуация аналогична. Есть серверы, в настройках которых при обнаружении ошибки предусмотрено отправление сообщения, содержащего код нормального завершения 200. При этом робот не может провести удаление ссылки на сайт в базе данных. Современные серверы предусматривают возможность изменения стандартных сообщений об ошибках и исправления их кода.

Спам

Спамом не стоит пользоваться. Во-первых, потому что это нехорошо и посетителей сайта только раздражает. А во-вторых, потому что Яндексом предусмотрено отслеживание таких недобросовестных действий и снижение позиций документа в поисковой выдаче.

Также применение спама обусловливает увеличение размера документа, уменьшение контрастности слов в нем. Это тоже негативно сказывается на позициях его. Сайты и страницы злостных нарушителей Яндекс может вовсе исключить из базы.

Если одна страница перенаправляет пользователя на другую мгновенно (время перенаправления равно 0), то ее тоже исключат из индексирования.

Яндекс-поиск не помогает раскручивать сайты, его задача – удовлетворить потребности посетителей в нужных ему сведениях. Тем не менее, раскрутить сайт в Яндексе можно, разместив там рекламу.

Неправильные даты

Яндекс позволяет искать и сортировать материалы по датам, однако информация о дате изменения их правдива лишь в 80 % случаев. Сервер нужно настраивать правильно. Обеспечьте посетителям доступ к дополнительным сведениям и корректный показ своих страниц при поиске по датам.

Дополнительные данные высылаются в «заголовках HTTP» веб-сервером непосредственно с HTML-документом. Там может содержаться информация о том, когда был последний раз изменен документ (в заголовке «Last-Modified»). Наша настоятельная рекомендация – настройте ваш веб-сервер таким образом, чтобы эта дата высылалась им. Может быть, для этого понадобится немного исправить скрипты CGI или ISAPI, которые вы используете.

Неправильная кодировка

Помимо HTML-документа в сообщении веб-сервера содержатся дополнительные данные в «заголовках HTTP». К примеру, кодировка документа указывается в заголовке «Content-Type», параметр charset:

или:

Обязательно указание веб-сервером кодировки всех не англоязычных документов. В случае отсутствия кодировки потребуется ее установка в браузере самим пользователем, что влечет за собой неудобства. Если конфигурацию сервера исправить, он будет присылать кодировку.

Индексирование одинаковых документов в разных кодировках

Если web-серверы выдают одинаковые документы в разных кодировках, то расход ресурсов при их индексации очень большой. В базах данных отечественных поисковиков документы хранятся в одной кодировке. Рекомендуется использовать для индексации только одну кодировку. Если выдача кодировок осуществляется по портам сервера, то на разных серверах/портах нужно выдавать разный robots.txt. То есть в каждом сервере/порту нужно дополнительно прописывать:

Если выдача кодировок осуществляется по директориям, то понадобится единственный файл robots.txt, в котором следует написать:

Индексирование одного сайта на разных серверах

Возникновение проблемы возможно при наличии у сервера зеркал либо в случае получения кодировок путем изменения префикса в имени хоста. К примеру, кодировки для хоста www.chto-to.ru могут быть следующими: win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ru и т.д. Определить, какой из этих адресов основной, робот не может. Он лишь видит, что есть два полностью совпадающих документа и проводит индексацию одного из них.

То есть не исключена ситуация, что индексирование вашего контента будет проведено на разных хостах. Чтобы проиндексировать ресурс по одному адресу, нужно задать соответствующий файл robots.txt. Через определенное время прошедшие индексацию документы будут ссылаться на нужный адрес.

Не рекомендуется открытие для роботов поисковых систем контента вашего ресурса под разными именами или портами. Добиться улучшения индексации вам не удастся. Сервер будет испытывать нагрузку, как и сеть. Это может привести к негативным последствиям.

К примеру, поисковикам не всегда понятно, какое из «зеркал» вашего сайта основное. Они могут остановить свой выбор на любом. В настройках некоторых поисковиков предусмотрено и вовсе удаление сайтов, контент которых идентичен.

Избежать этой проблемы можно, запретив при написании вашего сайта robots.txt индексировать любые адреса, не являющиеся основными.

sales-generator.ru