Проверка индексации сайта


Привет! Сегодня я расскажу очень важные вещи, упустив которые можно терять трафик. Часто по мере работы над сайтами, нужно определить: какие страницы проиндексированы, какие нет. Какие страницы требует дополнительного внимания для того, чтобы они попали в индекс.

Особенно это ярко заметно при работе с интернет-магазинами: при работе с огромным количеством товаров/разделов, постоянно добавляются все новые и новые страницы. Поэтому нужен жесткий контроль индексации свежедобавленных страниц, чтобы не терять трафик с поиска.

В этом небольшом уроке я расскажу, как я проверяю страницы сайта на проиндексированность.

к оглавлению ↑

Как проверить страницы на индексацию

Как я проверяю проиндексированность конкретной страницы с помощью RDS bar, я уже рассказывал тут.

Ну или же можно просто вбить в Яндекс вот этот код:

url:www.wpnew.ru/about | url:wpnew.ru/about

Или для Google:

info:https://wpnew.ru/about

Конечно, URL адрес wpnew.ru/about меняете на свой.

А что же делать, если нужно проверить проиндексированность десяток/сотен, а то и более статей? Я поступаю следующим образом:


  1. Ставим замечательную бесплатную программу YCCY (скачать можете отсюда).
  2. Запускаем ее и переходим в Indexator:
    Программа YCCY
  3. В левую часть программы загружаем список URL, который нужно проверить на индекс:
    Проверка на индекс страницы
  4. В настройках при работе с Яндекс я поставил работу через Yandex XML. Что такое Яндекс XML лимиты и с чем его едят я уже рассказывал:
    proverka-indeksa-yandeksa
  5. Выбираем интересующую нас поисковую систему, отмечаем что нас интересует (в нашем случае «Индексированность») и нажимаем на кнопку «Начать проверку»:
    Проверка индекса в YCCY

  6. И вуаля, справа вы увидим отдельный список проиндексированных страниц, а также того, чего пока нет в индексе:
    Результат проиндексированности

к оглавлению ↑

Что делать с непроиндексированными страницами?

к оглавлению ↑

Сервисы для ускорения индексации

Я обычно не проиндексированные страницы прогоняю с помощью разных сервисов, я предпочитаю этот getbot.guru. Да, безусловно не 100% страниц залезают с помощью него в индекс но все же в среднем около 70-80% из прогнанных URL как правило залезает (сильно зависит от адекватности страниц тоже).

Сервис, конечно же, платный, нужно платить за каждый URL. За те страницы, которые не попали в индекс последует возврат средств, что очень справедливо и заманчиво (зависит от тарифа). А уже эти страницы, которые не попали в индекс, я повторно отправляю в сервис. Снова при следующем апдейте часть из этих страниц входит в индекс.

Думаю, разобраться сможете сами, ничего сложно нет. Регистрируетесь -> Создаете проект -> Запускаете проект. Единственное, могут возникнуть сложности при выборе тарифа. Я предпочитаю работать с тарифом «Абсолют апдейт» (кликните на изображение, чтобы увеличить):


Тариф на Getbot.guru

Кстати, обратите внимание, что в сервисе тоже можно проверить страницы на проиндексированность. Цена вопроса в районе 10 копеек за 1 URL. Я же предпочитаю бесплатный YCCY, о котором писал выше.

Принцип работы getbot.guru (взял с ветки сёрча):

На страницы из проекта отсылается быстробот яндекса, периодически проверяется индексация страниц проекта в Яндекс, на страницы не вошедшие в индекс, быстробот отсылается ещё раз. После завершения задания, для страниц не вошедших в индекс, осуществляется автоматический возврат средств на баланс. Мы не используем социальные сети и спам методы для привлечения быстробота. Для работы сервиса используется своя сеть новостных сайтов, владельцами которых мы являемся.

к оглавлению ↑

Ускорение индексации с помощью Твиттера или новостных сайтов

Ну, если вы не любите прогоны с помощью подобных сервисов, то можно воспользоваться Твиттером. Ссылки в Твиттере поисковики очень хорошо «кушают», если аккаунты более-менее адекватные.

Про это я уже писал относительно подробно в уроке «Как быстро добавить страницу в индекс». Там помимо твиттера я разбирал еще другие способы быстрой индексации.

Точно также можно купить хорошие ссылки с новостных сайтов (к примеру, в Sape) и загнать быстробота к себе на сайт, тем самым помочь индексации.

к оглавлению ↑

Переиндексация существующих страниц


Аналогично можно отправить страницу на перееиндексацию. Проверяя кэш страницы в поисковиках, можно узнать проиндексировалась страница или нет. Как проверить кэш страницы я рассказывал в том же уроке.

к оглавлению ↑

Работа с индексом с помощью программы Comparser

YCCY хоть и старая программа, но мне она очень нравится. Я ее использую для проверки индексации известных мне страниц.

Если же нужно выяснить, какие страницы сайта еще не попали в индекс я пользуюсь программой Comparser (я уже писал про нее целый урок). Его принцип простой: он выгружает все URL сайта, которые вы разрешили для индексирования (этот пункт можно менять в настройках) и проверяет каждую страницу на индекс. Либо с помощью простого обращения выгружает первые 1000 страниц из индекса.

Не в индексе Яндекса

И снова, те страницы, которые выявлены, что находятся вне индекса, прогоняем через разные сервисы или твиттер аккаунты. Имейте в виду, что, если вы хотите купить твиты, то хорошо работают незаспамленные аккаунты. К примеру, мне достаточно сделать ретвит своей статьи своим же аккаунтом, она мгновенно попадает в индекс.

Если вдруг нужно проверить «пачку» страниц на переиндексацию, можно снять дату кэширования в той же самом Компарсере:


Дата кэширования

Так вы можете понять, какие страницы переиндексированы, какие нет.

к оглавлению ↑

wpnew.ru

Почему так важна проверка индексации сайта

Ваш сайт будет приносить прибыль, если уровень посещаемости его будет высоким, так как только этим можно заинтересовать рекламодателей.

Большая часть посетителей сайтов переходит на них по ссылкам из поисковиков, выдаваемым после введения запроса. Роботы поисковых систем проводят сверку запроса с информацией баз данных и выдает наиболее актуальные результаты. Попасть ресурсу в такую базу данных можно только после прохождения индексации поисковиком. Если сайт не проиндексировать или отдельные его страницы, то и потенциальный клиент никак не попадет на ваш ресурс.


Одним из факторов, влияющих на скорость индексации, является посещаемость ресурса. Но есть и другие.

Каждый день в Интернете появляются новые сайты, схожие по тематике с вашим. Они являются конкурентами, поскольку их контент дублирует содержимое вашего ресурса. С увеличением числа конкурирующих веб-страниц уникальность сайта падает. Причина этого – публикация в Сети материалов, представляющих собой рерайт уже имеющихся статей, поэтому так необходим учет поисковой системой уникального текста.

Также отсутствие индексации материалов сайта может стать причиной атаки ресурса мошенниками. Они могут скопировать ваш контент, выложить на своей странице и быстро проиндексировать его, таким образом заявив роботам поисковиков о своем авторстве. Впоследствии поисковые системы будут определять ваш контент как неуникальный, и это может стать причиной бана вашего ресурса.

В связи с этим так важен контроль индексации и ускорение ее проведения, особенно для молодых сайтов, только начинающих свое продвижение.

Проверка индексации сайта в Яндексе и Google с помощью операторов

Проверка индексации сайта в Яндексе

Проверка индексации страницы сайта в Яндексе достаточно проста. Для проверки количества находящихся в индексе поисковика страниц используются такие операторы:

Рассмотрим применение этих операторов на примере нашего сайта sales-generator.ru. Сначала используем оператор «site». Нужно зайти в Яндекс и в строке поиска ввести: site:sales-generator.ru. Поисковик выдает следующий результат:


Затем нужно использовать оператор «host». Пример приведем опять на сайте sales-generator.ru. Снова нужно зайти в Яндекс и вбить в поиск host:sales-generator.ru. Результат проверки индексации представлен на скриншоте ниже:

Нельзя писать служебные слова с ошибками. К примеру, когда мы вбивали в строку поиска site :sales-generator.ru, Яндекс выдавал какую-то непонятную информацию. Оказалось, ошибка заключалась в написании пробела между служебным словом и адресом ресурса. Такого быть не должно, и всю фразу нужно писать слитно.

Обратите внимание, что проверяли домен мы без www, поскольку он является главным зеркалом. Можно провести проверку индексации с помощью операторов «site» и «host» c www.

На запрос с оператором «site» поисковик выдал следующий результат:

Вот результат запроса с оператором «host»:

Проверка индексации сайта в Google

Для проверки, сколько страниц находится в индексе поисковика Google, используют оператор «site». Он позволяет узнать число страниц домена в индексе поисковой системы. При написании домена с www Google выведет страницы только для этого случая, как и при написании домена без www. Этим проверка индексации сайта в Google отличается от таковой в Яндексе.

Приведем пример. В строке поиска Google вводим: site:sales-generator.ru.

Результат система выдает следующий:

Google нашел 58 страниц в отличие от 24, найденных Яндексом.

Вобьем в поиск домен с www: site:www.sales-generator.ru. Результат будет таким:

Как и ожидалось, ни одной страницы не найдено.

Проверка индексации страницы сайта


Самый простой способ проверить индексацию отдельной страницы в Яндексе – в самом поиске. Нужно ввести в строку поиска ее адрес. При наличии страницы в индексе будет выведен ее сниппет. В Google проверяют индексацию страниц так же.

Проверка индексации страниц сайта с помощью инструментов Яндекса и Google

Проверка индексации сайта в Yandex Webmaster

Проверку сделать несложно: нужно в вебмастере открыть проверяемый ресурс и нажать «Проверить URL». После этого следует ввести ссылку из строки адреса браузера требуемой страницы сайта (при этом в конце необходимо обязательно поставить слеш):

После того как вы введете адрес, сервис начнет обрабатывать запрос. На это уйдет немного времени. Затем появится ссылка «Готово», на которую нужно кликнуть.

Откроется страница, на которой будет содержаться детальная информация: был ли робот на данном сайте, индексирован ли его контент и другие сведения. В случае если робот уже был на странице, выведется сообщение: «Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован». Наличие такого ответа позволяет вебмастеру быть спокойным: индексация контента будет проведена через 1 или 2 АПА (обновления базы поиска).


Также будет доступна такая информация: есть ли на проверяемую страницу внешние и внутренние ссылки, дату последнего обхода роботом, статус индексирования.

Если же ваша страница не посещается роботом в течение длительного времени, зайдите в раздел «Помощь». Может быть, Яндекс порекомендует эффективный способ сделать процесс индексации более быстрым.

Проверка индексации сайта в Google Webmaster

Порядок проверки следующий: зайдите в «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

Там вы увидите информацию о количестве проиндексированных и заблокированных в Robots.txt страниц. Однако вывод данных задерживается, и их корректность не всегда гарантирована.

Проверка индексации сайта с помощью букмарклетов и плагинов

Плагины и букмарклеты (небольшие программы на языке javascript, сохраняемые в виде закладок браузера) позволяют автоматизировать процесс проверки индексации. Их использование не требует открытия поисковых систем и ввода запроса в строку поиска.

Эту задачу выполняют плагины и скрипты:

На картинке представлен скриншот плагина RDS bar для Google Chrome. Данный плагин для Mozilla Firefox еще лучше. Он позволяет провести проверку индексации отдельных страниц и всего ресурса в целом. Есть и минус – в бесплатных версиях постоянно выскакивает капча.

Букмарклет «Проверка индексации». Сохраните ссылку в закладках, затем перейдите на проверяемый сайт и откройте закладку. В новой вкладке Google выдаст вам результаты проверки.

Лучшие сервисы проверки индексации сайта


Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.

Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:

XSeo

Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).

Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:

PR-CY

Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:

  • ТИЦ, PR;
  • находится ли сайт в каталоге Яндекса и Dmoz;
  • внешние ссылки.

Для получения результата после перехода по ссылке нужно ввести свой домен.

Сколько страниц есть в Google:

Сколько страниц в Яндексе:

Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.

Webmasters

Сервис разработан SEO-форумом. Качество его результатов хорошее. Преимущество сервиса – возможность единовременной проверки нескольких доменов. Чтобы проверить сайт, нужно совершить переход по ссылке и ввести адрес ресурса.

Почему не индексируется сайт в поисковиках

Ошибка 404

Нужно проверить действие скриптов при обнаружении ошибок. Если в сообщении скрипта об ошибке будет выдаваться код нормального завершения 200, то его индексация будет проведена. А в случае возврата скриптом кода 404 индексирования сообщения об ошибке не произойдет.

С обычными документами ситуация аналогична. Есть серверы, в настройках которых при обнаружении ошибки предусмотрено отправление сообщения, содержащего код нормального завершения 200. При этом робот не может провести удаление ссылки на сайт в базе данных. Современные серверы предусматривают возможность изменения стандартных сообщений об ошибках и исправления их кода.

Спам

Спамом не стоит пользоваться. Во-первых, потому что это нехорошо и посетителей сайта только раздражает. А во-вторых, потому что Яндексом предусмотрено отслеживание таких недобросовестных действий и снижение позиций документа в поисковой выдаче.

Также применение спама обусловливает увеличение размера документа, уменьшение контрастности слов в нем. Это тоже негативно сказывается на позициях его. Сайты и страницы злостных нарушителей Яндекс может вовсе исключить из базы.

Если одна страница перенаправляет пользователя на другую мгновенно (время перенаправления равно 0), то ее тоже исключат из индексирования.

Яндекс-поиск не помогает раскручивать сайты, его задача – удовлетворить потребности посетителей в нужных ему сведениях. Тем не менее, раскрутить сайт в Яндексе можно, разместив там рекламу.

Неправильные даты

Яндекс позволяет искать и сортировать материалы по датам, однако информация о дате изменения их правдива лишь в 80 % случаев. Сервер нужно настраивать правильно. Обеспечьте посетителям доступ к дополнительным сведениям и корректный показ своих страниц при поиске по датам.

Дополнительные данные высылаются в «заголовках HTTP» веб-сервером непосредственно с HTML-документом. Там может содержаться информация о том, когда был последний раз изменен документ (в заголовке «Last-Modified»). Наша настоятельная рекомендация – настройте ваш веб-сервер таким образом, чтобы эта дата высылалась им. Может быть, для этого понадобится немного исправить скрипты CGI или ISAPI, которые вы используете.

Неправильная кодировка

Помимо HTML-документа в сообщении веб-сервера содержатся дополнительные данные в «заголовках HTTP». К примеру, кодировка документа указывается в заголовке «Content-Type», параметр charset:

или:

Обязательно указание веб-сервером кодировки всех не англоязычных документов. В случае отсутствия кодировки потребуется ее установка в браузере самим пользователем, что влечет за собой неудобства. Если конфигурацию сервера исправить, он будет присылать кодировку.

Индексирование одинаковых документов в разных кодировках

Если web-серверы выдают одинаковые документы в разных кодировках, то расход ресурсов при их индексации очень большой. В базах данных отечественных поисковиков документы хранятся в одной кодировке. Рекомендуется использовать для индексации только одну кодировку. Если выдача кодировок осуществляется по портам сервера, то на разных серверах/портах нужно выдавать разный robots.txt. То есть в каждом сервере/порту нужно дополнительно прописывать:

Если выдача кодировок осуществляется по директориям, то понадобится единственный файл robots.txt, в котором следует написать:

Индексирование одного сайта на разных серверах

Возникновение проблемы возможно при наличии у сервера зеркал либо в случае получения кодировок путем изменения префикса в имени хоста. К примеру, кодировки для хоста www.chto-to.ru могут быть следующими: win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ru и т.д. Определить, какой из этих адресов основной, робот не может. Он лишь видит, что есть два полностью совпадающих документа и проводит индексацию одного из них.

То есть не исключена ситуация, что индексирование вашего контента будет проведено на разных хостах. Чтобы проиндексировать ресурс по одному адресу, нужно задать соответствующий файл robots.txt. Через определенное время прошедшие индексацию документы будут ссылаться на нужный адрес.

Не рекомендуется открытие для роботов поисковых систем контента вашего ресурса под разными именами или портами. Добиться улучшения индексации вам не удастся. Сервер будет испытывать нагрузку, как и сеть. Это может привести к негативным последствиям.

К примеру, поисковикам не всегда понятно, какое из «зеркал» вашего сайта основное. Они могут остановить свой выбор на любом. В настройках некоторых поисковиков предусмотрено и вовсе удаление сайтов, контент которых идентичен.

Избежать этой проблемы можно, запретив при написании вашего сайта robots.txt индексировать любые адреса, не являющиеся основными.

sales-generator.ru

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

Индексация в поисковых системах

То есть у поискового робота есть задача — обойти ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля перед ним предстает список ресурсов, релевантных этому запросу.

Поиск в Google по запросу агентство копирайтинга

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 5 шагов к качественному тексту.

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, что нужно делать.

Проиндексированный и закрытый сайт

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Посмотрим, как обстоят дела с файлом Robots.txt на сайте Textum.

Анализ Robots.txt

Анализ файла в Yandex Webmaster показал, что сайт открыт для индексации в поисковых системах.

Также необходимо сообщить о новом ресурсе с помощью функций Yandex Webmaster и Search Console.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Посмотреть как Googlebot

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap (карта сайта), есть возможность поставить странички на переообход. Например, в Yandex Webmaster это выглядит так:

Переобход страниц в Yandex Webmaster

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress (кстати, здесь же можно полность убрать портал с «глаз» поисковиков). Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Видимость сайта для поисковых систем

Вы все это уже сделали? Отлично, можно приступать к «десерту» – анализу индексации сайта. Это можно сделать как в онлайн-режиме, так и при помощи установленных плагинов, подробнее об этом далее.

Как проверить индексацию сайта в Google и Yandex?

С помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс.

Способ №1. Проверка с помощью Google и Yandex Вебмастер

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Webmaster. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

  1. Заходим в Search Console.
  2. Выбираем в панели инструментов «Индекс Google».
  3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт Textum и посмотрим, что же покажет Google Webmaster у нас.

Статус индексирования в Google Search Console

Как видим, синяя полосочка уверенно ползет вверх, странички на нашем ресурсе успешно индексируются. Если же график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Как проверить индексацию страниц сайта в Яндекс:

  1. Заходим в Yandex.Webmaster.
  2. Переходим во вкладку «Индексирование».
  3. Выбираем пункт «Страницы в поиске».

Сервис предлагает сформировать график за определенный период. Можно посмотреть количество добавленных или удаленных страничек.

Количество добавленных и удаленных страниц в Yandex Webmaster

Подробнее о сервисе читайте здесь: Яндекс.Вебмастер: обзор 30 разделов и анализ 30 функций.

Способ №2. Прибегаем к помощи оператора поисковых систем

Чтобы спросить не у ясеня, а Гугла или Яндекс об индексации сайта нам понадобится оператор «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Yandex или Google: site: адрес ресурса. В качестве подопытного портала используем Textum.

Вот что показал Гугл:

Поисковый оператор site в Google

И что выдал Яндекс:

Поисковый оператор site в Yandex

По версии Yandex у нас целых 91 страниц участвует в поиске, Google более скромно сообщил о 69 страничках. Разница довольно существенная. Рекомендуем все-таки пользоваться сервисом Вебмастер, он выдает более точные результаты.

Еще один вариант – поисковый оператор «info». В отличие от site, он показывает проиндексирована ли одна конкретная страница.

Поисковый оператор info

Как видим, страница отразилась в результатах поиска (также здесь указана скорость ее загрузки), значит, она успешно проиндексирована поисковиками.

Для упрощения работы есть одна фишка. Чтобы не заходить сначала в один поисковик, затем в другой, можно это сделать в пару кликов: заходим на сайт seogadget.ru→ вставляем адрес страницы→ нажимаем «Проверить». Все, смотрим результат.

Проверка индексации сайта в seogadget.ru

Еще один простой и быстрый способ проверки индексации сайта – зайти на xseo.in. Алгоритм действия аналогичен предыдущему.

Вставляем в специальное поле адрес сайта, отдельной страницы, кликаем на «Проверить».

Проверка индексации сайта в xseo.in

После этих нехитрых манипуляций сервис в считанные секунды выдает результат.

Результат проверка индексации сайта в xseo.in

Разница между этими двумя способами: на seogadget.ru можно осуществить массовую проверку индексации сайтов, xseo.in – по одному.

Способ №3. Используем плагины

От ручного способа переходим к автоматизированному методу.

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

  • устанавливаем расширения в своем браузере;
  • открываем нужный сайт и выбираем страницу;
  • кликаем на расширение вверху экрана;
  • знакомимся с результатами.

Вот как примерно это будет выглядеть.

Плагин RDS bar для проверки индексации сайта

Плагин RDS bar предоставит информацию о количестве проиндексированных страничек; дата последнего обновления портала «глазами» робота; получение значения ТИЦ; определение Google Pagerank, количество весомых входящих ссылок на сайт и еще множество другой полезной инфы.

Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы – несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. После регистрации здесь аккаунта пользователю предоставят 14 дней бесплатного пользования, также потребуется скачать программу на компьютер. Посмотрим, что нам покажет по Textum Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Анализ сайта в Netpeak Spider

Затем кликаем на старт и получаем ответ от программы.

Результаты анализа сайта в Netpeak Spider

Какие данные можно почерпнуть из Netpeak Spider:

  • количество URL с важными ошибками;
  • индексированные страницы;
  • критичность ошибок (средняя, низкая);
  • время ответа сервера;
  • тип контента (например, изображения, HTML) и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Проверка страниц в Netpeak Checker

Перетаскиваем в зеленое поле адрес нужной нам страницы, опять кликаем на старт и через 1-2 секунды получаем результат. Кстати, данные можно экспортировать в Excel.

Результат проверки сайта в Netpeak Checker

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

  • код ответа сервера;
  • время ответа сервера;
  • скорость загрузки страницы;
  • описание title и description;
  • количество проиндексированных URL;
  • сколько раз пользователи поделились страницей в Facebook и Twitter.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Netpeak Checker – параметры проверки сайта

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

Также можно воспользоваться возможностями простенькой, главное, бесплатной программой YCCY. Минус только один – ее нужно скачать и установить на ПК или ноут. Но делается это очень быстро, скачать прогу можно с официального сайта YCCY.

После распаковки и установки файлов вы увидите такое окошечко, в котором нужно кликнуть на вкладку Indexator.

Программа для проверки индексации сайта YCCY

В список исходных URL вносим 1 или несколько страниц, выбираем поисковую систему и жмем «Начать проверку».

Проверка индексации сайта в YCCY

Здесь все просто, если страница есть/нет в поиске, то она появится в соответствующем разделе после проверки.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

  1. Ошибки или отсутствие sitemap. Карта сайта поможет правильной индексации ресурса, т.к. направит робота по всем нужным страницам. Sitemap добавляется в Вебмастер Google и Yandex.
  2. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. Обычно в Google индексирование происходит быстрее, чем в Yandex.
  3. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google или Yandex. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
  4. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации – добавьте. Можно написать 2-3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.
  5. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.

Запрет индексации сайта в Robots.txt

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

Как ускорить индексацию сайта

 

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

  1. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом.
  2. Sitemap. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая посетить все важные странички.
  3. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
  4. Переобход страниц. Мы регулярно пользуемся этим инструментом в Яндекс Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
  5. Посмотреть как Googlebot. Такая возможность есть в панели инструментов Search Console. В форме нужно ввести адрес карты сайта. Добавленный файл отобразится в списке под формой, кликаем «отправить в индекс». После этого робот пройдется по всем ссылкам с sitemap, приняв за исходную страничку карту ресурса.
  6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

Анонс статьи в Facebook

 

Выше на скрине показано, как в агентстве Textum делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков.

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

  • Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе – значить Google, Yandex и другие о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
  • Создать инструкции для правильной индексации можно с помощью Robot.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
  • Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
  • Не забываем о важности и нужности sitemap, а также уникального, тематического контента на вашем портале.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

textum.com.ua

Ручной метод

Один из лучших методов узнать сколько страниц вашего сайта находится в поисковике – спросить у него самого. Это бесплатно, быстро, просто и без какой бы то ни было регистрации. Самый простой и довольно-таки точный метод.

Какой же запрос нужно ввести, чтобы Яндекс показал все странички, что у него по вам есть? Нет ничего проще. Выглядеть он будет так: URL:домен-вашего-сайта*

Теперь смотрим сколько страниц нашлось. Эта информация высвечивается в правом верхнем углу под словом найти.

Проверка индексации сайта

Почему именно такой вид? Чтобы в поиске также не отобразились ссылки на ваш ресурс, к примеру, из социальных сетей или других источников, о которых мы говорили в статье про бесплатное продвижение.

Проверка индексации сайта

Для Google код будет немного отличаться. Пишем site:домен. Как вы видите, страниц чуть меньше. В принципе, это нормально. Гугл менее дружен к отечественным ресурсам. Эта компания не занимается вплотную российским сегментом. Огорчены? Я скажу вам: «Слава Богу».

Проверка индексации сайта

Запросы Google к «своим» вебмастерам настолько суровы, что они на стену лезть готовы. Попасть на первое место может далеко не каждая статья. Те русские разработчики, что работают на английском, в голос утверждают, что работать на российский Гугл значительно легче и удобнее.

Точный метод

В принципе, конечно, ни Google, ни Yandex – не являются злыми монстрами, которые скрывают информацию от создателей сайта. Они всячески способствуют тому, чтобы проекты были качественными, а потому с радостью предоставляют доступ к различной статистике. В том числе и статистике индексации.

Я уже писал про то, как установить Яндекс Метрику, правда в ней вы найдете информацию о статистике посещений и взаимодействии читателей с проектом. Отношения поисковой системы с вашим сайтом отражается в Яндекс Вебмастер.

Получить доступ к личному кабинету можно точно также, как и в случае с Метрикой. Добавляете сайт, скачиваете файл, который в дальнейшем подтвердит, что вы являетесь владельцем сайта, заходите в личный кабинет хостинга и заливаете его в корневую папку сайта, то есть public_html. Если останутся вопросы – прочитайте статью про Метрику. Действия будут идентичны.

Далее, в разделе индексирование можно посмотреть статистику загруженных и исключенных страниц. Вам предоставляется возможность посмотреть на ошибки и исправить их.

Проверка индексации сайта

Точно такая же ситуация складывается и с гуглом. Есть Google Analytics, о установке я тоже писал. Там тоже есть доступ ко всем сведениям о количестве посетителей, времени проведения на сайте и так далее, а есть Google Webmaster. Регистрация точно такая же, как и в предыдущих трех случаях. Говорите каким сайтом владеете, скачиваете файл, засовываете его в public_html и готово.

В разделе Индекс Google получаете количество страниц.

Проверка индексации сайта

Преимущество заключается еще и в том, что вы можете подать запрос на индексацию, тем самым его ускорив.

Проверка индексации сайта

Эти два метода являются наиболее точными. Помимо индексации эти приложения подскажут о множестве других полезных настроек, так что рекомендую их установить и пользоваться в обязательном порядке.

Дополнительные сервисы

Ради интереса я решил проверить еще несколько онлайн сервисов для проверки. Они помогут проверить сайты конкурентов.

Первым я хочу посмотреть SeoGadget. Помимо простой проверки, за дополнительные деньги, здесь можно узнать проверку позиций по ключевым словам. Посмотрим для начала, как он справляется с обычной индексацией.

Проверка индексации сайта

Сколько я ни старался, гугл проверка не осуществилась, постоянно вылезает ошибка. В Яндексе же он показывает всего 300 страниц. Эта информация далека от истины.

Проверка индексации сайта

Далее идет pr-cy.ru. Проверка индексации входит в «Анализ сайта». Выбираем эту функцию и вводим url.

Проверка индексации сайта

Этот ресурс более близок к реальности. Я настоятельно его рекомендую как для проверки своего проекта, так и для анализа чужих. Тут очень много полезной и достоверной информации.

Проверка индексации сайта

Ну и последний xseo.in.

Проверка индексации сайта

Сведения по Гуглу правдивы, а вот Яндекс мне показали неточно.

Проверка индексации сайта

Ну что ж. В целом – неплохо.

Полезные ссылки

Мне остается только посоветовать несколько источников, которые помогут научиться писать крутые статьи, которые с радостью одобрит и Яндекс, и Гугл. Первый сервис GeekBrains.ru. Он больше подойдет тем разработчикам, которые хотят добиться совершенства в выбранной области.

Здесь в течение 4 месяцев обучают профессии «SEO-специалист». То, что пишут на странице о курсе – не совсем правда. «Стоимость обучения с легкостью компенсируется уже за 1 месяц работы». От вас потребуется всего 4,5 тысячи рублей, а эту сумму можно «отбить» уже за неделю.

Проверка индексации сайта

Здесь не учат писать, они рассказывают о коде, составлять семантическое ядро сайта, то есть придумывать его структуру, о чем вы будете писать в блоге, далее внутренняя оптимизация – какие слова использовать в публикациях, чтобы их лучше видели поисковые системы. Внутренняя и внешняя оптимизация, а также контекстная реклама.

Все это очень полезно для веб-мастера. По завершению обучения вы можете пройти стажировку в крупных компаниях, GeekBrains.ru подыскивают вам места. Это не совсем курс. Вы будете работать с учителем, выполнять домашние задания и учиться на практике.

Если же вас больше интересует владение словом, то я могу посоветовать закрытый клуб копирайтеров «Повелители пера». Не важно начинающий вы копирайтер или хотите усовершенствовать свои навыки.

Проверка индексации сайта

За 490 рублей в месяц у вас будет доступ к огромному количеству материалов по копирайтингу школы Юлии Волкодав: виды продающих текстов, как выиграть тендер на бирже фриланса, вау-текст, эффективные заголовки и многое другое.

Сумму, потраченную на обучение, вы можете «отбить» уже в первый день. Учитывая, что средняя цена за 1000 символов на бирже фриланса составляет около 50 рублей, то вам всего-то понадобится написать две статьи, длиной в 5 тысяч знаков.

Вы научитесь продавать. Что очень важно для ведения своего сайта. Ваши продукты будут уходить быстрее. Одна публикация может продавать снова и снова, помните об этом. Всего одна хорошая статья в неделю, написанная вами и качественно, будет работать долгие годы и приносить прибыль.

Ну вот и все. До новых встреч и не забывайте подписываться на рассылку.

start-luck.ru

Какую роль играет индексация

Главная задача любого проекта в интернете — это привлечение пользователей, которые впоследствии могут стать клиентами (или просто найти интересующую их информацию). Это будет влиять на уровень посещаемости, конверсию, инвестиционную привлекательность для рекламодателей и так далее. Львиная доля трафика приходится на поисковые системы (самые популярные — это Яндекс и Google), из которых люди попадают на ваш проект через предоставленные ссылки. Последние ведут на страницы с соответствующими ключевыми словами, которые в той или иной форме вводили пользователи в качестве запроса. Роботы поисковиков анализируют интернет ресурсы, собирают данные и добавляют их в свою систему для дальнейшего обслуживания посетителей. Таким образом, чтобы конкретный пользователь увидел ваш сайт или, если быть точнее, конкретную страницу в поисковой выдаче, она должна быть добавлена в базу поисковика. То есть должна быть проведена индексация сайта в Гугл или Яндекс. Если процедура не завершена, через поисковую систему вас банально не найдут.

В этом вопросе имеет значение множество факторов и технологий работы. Очень важно, чтобы индексация сайта в Яндекс или Google охватывала как старые, так и новые страницы, все актуальные изменения в их содержании. В этом вам могут помочь различные инструменты и подходы. Например, очень востребована внутренняя перелинковка. Она обеспечивает переход с одной страницы ресурса на другую посредством установленной ссылки, что помогает ботам быстро пройти весь ресурс. Результатом станет полная индексация страниц сайта.

Другой важный фактор — уникальность контента. Чем больше схожих частей текста представлено на веб-сайте, тем ниже скорость индексирования. Или же она может быть полностью заблокирована, если поисковый робот посчитает, что ваш текстовый материал неуникален и был взят с других ресурсов. Поэтому уникальный контент — первое, что нужно реализовать, чтобы проверка индексации страницы проходила успешно.

Здесь стоит добавить и то, что наличие вашего проекта в поисковой системе — это в некоем роде защита от злоумышленников. Пока ресурс не будет отображаться в поисковике, ПС не сможет обнаружить ваши тексты при определении уникальности. Этим могут воспользоваться плохие люди, которые скопируют материалы с вашего проекта и опубликуют на своем. И после проверки индексация сайта в Google или Yandex уже будет проведена у них, но не у вас.

Вывод прост: регулярно следите, проиндексировался ли ваш проект. И делайте все возможное для ускорения процесса.

Проверка индексации в Yandex и Google

Есть множество инструментов и технологий для анализа доступности страниц вашего сайта в поисковых системах. Это могут быть как наработки самих ПС, так и сторонние инструменты. Начнем с отечественного поисковика. Узнать, прошла ли индексация сайта в Яндексе можно, используя специальные операторы при вводе поискового запроса:

  • host. Загружает данные с доменов и поддоменов, показывает сведения об индексированных страницах;
  • site. Показывает все страницы, доступные в базе ПС.

Проверка индексации сайта - site

Чтобы ими воспользоваться, достаточно в поисковой строке ввести, к примеру, «site:адрес сайта». Вы получите всю необходимую информацию. Это поможет как узнать проиндексирован ли сайт, так и найти страницы, недоступные в базе.

Аналогично можно использовать и оператор host, чтобы получить дополнительные сведения и провести полный анализ проекта.

Проверка индексации сайта - host

Обязательно обратите внимание на правильность написания команд, включая знаки препинания и пробелы. Если допустите ошибку, то получите недостоверные данные или вовсе пустую страницу. Не будет лишним проводить анализ, используя адрес сайта с www и без (при использовании host). Результаты могут быть совершенно разными.

Проверка индексации сайта - сайт

Теперь необходимо разобраться, как проходит индексирование сайта в Google. Здесь используется уже знакомый нам оператор site. При этом важно отметить, что ввод адреса домена с www и без www покажет разные результаты в отличие от предыдущего поисковика. Этим проверка индексации страницы в Яндексе отличается от аналогичной процедуры в зарубежной системе. Попробуйте ввести в Google запрос «site:адрес сайта» (с www и без) и проанализируйте результаты.

Проверка индексации сайта - host в яндекс

Итоги проверки могут сильно различаться.

Проверка индексации сайта - site в google

Что касается анализа конкретной страницы, то здесь все очень просто. Вам достаточно ввести ее адрес в поисковую строку и начать поиск. Если в выдаче появится ее сниппет (краткая информация), то все в порядке — проверка индексации страниц прошла успешно. Это актуально и для Яндекса, и для Гугла.

Проверка индексации сайта - сниппет

Инструменты проверки поисковых систем

Мы рассмотрели методы проверки каждой конкретной страницы или сайта целиком. А как провести более точный и глубокий анализ? Для этого можно использовать инструменты поисковиков. К примеру, сервис Yandex Webmaster. Здесь можно проверить индексацию страниц, вбив адрес в строку и нажать «Проверить URL». По завершении анализа предоставляется подробная информация по конкретным страницам ресурса.

Инструменты проверки поисковых систем

Вы можете нажать на ссылку «Готово» в строке «Статус», чтобы получить более детальные сведения:

  • посещал ли этот адрес бот поисковой системы;
  • прошла ли индексация сайта Яндексом;
  • когда бот последний раз посещал ресурс;
  • статус доступа страницы и пр.

Проверка индексации сайта - Yandex Webmaster

Эта информация очень полезна, так как позволяет определить состояние вашего проекта. Возможно, бот не может проиндексировать страницу, так как она банально недоступна. Рекомендации по решению проблем вы можете получить в разделе «Помощь».

Как проверить индексацию сайта в Гугл? Здесь также есть инструмент для вебмастеров — Google Webmaster. Необходимо зайти в раздел «Индекс Google», выбрать пункт «Статус индексирования» и нажать на кнопку «Расширенные данные».

Проверка индексации сайта - Индекс Google

Здесь доступны подробные сведения:

  • состояние ресурса;
  • количество проиндексированных страниц;
  • количество заблокированных страниц (в том числе недоступных для ботов через robots.txt).

Как определить наличие страниц с помощью сторонних инструментов

Помимо поисковых систем, проверка сайта в Google и Yandex может быть проведена и с помощью сторонних инструментов. Например, это специальные плагины или букмарклеты — программы на JavaScript (или других языках), автоматизирующие процесс сбора информации. Все, что нужно здесь, — это ввести адрес сайта и запустить систему. Тут не требуется работать с самими поисковиками.

Проверка индексации сайта - плагин

Плагины доступны в большом спектре и для самых разных браузеров: Google Chrome, Firefox и пр. Некоторые из них бесплатны. Другие же за отдельную плату предложат вам расширенный функционал. Букмарклеты работают как закладки. Вы сохраняете сайт, потом открываете закладку и получаете всю необходимую информацию. Имеет смысл использовать несколько плагинов, чтобы с высокой точностью определить, прошла ли проверка индексации сайта. Дело в том, что у инструментов могут различаться алгоритмы работы. И по одной и той же странице могут быть получены разные данные.

Популярные сервисы для анализа

Разумеется, это далеко не все возможности, доступные вебмастеру. Если вам нужна комплексная информация и ряд других сведений, то посмотреть индексацию сайта можно через специальные онлайн-сервисы. Причем каждый сможет подобрать инструмент под себя, опираясь на внешний вид, скорость работы, перечень предоставляемых данных и пр. Если вам требуется комплексная проверка сайта в Google и Яндекс, попробуйте следующие сервисы.

Проверка индексации сайта - приложение

XSEO

Популярный ресурс, который много лет выручает SEO-специалистов.

Проверка индексации сайта - XSEO

После ввода адреса веб-сайта в соответствующее поле вы получите следующий набор сведений:

  • данные веб-сайта;
  • параметры ТИЦ и PR;
  • наличие проекта в каталогах;
  • активные внешние ссылки;
  • количество страниц в Яндексе и Гугл;

Проверка индексации сайта - сведения

Удобно, полезно, точно. Профессиональная проверка сайта на индексацию.

PR-CY

Проверка индексации сайта - PR-CY

Все так же: вводите адрес домена и запускаете. Сервис показывает количество страниц в базе поисковиков, а также можно разделять индексы Гугла на второстепенный и главный.

Проверка индексации сайта - показатели гугл

Webmasters

Проверка индексации сайта - Webmasters

Крупный SEO-форум, где можно не только найти полезную информацию, но и проверить сайт на индексацию в Гугле и Яндексе. Ресурс работает достаточно быстро и предоставляет полный набор информации, которой будет достаточно, чтобы сделать выводы по проекту и начать комплексную SEO оптимизацию. Главным достоинством сервиса является массовая проверка индексации страниц — возможность проводить одновременно анализ нескольких сайтов, что очень удобно на практике.

Почему проект не индексируется

Мы подробно рассмотрели, что такое индексация сайта, для чего она нужна, какую играет роль. Мы узнали, как проводится проверка индексации сайта в Яндексе и Google. Теперь нужно понять, почему страницы ресурса могут не попасть в базу поисковых систем. Тут возможно несколько вариантов развития событий.

Во-первых, ошибка 404. Распространенная проблема, когда страница недоступна. Следовательно, поисковый робот не может ее найти, проанализировать и добавить в базу. И проверка индексации страниц сайта не даст желаемый результат. Это может случиться из-за отсутствия самой страницы, неправильного адреса или блокировки скриптом. Необходимо проверить весь проект на предмет ошибок, проанализировать работу скриптов. Многие из них отправляют сообщение о результате проверки, что поможет выявить проблему и устранить ее. После исправления ошибок стоит повторно проверить индексацию сайта.

Во-вторых, спам или переоптимизация. Здесь подразумевается манипуляция пользователями и поисковыми системами с целью привлечь трафик на ресурс. Здесь могут быть использованы различные подходы, например, добавление большого количества ключевых слов в заголовок и текст страницы, маскирование ключевых слов при помощи цвета фона или мелкого шрифта и так далее. Визуально страница может выглядеть нормально (для пользователя), но в глазах поискового робота она будет избыточно нагружена ключевыми словами. Результат — неудачная проверка сайта в поисковых системах.

Использовать подобные сомнительные способы продвижения не стоит, поскольку сегодня поисковики могут успешно определять спам и переоптимизацию, что наказывается фильтрами и баном всего проекта. Подобные подходы могут привести и к снижению позиций в поисковой выдаче, что негативно скажется на общем состоянии сайта. Мгновенное перенаправление на другую страницу (длительность перенаправления равна 0 секунд) тоже может закончиться исключением из списка выдачи.

Помните, что поисковики служат для пользователей. Они предоставляют им сайты с информацией, которая максимально релевантна их запросам, то есть соответствует тому, что они ищут. Задача оптимизатора — создать такой контент, который легко ищется поисковиком и предоставляется пользователю. И своевременная проверка индексации сайта в Гугле и Яндексе имеет здесь весомое значение.

В-третьих, ошибки в датах. Поисковики умеют сортировать загружаемые данные по датам, однако это не всегда происходит верно. По этим причинам нужно не только правильно отображать данные о времени публикации в HTML документе, но и поработать с настройками вебсервера. Будет хорошим тоном настроить систему так, чтобы при передаче запросов указывались временные данные, что позволит исключить возможные неприятности. В этом случае проверка индексации сайтов покажет положительный результат.

В-четвертых, проблемы с кодировок. Очень частая и крайне неприятная ситуация. Если в HTML документе неправильно указана кодировка текстов (или ее там вовсе нет), то на выходе поисковый робот может загрузить не полноценный текстовый материал, а набор символов. Особенно это актуально при работе с документами не на английском языке (русский, украинский и пр.). Соответствующие правки можно внести в мета-тег «Content-type». Это поможет обезопасить себя и сделать посещение сайта комфортным для пользователей.

Если проект содержит одинаковые страницы, но с разным языковым наполнением, то тут стоит осуществлять передачу кодировок в разных robots.txt на разных портах (серверах). Если передача проходит по директориям, то достаточно одного robots с соответствующими записями. После внесения изменений не забудьте проверить индексацию сайта в Google и Yandex.

В-пятых, загрузка одного веб-сайта с разных серверов. Эта проблема актуальна при наличии зеркал или mirror. Под ними понимают разные доменные адреса, ведущие на один и тот же сайт. В результате может случиться так, что поисковый бот проиндексирует один из вариантов, а другой документ исключит (а ведь это может быть не зеркало, а основной ресурс). Здесь поможет внесение записей в файл robots.txt.

Стоит поговорить и о том, сколько индексируется сайт в Яндексе или в Google. Длительность процедуры нигде не установлена и может составлять как один день, так и несколько недель. На это влияет ряд факторов:

  • возраст сайта;
  • состояние внутренней оптимизации (перелинковка);
  • наличие ошибок на сайте;
  • скорость загрузки страниц;
  • количество и качество контента.

По этой причине рекомендуем регулярно проверять индексацию. Если же страницы даже спустя длительное время не добавляются в базу, не помешает организовать комплексный аудит с привлечением квалифицированных специалистов.

www.seo62.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.