Индексация сайта в поисковых системах


Индексация сайта – процесс сканирования страниц сайта поисковым роботом (ботом, пауком). Просканированные страницы добавляются в базу данных поисковой системы.

Почему индексация сайта так важна?

Поисковая система осуществляет поиск не по всем сайтам, а только по находящимся в ее индексе. Если документ релевантен запросу, но еще не проиндексирован, то в поисковой выдаче его не будет. Поэтому индексация важна в том, что такое SEO-оптимизация.

Представьте ситуацию: у вас есть сайт, но он по каким-то причинам не проиндексирован. Клиенты ищут в Google или Яндекс ваши товары и услуги, идут к конкурентам, а вы не понимаете, что происходит. Неприятно, не так ли? Поэтому владельцу сайта важно понимать, что такое индексация сайта в поисковых системах. И следить за ней. Важно сразу ускорять индексацию новых или измененных страниц сайта. Читайте подробнее о том, что делать сразу после размещения новой статьи.

Поисковые роботы не зря называют пауками. Они сканируют страницы, находят на них ссылки на другие документы, переходят по ним и сканируют дальше.

Ваш сайт не добавлен в панели для вебмастеров и на него нет ссылок? Поисковые роботы не смогут его найти и проиндексировать.


Ошибки индексации

Убедитесь, что ваш сайт вообще открыт для поисковых роботов. Это очень распространенная проблема. Часто разработчики, когда делают сайт, закрывают его от индексации. Когда разработчики сдают проект заказчику, то они могут забыть открыть сайт для роботов. Владелец сайта может не знать об этом и ждать появления сайта в поиске. Когда у меня заказывают аудит сайта, то проблема с индексацией одна из лидирующих.

robots.txt

Есть два способа закрыть (и открыть) сайт и отдельные его страницы для поисковых роботов. Первый – файл robots.txt. Данный файл лежит в корневом каталоге сайта и может быть найдет по адресу https://вашсайт.ru/robots.txt

Данный файл создается специально для поисковых роботов и содержит перечень страниц, индексация которых не нужна. Это могут быть служебные страницы типа корзины, авторизации, восстановления пароля и так далее. Но нередко в этот файл попадают и нужные страницы.

В первую очередь нужно убедиться, в что в файле нет директивы

Именно Disallow: / полностью закрывает сайт от индексации.

Также следует убедиться, что в файле не блокируются нужные страницы.

Лучшая тактика: заранее погуглить шаблон robots.txt для вашего движка на этапе выбора CMS и после запуска сайта залить файл в корень.

Если ваш сайт на WordPress, то вот небольшой бонус: составленный мной robots.txt для большинства сайтов на данном движке.


Если ваш сайт использует AMP, то в robots.txt предусмотрена директива Disallow: /*amp/ для Яндекса. Можете ее убрать, если не используете AMP. Также не забудьте подставить адрес вашего sitemap в конце файла.

Noindex

Второй распространенный спопособ закрыть страницу от роботов – специальный мета-тег. Находится в блоке <head> и выглядит он так:

Noindex означает, что поисковикам не следует индексировать страницу. Nofollow – переходить по всем ссылкам на ней. Если помните, паук индексирует страницу и переходит по ссылкам на ней. Так страница и ссылки будут индексироваться без проблем:

Убедившись, что сайт открыт для поисковых роботов, переходим к следующему этапу.

Как проиндексировать сайт?

Управлять индексацией напрямую нельзя. Но мы можем сообщать поисковикам, какие страницы нужно проиндексировать в первоочередном порядке. Но даже использование данных приемов не гарантирует, что поисковые системы проиндексируют сайт быстро.


В первую очередь необходимо добавить сайт в Google Search Console и в Яндекс.Вебмастер. Если сайт добавлен – он уже поставлен в очередь на индексацию.

Аддурилки

Есть инструмент, который позволяет добавлять в поисковую базу страницы сравнительно быстро. Они называются “аддурилки” – от английского Add URL (добавить URL).

Аддурилка Google

В Google данный инструмент находится здесь и он очень прост в работе. В поле добавляем URL нужной нам страницы, вводим капчу и нажимаем кнопку. После использования аддурилки страницы могут попасть в индекс в течение суток. Но это не точно. У меня бывали случаи, когда это занимало до двух недель. Как я уже говорил, напрямую управлять данным процессом мы не можем.

Еще одним достоинством гугловской аддурилки является то, что отправлять на индексацию можно абсолютно любые URL. Даже тех сайтов, которых нет в нашей Search Console. Это позволяет быстрее индексировать страницы с ссылками на наш сайт.

Аддурилка Google

Аддурилка Яндекс

В Яндексе данный инструмент выглядит немного иначе. Сайт должен быть добавлен в панель Яндекс.Вебмастер, так что добавлять левые URL нельзя. В самом Вебмастере есть инструмент “Переобход страниц”. Здесь можно добавлять на индексацию новые и запрашивать переобход уже существующих страниц. Яндекс работает иначе, поэтому страницы в индексе появятся не ранее, чем через неделю.


Аддурилка Яндекс

Обратные ссылки

Как уже говорилось выше, поисковый робот переходит по ссылкам и индексирует страницы. Поэтому логичным методом является получение ссылок на других сайтах для индексации и получения траста сайта. Лучшей тактикой является размещение ссылок на авторитетных ресурсах той же тематики. Получить такие ссылки бесплатно почти невозможно, поэтому обычно их покупают. Купить можно через биржи ссылок (Sape, Miralinks, GGL и т. д.). Либо с помощью аутрича – прямой договоренности с владельцем сайта о размещении ссылки. Но это больше относится к линкбилдингу, что не является темой данной статьи.

К бесплатным методам можно отнести крауд-маркетинг. Для индексации сайта достаточно оставить несколько сообщений со ссылками на форумах схожей тематики. Для ускорения можно добавить страницы форумов, содержащие ваши ссылки, в аддурилку.

Социальные сети

Расшаривание страниц сайта в социальных сетях также является отличным способом ускорения индексации сайта. Довольно быстро индексируются ссылки из Twitter и Facebook. Очень кстати будут ссылки из Google+. Хотя данная соцсеть и стоит в тени гиганта Цукерберга. А вот ссылки из Вконтакте идут через редирект, поэтому быстрого эффекта не предвидится.


Вывод

Мы узнали, что такое индексация сайта в поисковых системах. Узнали, что из-за проблем с индексацией бизнес может потерять время, клиентов и деньги. Узнали и то, что зачастую проблемы с индексацией находятся на стороне самого сайта. Также мы узнали различные способы управления и ускорения индексации сайтов.

snarkfog.net

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс


Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

  • Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
  • Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
  • CMS, чистота и валидность кода.
  • Скорость обновления страниц.

Что такое краулинговый бюджет

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта


Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.


Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/. Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.


Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

  • В первую очередь, это переходы собственно поискового бота по ссылкам: обычным (внутренним и внешним), из соц.сетей (FB, Twitter, ЖЖ).
  • Вспомогательные источники: addURL, sitemap.xml.
  • Поведенческая информация: Метрика, Яндекс.Браузер (Элементы), Chrome, прочие счетчики.
  • Косвенные: регистрация в сервисах (Вебмастер, Директ, РСЯ, AdWords), упоминание домена без гиперссылки, регистрация домена, запросы в поиск.

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.


1

Вводится в строку поиска следующим образом: site:znet.ru

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

2

Вводится в строку поиска следующим образом: host:znet.ru

Оператор «url:» – показывает конкретную запрашиваемую страницу.

3

Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

4

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ — для Яндекс.

https://www.google.com/webmasters/ — для Google.

В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

Массовая проверка страниц на индексацию

Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

  1. Заходим в файл распределения
  2. Выделяем все урлы в столбце URL
  3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
  4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

  • Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
  • Почаще добавлять новые материалы;
  • Можно по самым дешевым запросам в своей тематике директ начать крутить;
  • Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Дополнительные советы по улучшению индексации

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

  • Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
  • Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
  • Скрываем от робота все ненужные/мусорные документы;
  • Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
  • Настраиваем работу сервера.

znet.ru

Что такое индексация сайта?

Индексацией сайта называют процесс добавления информации о содержимом (контенте) сайта в базу данных поисковиков. Именно индекс и является базой данных поисковых систем. Для того чтобы сайт был проиндексирован и появился в поисковой выдаче, на него должен зайти специальный поисковый бот. Весь ресурс, страница за страницей, исследуется ботом по определенному алгоритму. В результате находя и индексируя ссылки, изображения, статьи и т. д. При этом в поисковой выдаче выше в перечне будут находиться те сайты, авторитет которых выше по сравнению с остальными.

Выделяют 2 варианта индексации сайта ПС:

  • Самостоятельное определение поисковым роботом свежих страниц либо созданного ресурса — данный способ хорош при наличии активных ссылок с других, уже проиндексированных сайтов, на ваш. В ином случае ждать поискового робота можно бесконечно долго;
  • Пнесение URL на сайт в предназначенной для этого форме поисковика ручным способом — этот вариант позволяет новому сайту «встать в очередь» на индексацию, которая займет довольно продолжительное время. Способ простой, бесплатный и требует внесения адреса лишь главной страницы ресурса. Данную процедуру можно выполнить через панель вебмастера Яндекса и Гугла.

Как подготовить сайт к индексации?

Сразу стоит отметить, что крайне нежелательно выкладывать сайт на стадии разработки. Поисковые системы могут проиндексировать неоконченные страницы с некорректными сведениями, орфографическими ошибками и т. д. В итоге это негативно отразится на рейтинге сайта и выдаче информации с данного ресурса в поиске.

Теперь давайте перечислим моменты, о которых нельзя забывать на этапе подготовки ресурса к индексации:

  • на flash файлы распространяются ограничения индексации, поэтому сайт лучше создавать с помощью HTML;
  • такой тип данных, как Java Script также не индексируется поисковыми роботам, в связи с этим навигацию по сайту следует дублировать текстовыми ссылками, а всю важную информацию, которая должна быть проиндексирована, не пишем в Java Script;
  • нужно убрать все неработающие внутренние ссылки так, чтобы каждая ссылка вела на реальную страницу вашего ресурса;
  • структура сайта должна позволять с легкостью переходить от нижних страниц к главной и обратно;
  • лишние и второстепенные сведения и блоки лучше переместить к низу страницы, а также скрыть их от ботов специальными тегами.

Как часто происходит индексация?

Индексация сайта в зависимости от ряда причин может занимать от нескольких часов до нескольких недель, вплоть до целого месяца. Обновление индексации, или апы поисковых систем происходят с различной периодичностью. По статистике в среднем Яндекс индексирует новые страницы и сайты за период от 1 до 4 недель, а Google справляется за период до 7 дней.

Но при правильной предварительной подготовке созданного ресурса эти сроки можно сократить до минимума. Ведь по сути все алгоритмы индексации ПС и логика их работы сводится к тому, чтобы дать наиболее точный и актуальный ответ на запрос пользователя. Соответственно, чем регулярнее на вашем ресурсе будет появляться качественный контент, тем быстрее он будет проходить индексацию.

Методы ускорения индексации

Для начала следует «оповестить» поисковики о том, что вы создали новый ресурс, как уже говорилось в пункте выше. Также многие рекомендуют добавить новый сайт в системы социальных закладок, но я так не делаю. Это действительно позволяло ускорить индексацию несколько лет назад, так как поисковые роботы частенько «наведываются» на такие ресурсы, но, на мой взгляд, сейчас лучше поставить ссылку из популярный соц сетей. В скором времени заметят и ссылку на ваш ресурс, и проиндексируют его. Подобный эффект может быть достигнут и при помощи прямых ссылок на новый сайт с уже проиндексированных ресурсов.

После того как несколько страниц уже попали в индекс и сайт стал развиваться для ускорения индексации можно попробовать «прикормить» поискового бота. Для этого нужно переодически публиковать новый контент примерно через равные промежутки времени (например, каждый день по 1-2 статьи). Конечно же, контент должен быть уникальным, качественным, грамотным и неперенасыщенным ключевыми фразами. Также рекомендую создать XML карту сайта, о котором пойдет речь ниже и добавить его в панели веб-мастера обоих поисковых систем.

Файлы robots.txt и Sitemap

Текстовый файл robots txt включает в себя указания для ботов поисковиков. При этом он дает возможность запретить индексацию выбранных страниц сайта для заданной поисковой системы. Если будете его делать вручную, то важно, чтобы имя данного файла было прописано только прописными буквами и находилось в корневой директории сайта, большинство CMS генеририруют его самостоятельно или с помощью плагинов.

Sitemap или карта сайта представляет собой страничку, содержащую полную модель структуры сайта в помощь «заблудившимся пользователям». При этом можно перемещаться со страницы на страницу без использования навигации сайта. Желательно создать такую карту и в формате XML для поисковых систем и вписать его в файл robots.txt для улучшения индексации.

Об этих файлах можете получить более подробную информацию в соответствующих разделах, перейдя по ссылкам.

Как запретить сайт к индексации?

Управлять, в том числе и запрещать сайт или отдельную страницу к индексации, можно при помощи уже упомянутого выше файла robots.txt. Для этого создайте на своем ПК текстовый документ с таким названием, поместите его в корневой папке сайта и пропишите в файле от какого поисковика вы хотите скрыть сайт. Кроме того, скрыть контент сайта от ботов Google или Яндекса можно используя знак *

Для сайтов на WordPress запретить индексацию сайта можно через панель управления. Для этого в настойках видимости сайта нужно поставить галочку «Рекомендовать поисковым машинам не индексировать сайт». При этом Яндекс, скорее всего, прислушается к вашему пожеланию, а вот с Google не обязательно, но могут возникнуть некоторые проблемы.

www.seostop.ru

Индексация сайта в Яндексе

Яндекс

Что бы добавить сайт для индексации в Яндекс (Yandex.ru) достаточно вести его адрес в специальную форму addurl (англ. addurl — добавить URL). Вебмастера прозвали ее адурилкой. Находится она тут: webmaster.yandex.ru/addurl.xml

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.

2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.

3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе.

Индексация сайта в Google (Гугле)

Google

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url.

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Rambler

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Mail.ru

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Turtle.ru

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html. Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Yahoo.com

Yahoo это один из первых поисковиков, появившихся в Интернет. Про нее слышали наверно все люди, так или иначе связанные с Интернетом. Добавить сайт в Яху можно тут search.yahoo.com/info/submit.html.

Поисковая система Bing.com (Бинг)

Bing.com

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url.

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)

Meta.ua

Что бы добавить свой сайт на индексацию в поисковую систему Meta там сначала надо пройти регистрацию. После того как вы войдете в свой аккаунт, добавить сайт можно будет на странице web.meta.ua/?action=add. Правда поисковиком принимаются только украинские web-сайты.

seob.info

  1. Добавьте сайт в Яндекс.Вебмастер.

  2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

  3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

    Disallow
    Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:
    Подробнее об этом см. в разделе Использование файла robots.txt.
    Crawl delay
    Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
    Clean param
    С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.
  4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

    • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

    • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

    • Индексирование flash:

      1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

      2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

    • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

    • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

  5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

  6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

  7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

К следующему разделу

yandex.ru

Индексация сайта – наличие страниц сайта в базе поисковых систем. Для того что бы сайт стал проиндексирован, необходимо что бы на него зашел поисковой бот.

В данной статье мы рассмотрим, каким образом можно ускорить индексацию сайта, и сделать так, что бы его отлично индексировали поисковые системы.

Для полного понимания:

Индексация сайта – это обход роботами поисковых систем сайта, и внесения его в базу. Поисковые роботы заносят в базу информацию о сайте и всех его страницах, которые доступны для поиска. Поисковой бот индексирует ссылки, изображения, видео, и другие элементы на сайте.

Для того что бы сайт начал индексироваться, нужно:

1.    Убедится что индексация открыта в robots.txt

Часто бывают, что сайт забывают открыть для индексирования в файле robots.txt. Это есть по умолчанию во многих системах управления сайта.

Когда закрыто от индексации выглядит это примерно так:

Для того что бы его открыть, просто нужно убрать *, например как в robots.txt на нашем сайте:

С помощью строки Disallow мы закрываем ненужные страницы, в нашем случае это служебные разделы, или те разделы, которые не нужно индексировать.

2.    Добавить сайт в поисковые системы

Самый простой способ сделать так, что бы о сайте узнали поисковые системы, добавить его через формы. Про то, как добавить сайт в поисковые системы — читаем статью. Там все детально расписано для основных поисковиков.

А так же добавить сайт в Google webmaster tools и Яндекс Вебмастер.

3.    Поставить ссылки с других сайтов

Нужно поставить индексируемые ссылки с других сайтов. Если у вас уже есть сайт то поставить с него, если нет, то ссылки можно приобрести через биржи ссылок. Ссылки желательно ставить с часто обновляемых и авторитетных сайтов.

Лучше всего индексируются блоги и сми сайты, разместить ссылки на них можно с помощью ссылочных бирж, где есть большой выбор самых разных сайтов, от плохих до хороших.

4.    Ссылки из социальных сетей

Прямые индексируемые ссылки из социальных сетей могут повлиять на индексацию сайта. Это такие сервисы как: Twitter, Facebook, Google Plus, YouTube и другие…

Ссылки с социальных сетей работают, но обязательно нужно, что бы это были прямые ссылки. Например, из социальной сети Вконтакте такое не даст результата, так как ссылки в ней идут через редирект.

5.    Добавление сайта в социальные закладки

Еще пару лет назад ссылки из сервисов социальных закладок отлично работали, сейчас ситуация немного поменялась, но не для всех сервисов социальных закладок.

Социальные закладки такого плана сайты как: bobrdobr.ru, memori.qip.ru, moemesto.ru, mister-wong.ru и сотни других.

С помощью социальных закладок можно быстро привлечь поисковых роботов.

Для того что бы максимально быстро проиндексировать сайт, лучше всего использовать все методы сразу, тогда и отдача будет лучше.

Если сайт долго не индексируется, нужно проверить в первую очередь, не закрыт ли он от индексации, если все нормально, то вышеописанными методами привлечь поисковых ботов на сайт.

Оптимизация сайта — необходимый этап в продвижении сайта, если сайт не проиндексирован, то продвигать его в поиске не получится, сперва нужно добиться его индексации.

seoprofy.ua

Индексация сайта это

Индексация сайта это обнаружение сайта поисковыми роботами ( поисковиками) и занесение главной и других страниц сайта в свою базу данных. До того, как ресурс появится в результатах поиска, поисковая система должна его сначала проиндексировать, а потом, выбрав по своим алгоритмам, полезные страницы, занести их в поисковый индекс.

Понятие индексации сайта можно разделить на три отдельных понятия:

  1. Индексация всего сайта – обнаружение сайта, как Интернет ресурса, поисковиками;
  2. Индексация страниц сайта – занесение найденных страниц в базу данных поисковиков;
  3. Поисковая индексация – фильтрация всех страниц сайта по своим алгоритмам и добавление отфильтрованных страниц в поисковый индекс (поисковую выдачу).

Уже потом следует ранжировние (выстраивание) страниц в поисковой выдаче, поднятие страниц в Топ выдачи и т.д.

Первый шаг, взаимодействия с поисковиками это индексация всего сайта, о чем и пойдет речь в этой статье. 

индексация сайта поисковиками

Индексация сайта как Интернет ресурса

Первым шагом продвижения сайта в поисковой выдаче, это «знакомство» поисковиков с сайтом, как новым Интернет ресурсом. А проще, вы должны сообщить поисковикам ( Яндекс, Google, Bing, Mail.ru, Rambler)  о появлении в сети вашего ресурса (сайта, блога, форума, портала).

Большая часть средних сайтов (с количеством страниц от нескольких десятков до нескольких сотен) как правило, не имеют проблем с индексацией сайта и его страниц поисковиками. Однако, есть, некоторые моменты, которые необходимо учесть, когда вы работаете над своим ресурсом.

Два пути индексации сайта

Есть два пути, с помощью которых поисковая система узнает о новом ресурсе и начнется индексация сайта:

1. Добавление адреса ресурса с помощью специальной формы поисковой системы вручную. Сообщение для поисковой системы о новом сайте исходит от вас лично, и адрес сайта встает в очередь на индексацию. При ручном способе надо добавить только главную страницу ресурса, остальные поисковый робот найдет по ссылкам.

2. Для того чтобы сообщить поисковикам о новом ресурсе, нужно обязательно воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools, Nigma.ru. [/su_quote] 3. Предоставление поисковому роботу самому найти ваш ресурс. Это возможно в том случае, если с других ресурсов (которые уже были проиндексированы поисковой системой) на ваш сайт есть хотя одна внешняя ссылка. Этот вариант рекомендован к использованию в большинстве случаев: просто получите некоторое количество внешних ссылок на ресурс и дожидайтесь прихода робота. Добавление сайта вручную в некоторых случаях даже удлиняет срок ожидания робота.

Как правило, первичная индексация сайта занимает от 2-3 дней до двух недель и это зависит от системы поиска. Самая быстрая система в плане индексации сайтов – это Google.

Дружелюбность сайта для поисковиков

Стремитесь к тому, чтобы ваш сайт стал для поисковых роботов дружественным. Для этого обращайте внимание на следующие моменты:

1.  Доступность по ссылкам с главной страницы на любые другие страницы вашего ресурса не должна быть длиннее, чем в 3 перехода. Если структура вашего сайта такова, что это невозможно, сделайте карту сайта и ориентируйте ее на выполнение указанного правила;

2. Учитывайте распространенные ошибки. Индексация сайта затрудняется, если на страницах сайта используются идентификаторы сессий. Если ваша навигация идет через скрипты, то делайте дубликаты ссылок стандартным образом – поисковики не читают скрипты ( более подробная информация обо всех ошибках изложена в главе 2.3);

3. Не забывайте, что под индексацию поисковиками на странице попадает не более 100-200 кб текста. Если объем страницы больше, то проиндексированы будут только первые 100-200 кб со страницы, то есть ее начало. Правило гласит: если хотите, чтобы страницы были проиндексированы целиком, делайте их объемом не более 100 кб.

Закрытие от Индексации

Специальный файл robots.txt создан для управления поведением поисковых роботов. Он позволяет запретить или разрешить индексацию тех или других страниц. Еще существует тег «NOINDEX» , с помощью которого можно закрыть для индексации части страницы, но этот специальный тег поддерживают только российские поисковые системы. Тег «NOFOLLOW» закрывает ссылки от индексации «не нашими» поисковиками (google, bing).

Важно! С помощью тега nofollow можно закрыть только ссылку. Тегом noindex можно закрыть  кусок текста. Так если не закрыть тег  noindex, то весь текст после него не будет индексироваться поисковиком Яндекс.

Количество страниц вашего ресурса, проиндексированных поисковыми роботами, может меняться: базы данных поисковиков регулярно обновляются, меняются записи в базе (исчезают и снова появляются).

Если сервер был недоступен, а поисковый робот попытался ресурс проиндексировать и не получил к нему доступ, то страница вполне может исчезнуть из индекса. Когда сервер опять заработает, ресурс должен снова через какое-то время появиться в индексе.

На скорость переиндексации также влияет количество внешних ссылок : чем их больше у вашего ресурса, тем быстрее происходит переиндексайия.

Для того чтобы узнать, как протекает индексация сайта, можно проанализировать лог-файлы сервера (в них записываются визиты поисковых роботов) или воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools. Для контроля за индексацией странц сайта есть специальные online инструменты. Подробно о них , я расскажу в соответствующем разделе.

©www.wordpress-abc.ru

www.wordpress-abc.ru

Почему при индексации стоит, прежде всего, ориентироваться на Гугл и Яндекс

Поисковые системы Яндекс и Google зарекомендовали себя как лучшие и, соответственно, популярные поисковые системы.Индексация сайта в поисковых системах

Это обусловлено тем, что уровень развития основных характеристик «поисковиков» превосходит все остальные представленные на сегодняшний день системы:

  • Точность — насколько найденные системой документы соответствуют запросу. Например, при введении пользователем в строку поиска «купить шубу» «поисковик» выводит 90-100% процентов с приведенным невидоизмененным сочетанием этих слов. Чем выше процент схожести, тем лучше.
  • Полнота — количество документов, относительно всех имеющихся в сети по этой теме, которые выдает пользователю система. Если всего в сети условно находится 100 документов по вопросу «Еда для ребенка 1 года», а «поисковик» предоставил к рассмотрению всего 70, полнота будет равна 0,7. «Выигрывает» система поиска с большим значением.
  • Скорость поиска связана с техническими характеристиками и возможностями каждого «поисковика». Чем она выше, тем больше пользователи будут удовлетворены работой системы.
  • Наглядность поиска — это качество представления информации по запросу, подсказки системы относительно тех документов, которые нашлись по запросу. Это наличие упрощающих работу элементов на странице выдачи результатов.
  • Актуальность — характеристика, обозначающая временной промежуток между получением информации и занесением в базу индекса. У крупных поисковиков существует так называемая «быстрая база», позволяющая в сжатые сроки индексировать новую информацию.

livesurf.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.