Индексирование сайта в яндексе



Если есть проблемы с индексацией — в первую очередь надо проверить robots.txt и sitemap.xml.

Любая поисковая система имеет объемную базу данных, куда вносит все сайты и новые страницы. Эта база называется «индекс». Пока робот не обойдет html-документ, не проанализирует его и не внесет в индекс, он не появится в поисковой выдаче. Попасть на него можно будет только по ссылке.

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс


Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

  • Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
  • Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
  • CMS, чистота и валидность кода.
  • Скорость обновления страниц.

Что такое краулинговый бюджет


У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.


Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/. Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.


Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

  • В первую очередь, это переходы собственно поискового бота по ссылкам: обычным (внутренним и внешним), из соц.сетей (FB, Twitter, ЖЖ).
  • Вспомогательные источники: addURL, sitemap.xml.
  • Поведенческая информация: Метрика, Яндекс.Браузер (Элементы), Chrome, прочие счетчики.
  • Косвенные: регистрация в сервисах (Вебмастер, Директ, РСЯ, AdWords), упоминание домена без гиперссылки, регистрация домена, запросы в поиск.

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.


1

Вводится в строку поиска следующим образом: site:znet.ru

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

2

Вводится в строку поиска следующим образом: host:znet.ru

Оператор «url:» – показывает конкретную запрашиваемую страницу.


3

Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

4

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.


Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ — для Яндекс.

https://www.google.com/webmasters/ — для Google.

В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

Массовая проверка страниц на индексацию

Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

  1. Заходим в файл распределения
  2. Выделяем все урлы в столбце URL
  3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
  4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:


  • Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
  • Почаще добавлять новые материалы;
  • Можно по самым дешевым запросам в своей тематике директ начать крутить;
  • Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Дополнительные советы по улучшению индексации

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.


  • Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
  • Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
  • Скрываем от робота все ненужные/мусорные документы;
  • Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
  • Настраиваем работу сервера.

znet.ru

Управление приобщением

Индексирование сайта – сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.

индексирование сайта

Также для ведения индексации применяют теги <noindex> и реквизит <nofollow>, скрывающие содержимое ресурса от роботов Google и «Яндекса» (Yahoo применяет тег <nofollow>).


В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе – от одной недели до четырёх.

Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.

Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.

Способы обработки

Индексирование сайта может выполняться несколькими способами:

  1. Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
  2. Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.

Сроки

Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.

индексирование сайта в яндексе

Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.

За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.

Изменения

Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:

  • санкции поисковика к веб-узлу;
  • наличие погрешностей на сайте;
  • изменение алгоритмов поисковиков;
  • отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.

Ответы «Яндекса» на обычные вопросы

«Яндекс» — поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.

Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.

индексирование сайта в google

Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.

Индексирование сайта в «Яндексе» — довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется – робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.

Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).

Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда – через пару недель.

Процесс обработки

яндекс поисковая система

«Яндекс» — поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:

  1. Поисковый робот выполняет обход страниц ресурса.
  2. Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
  3. Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.

Проверка индексации

Как проверить индексацию сайта? Выполнить это можно тремя способами:

  1. Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
  2. Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
  3. Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.

Почему «Яндекс» отказывает?

Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.

индексирование сайта в поисковиках

У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.

Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.

Ускорение работы «Яндекса»

Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:

  • Установить на компьютер браузер «Яндекса» и побродить с помощью него по страницам сайта.
  • Подтвердить права на управление ресурсом в «Яндекс.Вебмастере».
  • В Twitter опубликовать ссылку на статью. Известно, что с 2012 года «Яндекс» сотрудничает с этой компанией.
  • Для сайта добавить поиск от Yandex. В разделе «Индексация» можно указать собственные URL-адреса.
  • Ввести код «Яндекс.Метрики», не указывая галочку «Отправка страниц на индексацию запрещена».
  • Изготовить файл Sitemap, который существует только для робота и не виден аудитории. Проверка будет начинаться именно с него. Адрес Sitemap вводится в robots.txt или в подходящую форму в «Вебмастере» — «Настройка индексации»-«Файлы Sitemap».

Промежуточные действия

ускорить индексирование сайта

Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.

База данных Google

Для Google подойдут те же рекомендации, о которых мы рассказали выше, только сервисы будут иными:

  • Google+ (взамен Twitter);
  • Google Chrome;
  • Google-приспособления для программистов – «Сканирование» — «Взглянуть как Googlebot» — опция «Сканировать» — опция «Добавить в индекс»;
  • поиск внутри ресурса от «Гугла»;
  • Google Analytics (взамен «Яндекс.Метрики).

Запрещение

Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?

Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:

  1. User-agent: *
  2. Disallow: /kolobok.html
  3. Disallow: /foto/

Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий — не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».

как происходит индексирование сайта

Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между тегами <head><head>. Запись для запрета, к примеру, может быть написана так: <meta name=”robots” content=”noindex, nofollow”>.

Ajax

А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.

Однако робот поисковой системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.

Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.

Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:

  1. Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
  2. HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на ?_escaped_fragment_=.

fb.ru

Причины почему сайт не индексируется

Давайте для начало разберем причины того, почему же ваш сайт не индексируется поисковыми системами. Причины могут быть банальными или же достаточно сложными, которые потребует вмешательства. Итак, вот основные причины:

  1. ПС пока не нашли ваш сайт
  2. Страницы сайта закрыты в robots.txt
  3. Если ваш сайт на WordPress, то возможно у вас включены приватные настройки
  4. Страницы сайта закрыты от индексации мета тегами noindex
  5. Происходит блокировка сайта в .htaccess
  6. Не стабильная работа вашего хостинга
  7. Отсутствие на сайте файла sitemap.xml «Карта сайта»
  8. На сайте присутствует не уникальный контент «Копипаст»
  9. Ваш сайт попал под санкции Яндекса или Гугла

Вот я думаю это основные причины того что ваш сайт не индексируется яндексом и google. О том, как исправить эти причины читайте в следующей статье о том, что делать если сайт не индексируется.

Ну а ниже вы узнаете, как быстро загнать сайт в яндекс, при условии того что у вас отсутствуют выше перечисленные проблемы.

Способы для быстрой индексации сайта

Платный способ загона ссылки в индекс

Рассмотрим первый вариант загона ссылок в индекс с помощь специальных сервисов, которые обещают быструю индексацию сайта яндексом. Все сервисы платные и зачастую нет 100% гарантии что ваши ссылки проиндексирует быстробот яндекса. Вот два сервиса которые я использую для быстрого загона ссылок.

  • GetBot
  • Indexgator

getBot.guru – как написано у них на сайте они дают 100% гарантию индексации сайта. После регистрации вы сможете добавлять не только ссылки, но и загрузить свою карту сайта или rss канал. Ценовая политика джетбот разнообразная, у них есть три тарифных плана:

  • Абсолют
  • Экспресс Приоритет
  • Абсолют Апдейт

Рекомендую использовать тариф «Абсолют», он самый дорогой 3 руб. за ссылку, но у него есть очень большой плюс по сравнению с другими тарифами, это возврат денег если ваша ссылка не попала в индекс.

Indexgator.com – Данный сервис мне нравится больше по нескольким причинам:

  • Низкая стоимость добавления ссылки (1.2 руб. за одну ссылку)
  • Возможность размещения ссылки в твиттер и ливжурнал

Но есть и минус, если ваша ссылка не проидексировалась яндексом то возврат денег не производят. Существует большое количество подобных сервисов, но лично я пользуюсь только этими двумя.

Бесплатный способ загона ссылки в индекс

После того как вы написали новую стать на сайте в первую очередь обновите ваш sitemap.xml

Шаг 1. Сообщаем яндексу и гуглу о новой странице на сайте, а простым языком пингуем.

Ping Яндекса — https://blogs.yandex.ru/pings/

Ping Google — http://blogsearch.google.com/ping

После не будет лишним добавить ссылку в адурилку яндекса — https://webmaster.yandex.ru/addurl.xml

Также в новой версии Яндекс.Вебмастер появилась возможность отправить на переобход страниц ботом, раз в сутки можно добавлять не более 10 страниц сайта.

На WordPress

Если вы используете WordPress, то в настройках движка есть инструмент автоматического пингования. В админ панели выберите «Настройки» — «Написание», Сервисы обновления.

И добавляем следующие сервисы:

Шаг 2. Не будет лишним добавить вашу ссылку в социальные сети с помощью соц.кнопок, если же у вас они не стоят, то сделайте это вручную. Многие говорят, что это не работает, но не будем слушать других и все-таки добавим нашу ссылку.

Как делаю это я, произвожу все выше перечисленные действия по пингованию, добавляю ссылку в соц.сети, так же в придачу к этому я использую сервис SeoBudget, у них есть такой инструмент как «Добавление страниц сайта в индекс», цена там очень маленькая 0.17 руб.

Вот и все, ради эксперимента здесь выложу скриншот попадания данной статьи в индекс яндекса.

Ну вот и результат….

Всем спасибо за внимание!

seobel.ru

  1. Добавьте сайт в Яндекс.Вебмастер.

  2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. В специальном разделе сервиса можно загрузить sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

  3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим три наиболее важных параметра, которые можно указать в этом файле:

    Disallow
    Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:
    Подробнее об этом см. в разделе Использование файла robots.txt.
    Crawl delay
    Позволяет указать индексирующему роботу минимальный промежуток времени (в секундах) между обращениями к страницам сайта. Этот параметр полезен для крупных проектов, содержащих десятки тысяч страниц и более. Поисковый робот Яндекса при индексировании может создать на такой сайт большую нагрузку, что может вызвать перебои и задержки в работе сайта, поэтому, возможно, вам следует ограничить количество обращений в секунду. Например, директива Crawl-delay: 2 укажет роботу, что он должен выжидать 2 секунды между обращениями к серверу.
    Clean param
    С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.
  4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

    • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

    • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

    • Индексирование flash:

      1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

      2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

    • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

    • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

  5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

  6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since». Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

  7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

К следующему разделу

yandex.ru

Индексация сайта в Яндексе

Яндекс

Что бы добавить сайт для индексации в Яндекс (Yandex.ru) достаточно вести его адрес в специальную форму addurl (англ. addurl — добавить URL). Вебмастера прозвали ее адурилкой. Находится она тут: webmaster.yandex.ru/addurl.xml

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.

2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.

3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе.

Индексация сайта в Google (Гугле)

Google

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url.

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Rambler

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Mail.ru

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Turtle.ru

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html. Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Yahoo.com

Yahoo это один из первых поисковиков, появившихся в Интернет. Про нее слышали наверно все люди, так или иначе связанные с Интернетом. Добавить сайт в Яху можно тут search.yahoo.com/info/submit.html.

Поисковая система Bing.com (Бинг)

Bing.com

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url.

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)

Meta.ua

Что бы добавить свой сайт на индексацию в поисковую систему Meta там сначала надо пройти регистрацию. После того как вы войдете в свой аккаунт, добавить сайт можно будет на странице web.meta.ua/?action=add. Правда поисковиком принимаются только украинские web-сайты.

seob.info

Индексация сайта в поисковых системах

Как узнать проиндексирован ли сайт?

Первое, что нужно сделать — узнать проиндексирован ли сайт поисковыми системами. Может быть так, что сайт просто не находится на первой странице поиска по тому запросу, которые Вы вводили. Это могут быть высокочастнотный запросы, чтобы показываться по которым нужно работать над SEO-продвижением, а не просто сделать и запустить сайт.

Итак, для проверки заходим во все поисковые системы, в которые имеет смысл заходить (Яндекс, Гугл, Мэйл, Рамблер) и в строку поискового запроса вводим адрес сайта.

Индексация сайта в поисковых системах

Если Ваш ресурс ещё не был проиндексирован — в результатах выдачи ничего не будет показано, либо покажутся другие сайты.

Как проиндексировать сайт в Яндексе?

Для начала расскажем, как проиндексировать сайт в Яндексе. Но прежде чем, добавить свой ресурс, проверьте, чтобы он корректно работал, правильно открывался на всех устройствах и содержал только уникальный контент. Например, если добавить сайт на стадии разработки, можно просто угодить под фильтр — с нами один раз такое случалось и пришлось ждать целый месяц, чтобы Яндекс понял, что у нас качественный сайт и снял санкции.

Чтобы сообщить Яндексу о новом сайте, необходимо добавить его в Яндекс Вебмастер и установить Яндекс Метрику, первый инструмент отвечает за дополнительную информацию о ресурсе (регион, структура, быстрые ссылки) и тот, как сайт выглядит в результатах органической выдачи, второй за сбор данных по сайту (посещаемость, поведение и прочее), что согласно нашем опыту, так же оказывает влияние на индексацию сайта и его позиции в поиске. А ещё обязательно сделайте карту сайта и укажите её в панели вебмастеров.

Как проиндексировать сайт в Google?

Чаще всего Гугл сам достаточно оперативно находит новые сайты и загоняет их в поиск, но ждать, когда Google придёт и сделает за нам всю работу — слишком самонадеянно, поэтому давайте разберёмся, как проиндексировать сайт в Google.

Сначала добавляем сайт в Search Console — это панель вебмастеров Google, и устанавливаем Google Analitycs. Придерживаемся тех же целей — дать максимум информации о сайте поисковым системам.

После того, как сайты добавлены, должно пройти от 3 до 7 дней, прежде чем поисковики обновят данные и проиндексируют сайт.

Как ускорить индексацию страниц сайта в поисковых системах?

Всегда хочется, чтобы новые страницы сайта, стали показываться в результатах поиска, как можно быстрее и для этого есть несколько секретных (и очень простых) способов, как ускорить индексацию страниц сайта в поисковых системах.

  1. Разместите ссылки на новую статью или страницу в социальных сетях и попросите подписчиков поделиться ей с друзьями. В каких социальных сетях размещать ссылки? Во всех, от ВКонтакте до Моего Мира, учитывайте при этом, что Яндекс больше ориентируются на российские соц.сети (ВК, одноклассники), а Google на западные (FB, Twitter). Так же о сообщить о публикации нового материала можно на своём канале в мессенджерах.
  2. В панели вебмастеров Яндекса зайдите в раздел Индексирование и затем во вкладку переобход страниц. Здесь Вы можете указывать до 20 новых адресов, которые бот должен посетить в первую очередь. Так же этим способом можно воспользоваться, если требуется заново проиндексировать страницу (поменялся адрес, добавился/обновился контент).

Как ускорить индексацию страниц сайта в поисковых системах?

3. Чтобы проделать манипуляцию описанную во 2-м пункте, только для поисковой системы Google, заходим в Search Console. Выбираем «Сканирование» и «Посмотреть, как Googlebot» -добавляем адрес новой страницы и нажимаем «Сканировать», после этого запрашиваем индексацию.

QIP Shot - Screen 166

Анализ индексации сайта

В завершении необходимо отметить, что даже после успешной индексации сайта в поисковых системах, на этом работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказать в ситуации, когда значительная часть трафика из органической выдаче просто исчезла.

Так случилось со многими старыми сайтами, которые использовали старые методы продвижения, после выхода алгоритма Яндекса Баден-Баден. При этом, Яндекс заранее сообщил о том, что запускает этот алгоритм и переоптимизированные страницы будут исключены из поиска, а тот же Google, никогда не сообщает о выходе новых алгоритмов. Поэтому только неустанный контроль позволит оставаться лидером тематики или стать им!

internet-marketings.ru

Краткая справка: что такое индексация сайта

Это добавление страниц ресурса в базу данных поисковой системы. Происходит это когда поисковый робот заходит на ваш сайт и проходится по всем страничкам, открытых для индексации в файле robots.txt.

Как проиндексировать сайт в Яндексе?

Это может быть сложнее, чем кажется. Российский поисковик работает не так быстро, как его бездуховный американский конкурент, поэтому иногда ему нужна помощь. Сначала разберемся с официальными инструкциями.

Для начала нужно убедиться, что сайт добавлен в Яндекс.Вебмастер. Если страница совсем новая, то добавьте ее.

Нажмите на кнопку, введите нужный URL и добавьте получившийся код к себе на страницу. Если подозреваете, что какие-то страницы «Яндекс» уже проиндексировал, проверьте это:

Вы здорово облегчите жизнь себе и поисковику, если добавите в «Вебмастер» карту сайта (файл Sitemap.xml). Сделать это можно в тут же:

Добавляя sitemap в «Вебмастер» вы отдаете поисковику список страниц вашего сайта. Это не гарантирует 100%-ю индексацию.

Как ускорить индексацию сайта в Яндексе?

Сделать нужно 3 вещи.

Первая – получить ссылки с других сайтов. Не важно, как вы их получите, главное, чтобы они были качественными. Если у вас уже есть рабочий сайт, то сошлитесь на новый ресурс с него, если нет – отправляйтесь на какую-нибудь хорошую биржу ссылок. А лучше сделать и то, и другое. Принцип работы здесь простой: если робот видит неучтенную ссылку на уже проиндексированном сайте, то переходит по ней и смотрит, на что же такое интересное ссылается страница. Хорошо, если сайты-доноры будут совпадать по тематике с вашим новым ресурсом. Сами ссылки можно размещать в комментариях под записями блога и на форумах (но только осторожно и чтобы все выглядело естественно).

Вторая – воспользоваться пинг-сервисом. Самый очевидный вариант – воспользоваться собственным инструментом «Яндекса». Описание сервиса говорит, что пригодится он в основном владельцам автономных блогов. Если у вас сайт на WordPress, то делать ничего не нужно – CMS все сделает за вас.

Третья вещь – разместить ссылки в соцсетях. Есть даже специальные биржи для постов в соцсетях, например twitterstock. Игнорировать «Фейсбук» и «Вконтакте» тоже не стоит.

Как переиндексировать сайт в Яндексе?

Переиндексация – это переобход уже проиндексированных страниц сайта в базу. Здесь работают те же методы, плюс, можно сделать перелинковку между новым и существующим контентом. Также с лета 2016 года «Яндекс» запустил сервис переобхода страниц. В него можно добавить до 10 URL в сутки, которые робот «Яндекса» принудительно посетит и скачает весь контент.

Индексация сайта в «Гугле»?

Здесь работает все то же самое, сперва нужно зарегистрировать сайт в аналоге «Вебмастера» – Google Search Console. Единственное отличие – вместо вставки кода на сайт нужно будет загрузить специальный файл. Затем загрузите карту сайта (sitemap.xml).

Если вы добавляете sitemap, Google сразу же учтет все страницы сайта. Если сделать все нужно срочно, воспользуйтесь способами, которые я описал выше – с «Гуглом» они работают так же прекрасно.

Как проиндексировать сайт в поиске Mail.ru?

Здесь такая же ситуация – все действия совершенно стандартны: зайдите в Кабинет вебмастера, добавьте ссылку на сайт, вставьте выданный код к себе на страницу, подтвердите и загрузите карту сайта. А затем работайте со ссылками, как и в случае с «Яндексом» и «Гуглом».

Как узнать, проиндексирован ли сайт в поисковиках?

Можно воспользоваться собственными сервисами ПС или отдельным инструментом, например webmasters.ru. В первом случае можно посмотреть, какие страницы сайта есть в выдаче «Яндекса», «Гугла» и «Мейла», а во втором – просто узнать их количество, зато быстро и без лишней возни.

Если пустить все на самотек, то быстро проиндексировать сайт в поисковых системах вряд ли получится – они сделают все как и когда хотят. Поэтому ПС нужно помочь: засветить ссылку на свою страницу в трастовых источниках и соцсетях (не перебарщивая). Так вы сможете ускорить индексацию и побыстрее перейти к продвижению ресурса. Если этого не сделать, то роботы поисковых систем обязательно до вас доберутся, но сайт будет «висеть» днями, неделями, а то и месяцами.

semantica.in

Как ускорить индексацию страницы в Гугле

Будем надеяться, что вам уже знаком инструмент от Гугл для вебмастеров — http://www.google.ru/webmasters/, если нет, то вот здесь я подробно его рассматриваю. Это очень полезный инструмент, который, при должном использовании, значительно улучшит ваш сайт.

Итак, выполняем следующее:

1. Авторизуемся

2. Выбираем нужный сайт, страницу которого будем индексировать

3. В левом меню выбираем пункт «Сканирование»

Как проиндексировать сайт

4. Выбираем пункт меню «Просмотреть как Googlebot»

Как ускорить индексацию страницы в Гугле

5. Вводим в текстовое поле адрес добавленной страницы и жмем кнопку «Сканировать»

Как ускорить индексацию страницы в Гугле

6. Новая страница появится в списке страниц сверху, жмем кнопку «Добавить в индекс»

Как ускорить индексацию страницы в Гугле

7. Появится диалоговое окно

Как ускорить индексацию страницы в Гугле

8. В диалоговом окне выбираем первый пункт и нажимаем кнопку «Отправить»

Как ускорить индексацию страницы в Гугле

9. В место кнопки «Добавить в индекс» теперь вы увидите фразу «URL отправлен для индексирования»

google-webmaster-indeksacia7

Это все, теперь ваша страница окажется в индексе гугла очень скоро. Время, через которое страница оказывается в индексе всегда разное. От нескольких секунд до нескольких часов.

Как ускорить индексацию страницы в Яндексе

У Яндекса нет функции добавления отдельных страниц как у гугла. Тем не менее есть способы ускорить индексацию и в Яндексе.

1. Первое что необходимо сделать — это зарегистрироваться, а затем авторизоваться в инструменте для вебмастеров от Яндекса — Яндекс.Вебмастер, для этого переходим по ссылке: https://webmaster.yandex.ru.

2. Добавим в ваш файл с картой сайта sitemap.xml вашу новую страницу.

3. В кабинете Яндекс.Вебмастер выбираем нужный сайт из списка добавленных сайтов (если сайт еще не добавлен, добавляем его).

4. Выбираем раздел «Настройка индексирования», далее подраздел «Файлы Sitemap» и указываем ссылку на ваш файл, выложенный у вас же на сайте.

5. Нажимаем кнопку «Добавить» и ваш сайт встает в очередь на добавление. Через несколько дней робот Яндекса перейдет по всем ссылкам из этого файла.

Это все что можно сделать для ускорения индексации с помощью Яндекс.Вебмастер. Но есть еще один хороший способ проиндексировать вашу новую страницу. Это публикация ссылки в твиттере, особенно хорошо если аккаунт популярный. Для этого можно прокачивать аккаунты самостоятельно, а можно покупать посты в прокаченных аккаунтах или даже сами аккаунту. Покупка поста стоит дешево, поэтому это самый простой способ быстро загнать страницу в поиск. Средняя стоимость поста в хорошем аккаунте, который регулярно индексируется Яндексом 10-20 руб.

Всегда оценивайте насколько вам необходимо срочное добавление поста в индекс Яндекса. Если результат нужен что называется вчера, то используйте оба этих метода. Если спешки нет, то первого метода вполне достаточно.

Не стоит также забывать, что индексацию страницы может ускорить любая ссылка на вашу статью с другого сайта, который регулярно индексируется Яндексом. А также ссылки с других страниц вашего сайта, особенно с главной.

Итоги. Что поможет ускорить индексацию

  • Добавление новой страницы в файл sitemap.xml, размещенный в корне вашего сайта и обновите его в инструменте Google Webmasters и Яндекс.Вебмастер.
  • Размещение ссылок на новые страницы с других страниц вашего сайта.
  • Размещение ссылок на новые страницы на популярных внешних ресурсах (форумы, блоги, страницы социальных сетей). Можно попросить друзей разместить временную ссылку на новую страницу на их сайте.
  • Добавление ссылки в социальных сетях, например на своей странице. Особенно хорошо в этом плане работает твиттер. Эта социальная сеть очень часто индексируется поисковиками, особенно гуглом.

vash-webmaster.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.