Индексация сайта в поисковиках

Я уже больше месяца я зарабатываю на продаже постовых в бирже GoGetLinks.net, так как там оплата только после индексации статьи с ссылкой,  мне очень нужно, чтобы она была быстрой. Сейчас она у меня не очень высокая, поэтому я решил разобраться в этой теме и для закрепления материала написать статью.

Сейчас у меня индексация в GoGetLinks упала до 11%, то есть ни один нормальный оптимизатор у меня не купит ссылку. В этом сервисе нужно, чтобы за 45 дней страница проиндексировалась Яндексом и после этого я получу деньги.

У меня есть рубрика Новости интернета, в которой статьи с рекламными ссылками, дабы вам не портить фид. Вот примеры статей из этой рубрики. (внутренняя перелинковка один из методов для того, чтобы попасть в индекс)

• Онлайн-обучение итальянскому языку
• Вы собрались приобрести автомобиль
• Шуроповерты в Минске для ванн
• Потеря волос от стрессов. Запоры у детей
• Продвижение сайтов в поисковых системах становится все более эффективным

Если не попадет в поисковую выдачу Яндекса, то придется размещать ссылки на уже проиндексированных старых страницах сайта.

Что такое индексация сайта

Индексация сайта — это добавление веб-страницы в базу поисковой системы. Если страницы проиндексирована, то попадает в поисковую выдачу, в противном случае, поисковик не знает о такой странице.

Поисковая система узнает о странице и добавляет в индекс, когда проходит своим «crawler» по сайту. Попасть он туда может в двух случаях:

• Вы сами сообщите поисковику о новой странице. (ниже будет инструкция как это сделать)
• Робот поисковиков найдет страницу по ссылкам на нее.

Сроки попадания в индекс разные. У меня довольно хороший блог по мнению Google, и страницы там индексируются все очень быстро за сутки. (как говорится, гугл все скушает). С Яндексом все не так, он может проиндексировать с главной почти сразу, а вот страницы поглубже долго не индексирует.  Основные неназванные сроки от 2 дней до 2 недель.

Больше всего не повезло молодым сайтам с малым количеством страниц. Самым новым и свежим сайтам попадание в индекс поисковиков кажется долгим событием.  И наоборот, чем больше страниц с уникальным контентом у сайте и выше его траст, тем лучше он индексируется.

Проверка индексации сайта

Есть много сервисов для проверки индексации страницы ваших сайтов. С помощью таких сайтов можно мониторить статус индекса, следить, чтобы все страницы попали в выдачу.

http://www.raskruty.ru/tools/index/ позволяет проверить индексацию конкретной страницы и всего домена целом сразу списком в Гугле и Яндексе. До 10 урлов в одном запросе.

http://xseo.in/indx большие возможности по проверки индексации сайтов по старым и новым методам. Поддерживаются списки, но индек конкретной страницы походу узнать нельзя, в отличии от первого сервиса.

Я ещё пользуюсь в быту RDS баром для проверки индекса сайта.

Как ускорить индексацию сайта

Все хотят быстрой индексации своего сайта в поисковиках и для этого нужно применить стандартные способы оптимизации сайта. Как и везде, есть бесплатные и платные методы. Начнем с бесплатных методов улучшения индексации сайта и перейдем плавно к платным.

Домены в зоне .ru лучше индексируются Яндексом. Если вы ещё не купили домен, но хотите хорошую индексацию от Яндекса, то советую покупать в зоне .ru (не буду говорить точно, но вроде индексирует быстрее, чем .com и другие)

Частота публикаций. Если на сайте долго не будет нового материала, то он будет менее актуальным, чем конкуренты. Частая публикация увеличивает страницы сайта и скорость индексации (наверное).

Robots.txt. Почти каждый сеошкольник знает о Роботсе на сайте, может быть даже не знаю что это и для чего нужен. Главное, чтобы страница для индекса не была закрыта (Disallow). Советую прочитать в блоге Яндекса в самом низу статьи.

Sitemap.xml. Must have для каждого блога. Карта со страницами вашего сайта помогает в ее индексации. У меня она создана с помощью плагина Google XML Sitemaps для WordPress. Существуют и онлайн-генераторы карты сайтов http://www.xml-sitemaps.com/

После создания ее нужно добавить в панели вебмастера Яндекса и Google. (в Яндексе обработка карты сайта занимает около 2 недель). Влияние карты доказано.

У меня она по стандартной ссылке находится и выглядит так https://bursin.ru/sitemap.xml

Можно ещё создать html карту сайта вроде такой https://bursin.ru/site-map/ (многие ставят ее потом в одном клике от главной для распределения веса, а мне она надоела). Делается с помощью плагина WP DS Blog Map

Пингуем сайт сервисами для пинга. После написания статьи, сайт автоматически говорит различным сайтам и  поисковикам, что у вас появилось что-то новенькое.

В админке WordPress надо зайти в «Параметры-> Написание» ( «Options -> Writing») и в поле «Сервисы обновления» вставляем вот этот список пинг-сервисов (более 100 урлов)

Есть онлайн сервисы для пинга

http://pingdevice.com/ быстрый и минималистичный пинг страниц списком.

http://247pinger.com/ в пару раз медленнее, но качественнее в 3 раза.

RSS. С помощью RSS ленты можно заметно улучшить индексацию сайта. Я пользуюсь http://feedburner.google.com и ещё все мои статьи автоматом идут в topsape.ru/reader (оттуда ещё и трафик идет хороший)

Ну вы поняли, добавляйте ленты в RSS-агрегаторы.

Хостинг. Сайт всегда должен быть доступен, если в момент индексации поисковым роботом сайт будет показывать 404, то страница не проиндексируется. И чем выше аптайм хостинга, тем лучше.

Внутренняя перелинковка. Ссылайтесь между статьями, каждая страница ссылается на главную, с главной есть ссылки на внутренние. Все страницы находятся не дальше, чем в 3 клика (волшебное число).

Вначале статьи есть ссылки на нужные статьи. Можно делать дайджест лучших материалов сайта (если они проиндексированы, то хоть трафик даст).

Короткие урлы. Урлы с большим количеством меток и символов может не прочитать робот Гугля и Яндекса, просто проигнорировать. Я стараюсь делать краткие урлы.

Социальные сети (Twitter, G+, fb, vk). Все эти пожиратели времени могут помочь в индексации, особенно Twitter-аккаунт популярный, можно ещё и ретвитов 20 заказать. И конечно же Google+ помогает.

Закладки. Старые добрые закладки. Ещё и трафика могут дать, если повезет. Тысячи их, вот примеры закладок:

http://bobrdobr.ru/

http://www.100zakladok.ru/

Существует много постеров по социальным закладкам и услуг по прогону. Я советую вот этот мини-сервис по прогону вашей ссылки http://sendez.ru/

Социальные новости. Почти тоже самое, что закладки, только заточенные как новости, но это не значит, что там нельзя разместить блог. Если получите много плюсов, то и трафик гарантирован.

Везде нужна регистрация. Примеры новостных коллективных сайтов:

http://www.news2.ru/

http://smi2.ru/

Анонсы постов. Чтобы закрыть тему с добавлением статьи и анонсированием ее на всяких сайтах, вот статья про продвижение сайта с помощью анонсов постов. Много полезных ссылок.

Купить внешние ссылки. Очень простой и очевидный вариант. Со страниц, у которых много PR и ТИЦ, есть в каталогах индексация лучше. Быстрее всего индексируется главная.

Написать статьи с ссылками на нужную страницу. Берем и пишем несколько статей с ссылкой на страницу для индекса и продвижения. Размещаем статьи на хорошо индексируемых сайтах, может купить на MiraLinks площадки или даже найти бесплатную по тематике.

Как альтернатива, существуют гостевые посты. Или, как советует Шакин, работать с популярными блоггерами: брать у них интервью, покупать постовые и будет у вас быстрая индексация.

Индексация сайта в Гугл

Чтобы добавить вашу страницу в индекс Google, надо сообщить корпорации добра о ссылке.

http://www.google.ru/addurl

Проверить страницу на индексацию можно, введя в поиск фразу, указав свой сайт вместо site.ru

«allinurl:site.ru/ site:site.ru»

Индексация сайта в Яндекс

Если вы хотите, чтобы ваш текст скушал Yandex, то сообщите ему ссылку, перейдя по адресу ниже.

http://webmaster.yandex.ru

Если нужно проверить индексацию в этой поисковой системе:

Перейдите по адресу, где site.ru будет нужным сайтом

http://yandex.ru/yandsearch?surl=site.ru&pag=u&numdoc=50&rd=0

Про индексирование сайта написано в блоге Яндекса.

Спасибо за прочтение моей статьи. Хорошего вам всем индексирования страниц.

bursin.ru

Управление приобщением

Индексирование сайта – сложный процесс. Чтобы им управлять (к примеру, запрещать приобщение той или иной страницы), нужно использовать файл robots.txt и такие предписания, как Allow, Disallow, Crawl-delay, User-agent и другие.

Также для ведения индексации применяют теги <noindex> и реквизит <nofollow>, скрывающие содержимое ресурса от роботов Google и «Яндекса» (Yahoo применяет тег <nofollow>).

В поисковой системе Goglle новые сайты индексируются от пары дней до одной недели, а в Яндексе – от одной недели до четырёх.

Вы желаете, чтобы ваш сайт показывался в запросах результатов поисковиков? Тогда он должен быть обработан «Рамблером», «Яндексом», Google, Yahoo и так далее. Вы должны сообщить поисковым машинам (паукам, системам) о существовании вашего веб-узла, и тогда они просканируют его полностью или частично.

Многие сайты не индексируются годами. Информацию, которая на них находится, не видит никто, кроме их владельцев.

Способы обработки

Индексирование сайта может выполняться несколькими способами:

1. Первым вариантом является ручное добавление. Вам нужно ввести данные своего сайта через особые формы, предлагаемые поисковиками.
2. Во втором случае робот поисковой машины сам находит ваш веб-узел по ссылкам и индексирует его. Он может разыскать ваш сайт по ссылкам с других ресурсов, которые ведут на ваш проект. Этот способ наиболее эффективен. Если поисковик нашёл сайт таким образом, он считает его значительным.

Сроки

Индексирование сайта происходит не слишком быстро. Сроки разные, от 1-2 недель. Ссылки с авторитетных ресурсов (с великолепным PR и Тиц) значительно ускоряют размещение сайта в базе поисковиков. Сегодня самым медленным считается Google, хотя до 2012 года он мог выполнять эту работу за неделю. К сожалению, всё очень быстро меняется. Известно, что Mail.ru работает с веб-узлами в этой области около полугода.

Индексирование сайта в поисковиках осуществить способен не каждый специалист. На сроки добавления в базу новых страниц уже обработанного поисковиками сайта влияет частота корректировки его контента. Если на ресурсе постоянно появляется свежая информация, система считает его часто обновляемым и полезным для людей. В этом случае её работа ускоряется.

За ходом индексации веб-узла можно следить на особых разделах для веб-мастеров или на поисковиках.

Изменения

Итак, мы уже разобрались, как происходит индексирование сайта. Необходимо отметить, что базы данных поисковиков часто обновляются. Поэтому количество добавленных в них страниц вашего проекта может меняться (как уменьшаться, так и увеличиваться) по следующим причинам:

• санкции поисковика к веб-узлу;
• наличие погрешностей на сайте;
• изменение алгоритмов поисковиков;
• отвратительный хостинг (недосягаемость сервера, на котором находится проект) и так далее.

Ответы «Яндекса» на обычные вопросы

«Яндекс» — поисковая система, которой пользуются многие пользователи. Она занимает пятое место среди розыскных систем мира по числу обработанных исследовательских запросов. Если вы в неё добавили сайт, он может слишком долго добавляться в базу.

Добавление URL не гарантирует его индексацию. Это лишь один из методов, с помощью которого сообщают роботу системы о том, что появился новый ресурс. Если на сайт отсутствуют ссылки с других веб-узлов или их немного, добавление поможет его быстрее обнаружить.

Если индексация не произошла, нужно проверить, не было ли на сервере сбоев в момент создания ему заявки от робота «Яндекса». Если сервер сообщает об ошибке, робот завершит свою работу и попытается её выполнить в порядке всестороннего обхода. Работники «Яндекса» не могут увеличить скорость добавления страниц в базу поисковика.

Индексирование сайта в «Яндексе» — довольно-таки сложное занятие. Вы не знаете как добавить ресурс в поисковую систему? Если на него имеются ссылки с других веб-узлов, то добавлять специально сайт не требуется – робот его автоматически разыщет и проиндексирует. Если у вас нет таких ссылок, можно использовать форму «Добавить URL», чтобы заявить поисковику о существовании веб-узла.

Необходимо помнить, что добавление URL не гарантирует индексацию вашего творения (или её скорость).

Многим интересно, сколько времени занимает индексирование сайта в «Яндексе». Сотрудники этой компании не дают гарантий и не прогнозируют сроки. Как правило, с тех пор, как робот узнал о сайте, страницы его в поиске появляются через два дня, иногда – через пару недель.

Процесс обработки

«Яндекс» — поисковая система, требующая точности и внимания. Индексация сайта состоит из трёх частей:

1. Поисковый робот выполняет обход страниц ресурса.
2. Содержимое (контент) сайта записывается в базу данных (индекс) розыскной системы.
3. Через 2-4 недели, после обновления базы, можно увидеть результаты. Ваш сайт появится (или не появится) в поисковой выдаче.

Проверка индексации

Как проверить индексацию сайта? Выполнить это можно тремя способами:

1. Введите наименование своего предприятия в строке поиска (к примеру, «Яндекса») и проверьте каждую ссылку на первой и второй странице. Если вы обнаружите там URL своего детища, значит, робот свою задачу выполнил.
2. Можно ввести URL своего сайта в розыскной строке. Вы сможете увидеть, сколько интернет-листов показывается, то есть проиндексировано.
3. Зарегистрируйтесь на страницах веб-мастеров в Mail.ru, «Гугле», «Яндексе». После того как вы пройдёте верификацию сайта, вы сможете увидеть и итоги индексации, и иные сервисы поисковиков, созданные для улучшения работы вашего ресурса.

Почему «Яндекс» отказывает?

Индексирование сайта в Google осуществляется следующим образом: робот в базу данных заносит все страницы сайта, некачественные и качественные, не выбирая. Но в ранжировании участвуют лишь полезные документы. А «Яндекс» весь веб-хлам исключает сразу же. Он может проиндексировать любую страницу, но поисковик со временем ликвидирует весь мусор.

У обеих систем имеется добавочный индекс. И у той, и у другой страницы низкого качества влияют на рейтинг веб-узла в целом. Здесь работает простая философия. Излюбленные ресурсы конкретного пользователя будут занимать более высокие позиции в его выдаче. Зато этот же индивидуум с трудом отыщет сайт, который ему в прошлый раз не понравился.

Именно поэтому сперва необходимо от индексации прикрыть копии веб-документов, проинспектировать наличие пустых страниц и не пускать в выдачу некачественный контент.

Ускорение работы «Яндекса»

Как можно ускорить индексирование сайта в «Яндексе»? Необходимо выполнить следующие шаги:

• Установить на компьютер браузер «Яндекса» и побродить с помощью него по страницам сайта.
• Подтвердить права на управление ресурсом в «Яндекс.Вебмастере».
• В Twitter опубликовать ссылку на статью. Известно, что с 2012 года «Яндекс» сотрудничает с этой компанией.
• Для сайта добавить поиск от Yandex. В разделе «Индексация» можно указать собственные URL-адреса.
• Ввести код «Яндекс.Метрики», не указывая галочку «Отправка страниц на индексацию запрещена».
• Изготовить файл Sitemap, который существует только для робота и не виден аудитории. Проверка будет начинаться именно с него. Адрес Sitemap вводится в robots.txt или в подходящую форму в «Вебмастере» — «Настройка индексации»-«Файлы Sitemap».

Промежуточные действия

Что необходимо выполнить, пока веб-страница «Яндексом» не проиндексирована? Отечественный поисковик должен считать сайт первоисточником. Именно поэтому ещё до публикации статьи обязательно необходимо добавить её содержание в форму «Специфичных текстов». В противном случае плагиаторы скопируют запись на свой ресурс и окажутся в базе данных первыми. В итоге признаны авторами будут они.

База данных Google

Для Google подойдут те же рекомендации, о которых мы рассказали выше, только сервисы будут иными:

• Google+ (взамен Twitter);
• Google Chrome;
• Google-приспособления для программистов – «Сканирование» — «Взглянуть как Googlebot» — опция «Сканировать» — опция «Добавить в индекс»;
• поиск внутри ресурса от «Гугла»;
• Google Analytics (взамен «Яндекс.Метрики).

Запрещение

Что собой представляет запрет индексирования сайта? Вы можете наложить его как на всю страницу, так и на отдельную её часть (ссылку или кусок текста). Фактически существует как глобальный запрет индексации, так и локальный. Как это реализуется?

Рассмотрим запрет добавления в базу поисковика веб-узла в Robots.txt. С помощью файла robots.txt можно исключить индексацию одной страницы или целой рубрики ресурса так:

1. User-agent: *
2. Disallow: /kolobok.html
3. Disallow: /foto/

Первый пункт говорит о том, что инструкции определены для всех ПС, второй указывает на запрет индексации файла kolobok.html, а третий — не разрешает добавление в базу всей начинки папки foto. Если нужно исключить несколько страниц или папок, укажите их все в «Роботсе».

Для того чтобы воспрепятствовать индексации отдельного интернет-листа, можно применить мета-тег robots. Он отличается от robots.txt тем, что даёт указания сразу всем ПС. Этот мета-тег подчиняется общим принципам формата html. Его нужно размещать в заголовке страницы между тегами <head><head>. Запись для запрета, к примеру, может быть написана так: <meta name=”robots” content=”noindex, nofollow”>.

Ajax

А как проводит индексирование Ajax-сайтов Yandex? Сегодня технологией Ajax пользуются многие разработчики веб-узлов. Конечно, у неё есть большие возможности. С помощью неё можно создавать быстродействующие и производительные интерактивные веб-страницы.

Однако робот поисковой системы веб-лист «видит» не так, как пользователь и браузер. К примеру, человек смотрит на комфортный интерфейс с подвижно подгружаемыми интернет-листами. Для поискового робота содержимое той же страницы может быть порожним или представленным как остальной статический HTML-контент, для генерации которого скрипты не идут в дело.

Для создания Ajax-сайтов можно применять URL с #, но его робот-поисковик не использует. Обычно часть URL после # отделяется. Это нужно учитывать. Поэтому взамен URL вида http://site.ru/#example он делает заявку главной странице ресурса, размещённой по адресу http://site.ru. Это значит, что контент интернет-листа может не попасть в базу данных. В итоге он не окажется в результатах поиска.

Для усовершенствования индексации Ajax-сайтов «Яндекс» поддержал изменения в поисковом роботе и правилах обработки URL таких веб-узлов. Сегодня веб-мастера могут указать поисковику «Яндекса» на необходимость индексации, создав соответствующую схему в структуре ресурса. Для этого необходимо:

1. Заменить в URL страниц символ # на #!. Теперь робот поймёт, что он сможет обратиться за HTML-версией наполнения этого интернет-листа.
2. HTML-версия контента такой страницы должна быть размещена на URL, где #! заменён на ?_escaped_fragment_=.

fb.ru

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс

Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

• Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
• Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
• CMS, чистота и валидность кода.
• Скорость обновления страниц.

Что такое краулинговый бюджет

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/. Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

• В первую очередь, это переходы собственно поискового бота по ссылкам: обычным (внутренним и внешним), из соц.сетей (FB, Twitter, ЖЖ).
• Вспомогательные источники: addURL, sitemap.xml.
• Поведенческая информация: Метрика, Яндекс.Браузер (Элементы), Chrome, прочие счетчики.
• Косвенные: регистрация в сервисах (Вебмастер, Директ, РСЯ, AdWords), упоминание домена без гиперссылки, регистрация домена, запросы в поиск.

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:znet.ru

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:znet.ru

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ — для Яндекс.

https://www.google.com/webmasters/ — для Google.

В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

Массовая проверка страниц на индексацию

Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

1. Заходим в файл распределения
2. Выделяем все урлы в столбце URL
3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

• Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
• Почаще добавлять новые материалы;
• Можно по самым дешевым запросам в своей тематике директ начать крутить;
• Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Дополнительные советы по улучшению индексации

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

• Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
• Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
• Скрываем от робота все ненужные/мусорные документы;
• Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
• Настраиваем работу сервера.

znet.ru

Что такое индексация

Под термином «индексация сайта» понимается процесс внесения поисковыми системами контента, содержащегося на странице, в базу данных поисковых машин. После попадания страницы в индекс, происходит обработка полученной информации. Через некоторое время происходит занесение сайта в поисковую выдачу, что позволит людям находить нужную информацию при введении в строке запроса.

Индексация сайта осуществляется специальными программами, которые именуются поисковыми роботами или «ботами». Именно они ответственны за сбор, поиск и анализ поступающей информации. Каждая поисковая система имеет своих ботов. Все они могут быть разделены на 4 основных типа по виду данных, оцениваемых при индексации страниц сайта:

1. Робот, который осуществляет занесение в индекс страниц ресурса.
2. Боты, занимающиеся сбором информации о картинках. Их цель – создание базы данных графического контента, который будет выдаваться при соответствующем поисковом запросе.
3. Роботизированные системы, проводящие создание базы «зеркал» интернет ресурсов. Задачей является индексация сайта через robot.txt. для определения главного зеркала, которое выводится в поисковой выдаче.
4. Роботы, занимающиеся проверкой доступности ресурса. Их основная задача – определение доступности сайта, который добавляется роботом посредством плагинов.

Существуют также боты, которые индексируют сайты по таким параметрам, как фавиконки, наличие «быстрого» контента. Особенностью работы индексации сайта в поисковых системах является периодическое обновление имеющегося материала. Если робот находит изменения имеющейся информации на страницах ресурса, то автоматически происходит удаление старых страниц и их замена новыми. В среднем длительность процесса составляет от 1 до 2 недель. Это связано с большим объемом обрабатываемой информации при индексации сайта онлайн.

Самостоятельное добавление сайта

Поскольку индексация сайта достаточно небыстрый процесс, то для его ускорения можно использовать ручное занесение страницы в индекс поисковых систем. Предварительно следует осуществить подготовку сайта к проведению его индексирования. Необходимо размещать на индексацию в Яндекс или Гугл законченные страницы. Иначе роботизированная система неправильно проведет их определение, что негативно скажется на рейтинге страницы или ранжировании ресурса в поисковой выдаче.

При подготовке сайта к индексации в Google или Яндексе следует обращать внимание на следующие моменты:

• оптимальным является создание страниц на HTML, поскольку применение flash файлов имеет ограничение по индексированию;
• на применение Java скриптов также накладываются запреты по индексации роботами, поэтому важную информацию следует дублировать текстовыми ссылками;
• предварительно проверяются внутренние ссылки на работоспособность, поскольку битая перелинковка может стать причиной того, что индексация сайта будет некорректной;
• продуманная структура и помещение второстепенных сведений вниз страницы или их сокрытие от ботов тэгами также позволит улучшить индексацию сайта в поисковых системах.

Самостоятельно добавление ресурса в индекс можно осуществить бесплатно при помощи сервисов для индексирования, которые предлагают все крупные поисковики:

1. Яндекс. Для внесения собственного ресурса в популярный поисковик, требуется вручную указать URL адрес в сервисе Яндекс.Вебмастер.
2. Google. Чтобы добавить сайт на индексацию в Гугле требуется зайти на search console (https://www.google.com/webmasters/tools/submit-url?pli=1) и ввести URL адрес добавляемого ресурса.
3. Rambler. Поисковая система не имеет собственной формы, поэтому для ручного добавления страницы ее следует внести в сервис от Яндекса.
4. Mail. Еще одна крупная система, которая позволяет проводить процесс индексирования через кабинет Вебмастера. Для полноценного использования сервиса требуется авторизация.

Как ускорить индексацию сайта платно и бесплатно

Ускорение процесса внесения в базу данных ресурса позволяет улучшить его показатели в поисковой выдаче. Существуют платные и бесплатные способы. Для бесплатного ускорения требуется провести внутреннюю оптимизацию ресурса. Потребуется выполнение следующих действий:

• создание карты сайта. Она формируется в виде файла с расширением XML. Для облегчения процесса можно воспользоваться бесплатными генераторами;
• организация RSS-трансляции материалов, что позволит размещать анонсы на сторонних ресурсах;
• опубликование статей в каталогах;
• проведение грамотной внутренней перелинковки;
• нужно избегать выпадающих меню и применения flash фрэймов;
• выбор правильного доменного имени. Поисковые системы «не любят» зоны типа .inf или .org.

Для проведения платной индексации сайтов в РФ можно воспользоваться специализированными сервисами по закупке ссылок или размещением собственных статей с кросслинками на индексируемый ресурс на биржах с аналогичным материалом.

Проверка вхождения страницы в базы данных

Можно проверить индексацию страницы сайта при помощи специальных надстроек в браузере, например, RDS Bar. Еще есть возможность прямого обращения к поисковой системе, в которой требуется осуществить частоту вхождения индекса сайта в базу данных:

1. Google. На главной странице следует вбить в строку поиска команду следующего вида: site:название домена. Отображаемая информация покажет количество страниц, которые были проиндексированы поисковиком.
2. Яндекс. Проверка индексации сайта осуществляется на главной странице Яндекс. Каталога. Потребуется ввести просто название домена и нажать кнопку «Найти».

vawilon.ru

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

1. Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете — этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
2. Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы — и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

• поисковый робот находит портал и изучает его содержимое;
• полученная информация заносится в базу данных;
• примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

1. при помощи инструментов для вебмастеров — google.com/webmasters или webmaster.yandex.ru;
2. при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл — site: имя сайта+домен;
3. с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

1. операторы поисковых систем — смотрим в справке или тут;
2. услуги специальных сервисов, например rds бар;
3. Яндекс вебмастер;
4. Google вебмастер.

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

1. Добавить сайт в поисковую систему.
2. Регулярно наполнять проект уникальным и полезным контентом.
3. Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
4. Размещать ресурс на быстром и надежном хостинге.
5. Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
6. Проверить на наличие ошибок, количество ключевых слов.
7. Сделать внутреннюю перелинковку (ссылки на другие страницы).
8. Разместить ссылки на статьи в социальных сетях, социальных закладках.
9. Создать карту сайта, можно даже две, — для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации — запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

• При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
  Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

    User-agent: *

Disallow: /

• При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

<meta name=»robots» content=»noindex, nofollow»/>

Можно создать запрет для конкретного робота:

<meta name=»googlebot» content=»noindex, nofollow»/>

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация — это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации — внесение информации в базу данных поисковых систем.

semantica.in

Индексация сайта

Итак, что же такое индексация сайта? Под индексацией сайта понимается процесс обхода поисковыми роботами страниц сайта. В процессе индексации информация о содержимом конкретных страниц сайта заносится в базу данных поисковой системы. База данных поисковой системы хранит текст страницы, изображения, исходящие ссылки и т.д. Таким образом, сайт может появиться в результатах поиска только после того, как его проиндексирует поисковая система.

Для того, чтобы поисковая система узнала о существовании вновь созданного сайта существует два пути или способа:

1. Ручное добавление сайта через специальную форму поисковой системы. О том, как добавить сайт в поисковые системы вручную читайте здесь. В данном случае, мы сами сообщаем поисковой системе о новом сайте. В результате этого сайт попадает в очередь на индексацию поисковой системой. При ручном добавлении сайта необходимо указывать только главную страницу сайта. Все остальные страницы будут найдены поисковой системой по ссылкам меню, карты сайта и т.д. Данный способ, как правило, требует от нескольких дней до 2-3 недель времени.

2. Самостоятельное нахождение сайта поисковой системой. Этот способ работает в случае, если сайт имеет хотя бы одну активную ссылку с любого другого ресурса, посещаемого поисковым роботом. Соответственно, чем большее количество ссылок имеет сайт, тем больше вероятность того, что поисковик в скором времени его найдет. Рекомендуется использовать именно этот способ — получить несколько внешних ссылок и дождаться прихода поискового робота на сайт. В данном случае, индексация сайта поисковыми системами может быть ускорена.

Советы для правильной индексации

Время индексации сайта зависит от конкретной поисковой системы. Как правило, индексация сайта может занять от нескольких дней до нескольких недель. Быстрее всех индексация сайтов происходит у поисковой системы Google.

Для правильной и оперативной индексации необходимо учитывать следующие моменты:

1. Необходимо использовать карту сайта. Карта сайта — это одна из страниц сайта, которая выполняет роль «содержания» обычной книги. Она позволяет поисковым системам получить быстрый доступ ко всем страницам сайта. О том, как создать карту сайта можно почитать здесь.

2. Поисковые системы индексируют не более 100-200 кб текста на странице. Поэтому, в случае, если страница имеет более большой объем текста, проиндексируется только начало страницы (верхняя часть, первые 100-200 кб текста).

3. Поведением поисковых роботов можно управлять с помощью файла robots.txt, в котором можно запретить для индексации определенные страницы сайта.

4. Определенные части страницы могут быть скрыты от индексации с помощью тега <noindex> и конструкции <rel=»nofollow»>, которые запрещают индексацию, соответственно, в поисковых системах Яндекс и Google.

5. Поисковые системы периодически обновляют свои базы. Записи базы данных поисковиков могут изменяться, исчезать и снова появляться, поэтому количество проиндексированных страниц конкретного сайта может тоже меняться.

6. Бывают случаи, когда из индекса поисковой системы выпадают те или иные страницы сайта. Причин того, что одна или несколько страниц сайта выпали из индекса поисковой систем может быть несколько. Одна из наиболее распространенных — недоступность сервера (хостинга) во время прихода поискового робота на сайт.

7. Нужно помнить простое правило — чем больше внешних ссылок имеет сайт, тем быстрее происходит его индексация поисковыми системами.

8. Для того, чтобы отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых производятся записи о времени и дате захода поисковых роботов на сайт.

siteblogger.ru

Индексация сайта это

Индексация сайта это обнаружение сайта поисковыми роботами ( поисковиками) и занесение главной и других страниц сайта в свою базу данных. До того, как ресурс появится в результатах поиска, поисковая система должна его сначала проиндексировать, а потом, выбрав по своим алгоритмам, полезные страницы, занести их в поисковый индекс.

Понятие индексации сайта можно разделить на три отдельных понятия:

1. Индексация всего сайта – обнаружение сайта, как Интернет ресурса, поисковиками;
2. Индексация страниц сайта – занесение найденных страниц в базу данных поисковиков;
3. Поисковая индексация – фильтрация всех страниц сайта по своим алгоритмам и добавление отфильтрованных страниц в поисковый индекс (поисковую выдачу).

Уже потом следует ранжировние (выстраивание) страниц в поисковой выдаче, поднятие страниц в Топ выдачи и т.д.

Первый шаг, взаимодействия с поисковиками это индексация всего сайта, о чем и пойдет речь в этой статье. 

Индексация сайта как Интернет ресурса

Первым шагом продвижения сайта в поисковой выдаче, это «знакомство» поисковиков с сайтом, как новым Интернет ресурсом. А проще, вы должны сообщить поисковикам ( Яндекс, Google, Bing, Mail.ru, Rambler)  о появлении в сети вашего ресурса (сайта, блога, форума, портала).

Большая часть средних сайтов (с количеством страниц от нескольких десятков до нескольких сотен) как правило, не имеют проблем с индексацией сайта и его страниц поисковиками. Однако, есть, некоторые моменты, которые необходимо учесть, когда вы работаете над своим ресурсом.

Два пути индексации сайта

Есть два пути, с помощью которых поисковая система узнает о новом ресурсе и начнется индексация сайта:

1. Добавление адреса ресурса с помощью специальной формы поисковой системы вручную. Сообщение для поисковой системы о новом сайте исходит от вас лично, и адрес сайта встает в очередь на индексацию. При ручном способе надо добавить только главную страницу ресурса, остальные поисковый робот найдет по ссылкам.

2. Для того чтобы сообщить поисковикам о новом ресурсе, нужно обязательно воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools, Nigma.ru. [/su_quote] 3. Предоставление поисковому роботу самому найти ваш ресурс. Это возможно в том случае, если с других ресурсов (которые уже были проиндексированы поисковой системой) на ваш сайт есть хотя одна внешняя ссылка. Этот вариант рекомендован к использованию в большинстве случаев: просто получите некоторое количество внешних ссылок на ресурс и дожидайтесь прихода робота. Добавление сайта вручную в некоторых случаях даже удлиняет срок ожидания робота.

Как правило, первичная индексация сайта занимает от 2-3 дней до двух недель и это зависит от системы поиска. Самая быстрая система в плане индексации сайтов – это Google.

Дружелюбность сайта для поисковиков

Стремитесь к тому, чтобы ваш сайт стал для поисковых роботов дружественным. Для этого обращайте внимание на следующие моменты:

1.  Доступность по ссылкам с главной страницы на любые другие страницы вашего ресурса не должна быть длиннее, чем в 3 перехода. Если структура вашего сайта такова, что это невозможно, сделайте карту сайта и ориентируйте ее на выполнение указанного правила;

2. Учитывайте распространенные ошибки. Индексация сайта затрудняется, если на страницах сайта используются идентификаторы сессий. Если ваша навигация идет через скрипты, то делайте дубликаты ссылок стандартным образом – поисковики не читают скрипты ( более подробная информация обо всех ошибках изложена в главе 2.3);

3. Не забывайте, что под индексацию поисковиками на странице попадает не более 100-200 кб текста. Если объем страницы больше, то проиндексированы будут только первые 100-200 кб со страницы, то есть ее начало. Правило гласит: если хотите, чтобы страницы были проиндексированы целиком, делайте их объемом не более 100 кб.

Закрытие от Индексации

Специальный файл robots.txt создан для управления поведением поисковых роботов. Он позволяет запретить или разрешить индексацию тех или других страниц. Еще существует тег «NOINDEX» , с помощью которого можно закрыть для индексации части страницы, но этот специальный тег поддерживают только российские поисковые системы. Тег «NOFOLLOW» закрывает ссылки от индексации «не нашими» поисковиками (google, bing).

Важно! С помощью тега nofollow можно закрыть только ссылку. Тегом noindex можно закрыть  кусок текста. Так если не закрыть тег  noindex, то весь текст после него не будет индексироваться поисковиком Яндекс.

Количество страниц вашего ресурса, проиндексированных поисковыми роботами, может меняться: базы данных поисковиков регулярно обновляются, меняются записи в базе (исчезают и снова появляются).

Если сервер был недоступен, а поисковый робот попытался ресурс проиндексировать и не получил к нему доступ, то страница вполне может исчезнуть из индекса. Когда сервер опять заработает, ресурс должен снова через какое-то время появиться в индексе.

На скорость переиндексации также влияет количество внешних ссылок : чем их больше у вашего ресурса, тем быстрее происходит переиндексайия.

Для того чтобы узнать, как протекает индексация сайта, можно проанализировать лог-файлы сервера (в них записываются визиты поисковых роботов) или воспользоваться специальными сервисами для веб мастеров: Яндекс.Вебмастер, Google Webmaster Tools, Webmaster.mail, Bing Webmaster Tools. Для контроля за индексацией странц сайта есть специальные online инструменты. Подробно о них , я расскажу в соответствующем разделе.

©www.wordpress-abc.ru

www.wordpress-abc.ru

Почему при индексации стоит, прежде всего, ориентироваться на Гугл и Яндекс

Поисковые системы Яндекс и Google зарекомендовали себя как лучшие и, соответственно, популярные поисковые системы.

Это обусловлено тем, что уровень развития основных характеристик «поисковиков» превосходит все остальные представленные на сегодняшний день системы:

• Точность — насколько найденные системой документы соответствуют запросу. Например, при введении пользователем в строку поиска «купить шубу» «поисковик» выводит 90-100% процентов с приведенным невидоизмененным сочетанием этих слов. Чем выше процент схожести, тем лучше.
• Полнота — количество документов, относительно всех имеющихся в сети по этой теме, которые выдает пользователю система. Если всего в сети условно находится 100 документов по вопросу «Еда для ребенка 1 года», а «поисковик» предоставил к рассмотрению всего 70, полнота будет равна 0,7. «Выигрывает» система поиска с большим значением.
• Скорость поиска связана с техническими характеристиками и возможностями каждого «поисковика». Чем она выше, тем больше пользователи будут удовлетворены работой системы.
• Наглядность поиска — это качество представления информации по запросу, подсказки системы относительно тех документов, которые нашлись по запросу. Это наличие упрощающих работу элементов на странице выдачи результатов.
• Актуальность — характеристика, обозначающая временной промежуток между получением информации и занесением в базу индекса. У крупных поисковиков существует так называемая «быстрая база», позволяющая в сжатые сроки индексировать новую информацию.

livesurf.ru