Что такое индексация сайта

Приветствую всех! Сегодня тема важная. Да.

1. Индексация страниц сайта: что это такое и для чего нужна индексация?
2. Как проверить, проиндексирован ли сайт/страницы сайта?
3. Как ускорить индексацию страниц сайта?
4. Почему поисковые системы не индексируют страницы сайта?

---

Что такое индексация страниц сайта? Зачем сайту индексация? Зачем страницам сайта быстрая индексация?

При индексировании страницы сайта поисковые роботы просматривают содержимое этой страницы и заносят ее в базу данных поисковика. При наличии внутренних ссылок робот переходит и на другие материалы этого же сайта и индексирует их либо обновляет данные в базе.

Послушайте внимательно. Каждый день новые материалы на вашем сайте, которые вы только написали, но которые медленно индексируются, теряют свою уникальность. Почему? Это происходит из-за великого множества сайтов вашей тематики, плюс ежедневно появляются новые сайты, блоги, порталы и они должны наполняться статьями.

Открываю вам глаза:

РАЗ: 99% новых (и старых… очень старых) сайтов публикуют рерайты с других ресурсов, а потому каждая новая написанная статья хоть и немного, но будет похожа на вашу (в скором времени на некоторые темы вообще невозможно будет написать уникальный материал, а значит это в порядке вещей), а отсюда следует, что ваша не проиндексированная статья уже не такая и уникальная будет в момент ее индексации.

ДВА: Есть сайты, на которых админы могут быть злостными нарушителями авторских прав, т.е. они возьмут с вашего неокрепшего сайта уникальную не проиндексированную статью и разместят на своем старом трастовом сайте, короче, нагло сопрут ее, загонят в индекс, поисковые системы ее проиндексируют, посчитают ее оригиналом, а вам останется ПС доказывать что вы не верблюд…

Индексация нужна для подтверждения авторства материалов, размещенных на сайте, и для скорейшей их выдачи при поисковом запросе от пользователя. Ускорить индексацию особенно важно для молодых ресурсов, так как при наличии уникального контента они рискуют стать мишенью для интернет-разбойников.

Например, вы разместили отличный материал, но поисковый робот заглянет к вам только через неделю… За это время какой нибудь жуликоватый вебмастер, владеющий схожим по тематике сайтом или блогом, зайдет к вам в гости, скопирует вашу уникальную статью себе на страницу и проиндексирует ее за несколько часов. Робот присвоит авторство мошеннику, а когда попытается проиндексировать статью на вашем сайте, натолкнется на неуникальный контент. Это прямой путь к бану сайта. Такие вот дела, господа.

Несколько статей по теме воровства статей:

1. Как защитить контент от воровства
2. Оригинальные тексты в Яндекс.Вебмастер

Индексация важна если вы в погоне за трафиком. Т.е. чем быстрее статья проиндексируется, тем быстрее ее станут находить через поисковые системы.

Индексация крайне важна если вы торгуете ссылками в GGL (Gogetlinks). На бирже правило, пока статья с размещенной ссылкой не проиндексируется, вы не получите денег. А значит, нужно как можно быстрее загонять в индекс все новые статьи.

В целом и общем, как вы надеюсь сообразили, в условиях высокой и жесть какой конкуренции, одна из первоочередных важностей приобретает скорость индексации страниц вашего сайтов.

Прежде чем включать механизмы ускорения индексации, необходимо подготовить сайт для поискового робота:

• уберите все дубли адреса главной страницы. Если сайт называется blog.com, то робот не должен натыкаться на blog.com/index.html или подобное.
• избавьтесь от «битых» ссылок.
• на каждую страницу вашего сайта пользователь должен переходить не более чем за три клика, и с каждой страницы посетитель должен иметь возможность уйти на главную в один клик.
• создать правильный файл robots.txt, запрещающий индексацию лишних материалов.
• пересмотрите контент. Он должен быть уникальным, иначе ваш сайт могут забанить за плагиат.

Как проверить, проиндексирован ли сайт/страница?

• Самый простой способ проверить индексацию страницы – ввести ее URL в строку поиска Яндекса/Гугла. Она появится в результатах выдачи, если ПС ее проиндексировали в внесли в свою базу.
• Также можно проверять индексацию сайта с помощью различных интернет-сервисов. Например, http://www.seolib.ru/script/extlfree/
• Индексацию сайта в Яндексе можно проверить в панели вебмастера этой поисковой системы: webmaster.yandex.ru.
• Посмотреть, проиндексирована ли страница можно с помощью расширения для браузеров RDS bar.

Если страница еще не попала в БД поисковых систем, есть смысл позаботиться о ее скорейшей индексации.

Медленная индексация: как ускорить?

Существует множество способов ускорения индексации. Некоторые действительно помогают, а некоторые следует использовать только «на всякий случай». Рассмотрим самые эффективные:

 

1. ПИШИТЕ ЧАЩЕ! Роботы ПС будут «жить» на вашем сайте. Иногда, не получается писать часто, чего уж греха таить…
2. После написания статьи публикуйте ссылку во все социальные сети. Для этого у вас должны быть на сайте кнопки социальных сетей
3. Используйте аддурилки (add URL) поисковых систем. Написали статью, опубликовали, скопировали ссылку и добавили в аддурилки. Аддурилка Яндекса — http://webmaster.yandex.ru/addurl.xml Аддурилка Гугла — https://www.google.com/webmasters/tools/submit-url?pli=1
4. Создайте карту сайта и для поискового робота, и для пользователей. Добавьте  карту сайта в панель вебмастера поисковой системы. Карту сайта для людей поможет сделать плагин для WordPress – DDSitemapGen, а для поисковой системы – плагин Google XML Sitemaps.
5. Делайте анонсы в социальные сети для вебмастеров. http://subscribe.ru, http://webice.ru/, http://grabr.ru/, http://postpr.ru/ Этим вы не только ускорите индексацию записи, но и увеличите посещаемость вашего сайта. Также постите анонсы в ВК и FB — это существенно ускорит индексацию ваших страниц. Чтобы не искать подходящие паблики вручную — используйте SEO-модуль системы SeoPult.
6. Сделать внутреннюю перелинковку сайта. В каждой статье должно быть две или больше ссылок на другие статьи с этого же сайта. Так поисковый робот сможет проиндексировать все новые материалы и обновить старые.


7. Оставлять ссылку на статью на форумах, где постоянно общаетесь – в теле комментария или в подписи.
8. После публикации статьи сделайте прогон по социальным сетям. Это покупка ретвитов и лайков в фейсбук (Яндекс начал индексировать Facebook), ВКонтакте и Гугл+. Я прогоняю по соц сетям через Форумок (Статья о важности Форумка) Этим шагом не только ускорите индексацию, но и увеличите посещаемость сайта и ранжирование в выдачи. Сделайте на Форумке шаблон один раз, и затем прогон каждой новой статьи будет осуществляться за пол минуты (как сделать шаблон).  Плюс почитайте статью как Твиттер влияет на раскрутку вашего сайта — статья тут
9. Если у вас сайт на WordPress, то добавьте несколько сервисов для обновления (пинг адресов) через админку WordPress. Идем: Админка → Параметры → Написание → Сервисы обновления и вставляем в форму вот эти адреса и жмем «Сохранить изменения»

     http://rpc.pingomatic.com/  http://blogsearch.google.ru/ping/RPC2  http://blogsearch.google.com/ping/RPC2  http://ping.blogs.yandex.ru/RPC2  

   

10. Разместить сайт на качественном хостинге (Рекомендую хостинг Бегет. Вот полный обзор хостинга)

Выпадение сайта из индекса поисковой системы или почему поисковые системы не индексируют страницы сайта?

Бывает так, что все затраченные на ускорение индексации сайта усилия пропали даром и сайт (страницы сайта) выпал из индекса. Почему так происходит?

• Первая причина – неразумная продажа ссылок с сайта. На одну статью должно приходиться не более двух ссылок на сторонние ресурсы, желательно одной тематики с вашим.
• Тексты должны быть длиннее 2000 символов без пробелов, иначе со временем их уникальность станет практически нулевой, и страница со статьей выпадет из индекса.
• Flash и Java ссылки
• Запрет в Robots.txt
• Бан сайта поисковыми системами
• Запрет в мета-тегах
• Вход на страницы через заполнение форм
• Неуникальный контент
• Хостинг работает с частыми перебоями

Быстрая индексация сайта – это база для поискового продвижения. Чем быстрее страница попадет в результаты выдачи, тем больше пользователей посетит ваш сайт, и тем выше вероятность, что они купят что-либо (если вы оказываете услуги или производите товары). Вывод прост: чем быстрее индексация, тем больше вы зарабатываете.

Удачи!

aimblog.ru

Индексация сайта в Яндексе

Что бы добавить сайт для индексации в Яндекс (Yandex.ru) достаточно вести его адрес в специальную форму addurl (англ. addurl — добавить URL). Вебмастера прозвали ее адурилкой. Находится она тут: webmaster.yandex.ru/addurl.xml

Для добавления сайта на индексацию достаточно ввести url главной страницы и капчу. Капча — это несколько цифр, которые защищают от автоматических регистраций. После того как вы нажмете кнопку «добавить» возможно несколько вариантов развития событий.

1) Сообщение «ваш сайт добавлен» сигнализирует об успешном добавлении ресурса в очередь на индексацию в Яндекс.

2) Если появилась надпись «Ваш хостинг не отвечает» — значит, ваш сервер лежит в этот момент. Можно попробовать добавить сайт позже или найти более качественный хостинг.

3) А вот если появилось сообщение, что «указанный URL запрещен к индексации» то дела плохи. Это говорит о том, что на ваш ресурс наложены санкции в виде бана сайта. Вполне возможно, что на купленном вами домене уже когда-то был сайт, который и получил санкции. При помощи addurl вебмастера часто проверяют сайты на бан в Яндексе.

Индексация сайта в Google (Гугле)

Следующая по значимости для нашего сайта идет поисковая система Google (Гугл). Процесс добавления на индексацию сайта в Google точно такой-же как на Yandex. В Гугле тоже есть своя адурилка, которая расположена по адресу: https://www.google.com/webmasters/tools/submit-url.

Так же надо ввести капчу при добавлении. Но есть два отличия. Если в Яндексе можно просто добавить урл без лишних телодвижений, то в Google надо быть залогиненым в своем аккаунте. Иначе не получится. Соответственно если аккаунта у вас там еще нет, его придется завести. Второе отличие Google от Яндекса это скорость индексации. Google очень быстро индексирует сайты.

Индексация сайта в Рамблере (Rambler.ru)

Конечно, Рамблер уже не тот, что раньше, как скажут многие, и дает совсем немного трафика. И все равно, зачем им пренебрегать? Процесс индексации сайта в Rambler самый затяжной, среди других отечественных поисковых систем. Да и его адурилка уже давно не работает, она была по адресу: robot.rambler.ru/cgi-bin/addsite.cgi

Он уже давно использует поисковую базу Яндекса. Поэтому, что бы попасть в индекс Rambler.ru достаточно добавиться в Яндекс.

Индексация сайта в Mail.ru (Майл)

Поисковая система Mail.ru тоже имеет кабинет вебмастера. Добавление сайта на индексацию в Mail.ru происходит через форму addurl, которая расположена по адресу: go.mail.ru/addurl

Причем как и у гугла, что бы сделать заявку на индексирование, нужно завести свой аккаунт и войти в него. Иначе не выйдет. Майл в последнее время старается развивать свои собственные инструменты для вебмастеров.

Выше мы рассмотрели основные отечественные поисковики, в которых нам желательно проиндексировать свой сайт. Идущие далее ПС приведу скорее для вашей общей SEO-эрудиции, чем для конкретных действий.

Поисковая система Aport.ru (Апорт)

Aport.ru когда-то был поисковой системой, со своей индексной базой и адурилкой. Сейчас из него сделали товарный поисковик, в котором можно сравнивать цены на товары и услуги.

Поисковая система Nigma.ru (Нигма)

Nigma.ru это наша русская интеллектуальная поисковая машина. Суммарный объем ее трафика порядка трех миллионов запросов в сутки. Очевидно, что не надо пренебрегать трафиком из Нигмы. Добавить свой сайт на индексацию в Нигму можно на странице nigma.ru/index_menu.php?menu_element=add_site.

Медиа навигатор Tagoo.ru

Система Tagoo.ru представляет собой медийный поисковик, который ищет медиа данные. Это музыкальный контент, видеоролики и программы. Что бы ваш сайт был проиндексирован системой Tagoo, нужно воспользоваться формой добавления: tagoo.ru/ru/webmaster.php?mode=add_site.

Поисковая система Turtle.ru (Черепаха)

Международный поисковик Turtle (Черепаха) осуществляет поиск по странам СНГ на любом языке. Для индексации принимаются ресурсы расположенные на таких доменных зонах как: ru, su, ua, am, az, ge, by, kz, kg, uz, md. Что бы добавить сайт на индексацию в черепахе нужно воспользоваться адурилкой: http://www.turtle.ru/add.html. Желательно дождаться вывода сообщения о принятии вашего сайта. Может не добавить, а вы и знать не будете.

Зарубежные поисковые системы

Если выше были отечественные поисковые системы, то ниже будет список зарубежных поисковых систем.

Поисковая система Yahoo.com (Яху)

Yahoo это один из первых поисковиков, появившихся в Интернет. Про нее слышали наверно все люди, так или иначе связанные с Интернетом. Добавить сайт в Яху можно тут search.yahoo.com/info/submit.html.

Поисковая система Bing.com (Бинг)

Поисковая система Bing принадлежит корпорации Microsoft и была создана на замену Live Search. Майкрософ надеется, что новое детище окажется намного популярнее предшественника. Если вы хотите индексации своего сайта ПС Bing.com, это это можно сделать на странице http://www.bing.com/toolbox/submit-site-url.

Украинские поисковые системы

И в заключении моего обзора приведу две популярных поисковых системы на Украине.

Украинская поисковая система Meta.ua (Мета)

Что бы добавить свой сайт на индексацию в поисковую систему Meta там сначала надо пройти регистрацию. После того как вы войдете в свой аккаунт, добавить сайт можно будет на странице web.meta.ua/?action=add. Правда поисковиком принимаются только украинские web-сайты.

seob.info

Что такое поисковая индексация сайта

Поисковой робот (то есть, виртуальная программа) посещает страницы сайта и читает информацию, которая на них написана. Потом она заносится в базы данных поисковиков и используется для ранжирования.

Поисковой робот может узнать о новом сайте двумя способами: через ссылку на том сайте, который ему уже известен, или если вебмастер специально добавил свой сайт в индексацию. О том, как это сделать, узнайте здесь.

Робот приходит периодически, поэтому поисковая индексация сайта всегда актуальна. То есть, если что-то изменится на страницах вашего проекта, или добавятся новые страницы, робот об этом скоро узнает и учтёт.

Как сделать, чтобы поисковая индексация прошла успешно

Для того чтобы поисковая индексация всегда проходила успешно и была качественной, необходимо соблюдать следующие требования:

• Сайт должен быть всегда доступен. Если индексирующий работ придёт на сайт, а он будет недоступен, страница не попадёт в поиск. Если это будет повторяться часто, траст сайта понизится.
• Сайт должен быстро загружаться. Если страницы сайта загружаются слишком медленно, то произойдёт то же самое, как если бы они были бы не доступны.
• На страницах сайта должен быть качественный контент. Если контент не качественный, то поисковая индексация сайта приведёт к наложению фильтров на данную страницу, и она вылетит из поиска.
• Чем чаще вы публикуете новые материалы, тем чаще приходит к вам поисковый робот, тем быстрее будут индексироваться страницы. Соответственно, чем реже – тем медленнее.

Значение индексации сайта

Итак, теперь понятно, что представляет собой поисковая индексация сайта, и как она происходит. Рассмотрим, какое значение она имеет.

Как мы уже знаем, индексация позволяет поисковикам узнать о страницах сайта. Чем больше качественных страниц сайта в поиске, тем больше вероятность того, что посетитель попадёт к вам. Поэтому перед вебмастером стоят две главные задачи – писать часто качественные статьи и поддерживать нормальное, работоспособное техническое состояние сайта.

wpuroki.ru

Индексация сайта — это процесс сканирования Вашего сайта поисковыми роботами и внесения всей полученной информации (текстов, ссылок, изображений и так далее) в базу поисковой системы. Соответственно, для того, чтобы Ваш сайт появился в результатах выдачи поисковой системы, он должен быть проиндексирован и добавлен в базу. Эта база и называется “индекс”. До тех пор, пока роботы поисковой системы не проиндексируют Ваш сайт, его в поисковой выдаче не будет, а это, в свою очередь, означает, что пользователи не смогут найти Ваш сайт.

Поисковая система осуществляет индексирование сайта с помощью поисковых роботов. Поисковые роботы — программы автоматизированного получения данных, бороздящие сеть в поисках информации и ссылок на информацию. Поисковый робот обращается по протоколу HTTP к серверам, на которых хранятся страницы сайта, и получает в ответ тело страниц. Робот подчиняется указаниям, прописанным в файле robots.txt , который лежит в корневой папке сервера. В robots.txt указывается, какие страницы запрещены к индексации роботом.

После обработки документа модулями робота, документ анализируется html-парсером, который оставляет только самое нужное и весомое для поиска: текст, оформление, ссылки и адреса. Все это при поиске будет влиять на ранжирование странички.

После обработки парсером происходит индексирование документа. При этом используются алгоритмы морфологического анализа. В конце концов, документ инвертируется и добавляется к основному индексу. Управление роботом поисковой системы ограничено и заключается, в основном, в установлении запретом на индексацию некоторых страниц сайта. На само расписание робота, на частоту его посещения можно лишь оказывать косвенное влияние.

Поисковый робот посещает страницу сайта исходя из того, как часто изменяется содержание этой страницы. На часто обновляемые страницы робот может ходить каждый день и даже чаще. Например, если это страница новостного сайта. Когда же страница изменяется нечасто, то робот посещает ее один-два раза в неделю. Те страницы, содержимое которых не меняется, все равно посещаются роботом, однако очень редко, не более трех раз в месяц.

При этом за один заход робот запрашивает не более 20-30 страничек с сайта. Это связано с тем, что роботы стараются не загружать сервер своими запросами. На сайт с большим количеством страниц робот ходит часто и каждый раз берет только небольшую «порцию» страниц.

Робот – это один из основных элементов любой поисковой системы. Он выполняет очень важные функции, связанные с индексацией сайтов Интернета. Из информации, добытой роботом, формируется индексная база поисковой системы, которая непосредственным образом влияет на качество поиска.

Аудитор индексирует страницы вашего сайта аналогично поисковым роботам вплоть до HTML кода, используя те же критерии ранжирования сайтов, что и поисковые системы. Переходя по доступным ссылкам на страницах сайта, аудитор сканирует страницы, собирая содержимое с учетом морфологии. Далее информация попадает в базу данных. Следующий этап- это анализ информации, после которого система выдает подробный отчет по каждой страницы вашего сайта с рекомендациями по устранению ошибок.

audit.megaindex.ru

Что значит «индексация»

Лучше, чем спец Яндекса по индексации, вам об этом не расскажет никто:

Индексация — это процесс, в ходе которого страницы сайта обходит поисковый робот и включает (либо же не включает) эти страницы в индекс поисковой системы. Поисковый бот сканирует весь контент, проводит семантический анализ текстового содержимого, качество ссылок, аудио- и видеофайлов. На основе всего этого поисковик делает выводы и вносит сайт в ранжирование.

Пока сайт вне индекса, о нем никто не узнает, кроме тех, кому вы можете раздать прямые ссылки. То есть ресурс доступен для просмотра, но в поисковой системе его нет.

Для чего вообще нужен индекс

Сайт должен попасть в видимость, чтобы продвигаться, расти и развиваться. Веб-ресурс, который не появляется ни в одной ПС, бесполезен и не несет пользы ни пользователям, ни его владельцу.

Вообще, вот полное видео со школы вебмастеров Яндекса, если посмотрите его полностью — станете практически спецом в вопросе индексации:

От чего зависит скорость индексации

Основные пункты, от которых зависит, насколько быстро ваш сайт может попасть в область внимания поисковых роботов:

• Возраст домена (чем старше доменное имя, тем более к нему благосклонны боты).
• Хостинг (ПС совершенно не любят и часто игнорируют бесплатные хостинги).
• CMS, чистота и валидность кода.
• Скорость обновления страниц.

Что такое краулинговый бюджет

У каждого сайта есть краулинговый бюджет — то есть количество страниц, больше которого в индекс попасть не может. Если КБ сайта — 1000 страниц, то даже если у вас их десять тысяч, в индексе будет лишь тысяча. Размер этого бюджета зависит от того, насколько ваш сайт авторитетный и полезный. И если у вас проблема такого характера, что страницы не попадают в индекс, то как вариант, вам нужно, как бы это банально ни звучало, улучшать сайт!

Индексация сайта

Создавая новый сайт, нужно правильно заполнить файл robots.txt, который указывает поисковикам, можно ли индексировать ресурс, какие страницы просканировать, а какие не трогать.

Файл создается в формате txt и помещается в корневой папке сайта. Правильный роботс — это отдельная тема. От этого файла в первую очередь зависит, что и как будут анализировать боты на вашем сайте.

Обычно, на оценку нового сайта и внесение его в базу данных поисковикам требуется от пары недель до пары месяцев.

Пауки тщательно сканируют каждый разрешенный html-документ, определяя соответствующую тематику для нового молодого ресурса. Осуществляется это действие не за один день. При каждом новом обходе ПС будут вносить все большее и большее число html-документов в свою базу. Причем время от времени контент будет подвергаться переоценке, вследствие которой могут меняться места страниц в поисковой выдаче.

Также управлять индексацией помогают мета-тег robots и отчасти canonical. При проверке структуры и решении проблем с индексацией надо всегда смотреть на их наличие.

Google сначала индексирует страницы верхнего уровня. Когда следует проиндексировать новый сайт с определенной структурой, первой в индекс попадает главная страница. После этого, не зная структуры сайта, поисковик будет индексировать то, что находится ближе к слешу. Позже индексируются каталоги с двумя слешами. Это значит, что, даже если ссылки в контенте расположены высоко, они не обязательно будут проиндексированы первыми. Важно оптимально составить структуру, чтобы важные разделы не находились за большим количеством слешей, иначе Google решит, что это страница низкого уровня.

Индексация страницы

Когда Яндекс и Гугл уже познакомились с сайтом и «приняли» его в свою поисковую базу, боты будут возвращаться на ресурс, чтобы сканировать новые, добавляющиеся материалы. Чем чаще и регулярнее будет обновляться контент, тем более пристально будут следить за этим пауки.

Говорят, что для индексации помогает плагин ПДС пингер для поиска Яндекса — https://site.yandex.ru/cms-plugins/. Для этого нужно сначала установить поиск Яндекса на свой сайт. Но я особой пользы от него не ощутил.

Когда ресурс хорошо проиндексировался, выводить в поиск отдельные, новые страницы уже гораздо проще. Но тем не менее далеко не всегда анализ происходит равномерно и с одинаковой скоростью для всех, одновременно обновленных html-документов. Всегда выигрывают наиболее посещаемые и раскрученные категории ресурса.

Какие есть у поисковиков источники информации об url

• В первую очередь, это переходы собственно поискового бота по ссылкам: обычным (внутренним и внешним), из соц.сетей (FB, Twitter, ЖЖ).
• Вспомогательные источники: addURL, sitemap.xml.
• Поведенческая информация: Метрика, Яндекс.Браузер (Элементы), Chrome, прочие счетчики.
• Косвенные: регистрация в сервисах (Вебмастер, Директ, РСЯ, AdWords), упоминание домена без гиперссылки, регистрация домена, запросы в поиск.

Когда-то давно я привлекал быстроробота на конкурента, не продлившего домен, чтобы его понизили в выдаче – это не дало никакого результата.

Как проверить индексацию

Проверка видимости документов html осуществляется по-разному для Google и Яндекс. Но в целом не представляет собой ничего сложного. Сделать это сможет даже новичок.

Проверка в Яндекс

Система предлагает три основных оператора, позволяющих проверить, сколько html-документов находится в индексе.

Оператор «site:» – показывает абсолютно все страницы ресурса, которые уже попали в базу данных.

Вводится в строку поиска следующим образом: site:znet.ru

Оператор «host:» – позволяет увидеть проиндексированные страницы с доменов и поддоменов в рамках хостинга.

Вводится в строку поиска следующим образом: host:znet.ru

Оператор «url:» – показывает конкретную запрашиваемую страницу.

Вводится в строку поиска следующим образом: url:znet.ru/obo-mne

Проверка индексации этими командами всегда дает точные результаты и является самым простым способом анализа видимости ресурса.

Проверка в Google

ПС Гугл позволяет проверить видимость сайта только по одной команде вида site:znet.ru.

Но у Google есть одна особенность: он по-разному обрабатывает команду с введенными www и без. Яндекс же такого различия не делает и дает абсолютно одинаковые результаты, что с прописанными www, что без них.

Проверка операторами — это самый «дедовский» способ, но я для этих целей пользуюсь плагином для браузера RDS Bar.

Проверка с помощью Webmaster

В сервисах Google Webmaster и Yandex Webmaster также можно посмотреть, сколько страниц находится в базе данных ПС. Для этого нужно быть зарегистрированным в этих системах и внести в них свой сайт. Попасть в них можно по ссылкам:

http://webmaster.yandex.ru/ — для Яндекс.

https://www.google.com/webmasters/ — для Google.

В Яндекс Вебмастере при нажатии на ссылку «Мои сайты» в левом боковом меню появятся все необходимые пункты для проверки не только количества страниц, но и многих других полезных и важных данных, в том числе и истории индексации.

Если текста еще нет в сохранённой копии, но есть на странице, то он может быть найден по запросу [этот текст] url:site.ru — это будет означать, что он уже проиндексирован, но пока не попал в основной индекс

Массовая проверка страниц на индексацию

Если вы ведете файл семантики по моей схеме, то проверить все страницы на индексацию для вас — дело трех минут.

1. Заходим в файл распределения
2. Выделяем все урлы в столбце URL
3. Вкладка «Данные» — «Удалить дубликаты», таким образом останется список всех продвигаемых страниц
4. Массово проверяем страницы на индексацию через Comparser. Можно и с помощью браузерного плагина Winka – он умеет работать со списком ссылок в отрыве от Сапы (вызвать меню плагина – проверка списка ссылок).

Можно ли ускорить индексацию?

Повлиять на скорость загрузки html-документов поисковыми роботами можно. Для этого следует придерживаться следующих рекомендаций:

• Повышать количество соцсигналов, побуждая пользователей делиться линками в своих профилях. А можно брать твиты с живых аккаунтов в Prospero (klout 50+). Если составите свой вайт-лист твиттеров, считайте, что получили мощное оружие для ускорения индексации;
• Почаще добавлять новые материалы;
• Можно по самым дешевым запросам в своей тематике директ начать крутить;
• Вносить адрес новой страницы в аддурилки сразу же после ее публикации.

Высокие поведенческие факторы на сайте также положительно влияют на скорость обновления страниц в поиске. Поэтому не стоит забывать о качестве и полезности контента для людей. Сайт, который очень нравится пользователям, обязательно понравится и поисковым роботам.

В Google вообще все очень легко — добавить страницу в индекс в течение нескольких минут можно сканированием в панели для веб-мастеров (пункт сканирование/посмотреть как Googlebot/добавить в индекс). Таким же образом можно быстро переиндексировать необходимые страницы.

Я слышал еще истории о чуваках, которые отсылали урлы почтой Яндекса, чтобы они быстрее попали в индекс. На мой взгляд, это бред.

Дополнительные советы по улучшению индексации

Если проблема прям есть, и все предыдущие советы не помогли, остается переходить к тяжелой артиллерии.

• Настраиваем заголовки Last-modified (чтобы робот проверял на обновление только документы, которые действительно изменились с последнего его захода);
• Удаляем мусор из индекса поисковых систем (этот мусор можно найти с помощью Comparser);
• Скрываем от робота все ненужные/мусорные документы;
• Делаем дополнительные файлы Sitemap.xml. Обычно роботы читают до 50 000 страниц из этого файла, если у вас страниц больше — надо делать больше сайтмапов;
• Настраиваем работу сервера.

znet.ru

Индексация сайта – наличие страниц сайта в базе поисковых систем. Для того что бы сайт стал проиндексирован, необходимо что бы на него зашел поисковой бот.

В данной статье мы рассмотрим, каким образом можно ускорить индексацию сайта, и сделать так, что бы его отлично индексировали поисковые системы.

Для полного понимания:

Индексация сайта – это обход роботами поисковых систем сайта, и внесения его в базу. Поисковые роботы заносят в базу информацию о сайте и всех его страницах, которые доступны для поиска. Поисковой бот индексирует ссылки, изображения, видео, и другие элементы на сайте.

Для того что бы сайт начал индексироваться, нужно:

1.    Убедится что индексация открыта в robots.txt

Часто бывают, что сайт забывают открыть для индексирования в файле robots.txt. Это есть по умолчанию во многих системах управления сайта.

Когда закрыто от индексации выглядит это примерно так:

Для того что бы его открыть, просто нужно убрать *, например как в robots.txt на нашем сайте:

С помощью строки Disallow мы закрываем ненужные страницы, в нашем случае это служебные разделы, или те разделы, которые не нужно индексировать.

2.    Добавить сайт в поисковые системы

Самый простой способ сделать так, что бы о сайте узнали поисковые системы, добавить его через формы. Про то, как добавить сайт в поисковые системы — читаем статью. Там все детально расписано для основных поисковиков.

А так же добавить сайт в Google webmaster tools и Яндекс Вебмастер.

3.    Поставить ссылки с других сайтов

Нужно поставить индексируемые ссылки с других сайтов. Если у вас уже есть сайт то поставить с него, если нет, то ссылки можно приобрести через биржи ссылок. Ссылки желательно ставить с часто обновляемых и авторитетных сайтов.

Лучше всего индексируются блоги и сми сайты, разместить ссылки на них можно с помощью ссылочных бирж, где есть большой выбор самых разных сайтов, от плохих до хороших.

4.    Ссылки из социальных сетей

Прямые индексируемые ссылки из социальных сетей могут повлиять на индексацию сайта. Это такие сервисы как: Twitter, Facebook, Google Plus, YouTube и другие…

Ссылки с социальных сетей работают, но обязательно нужно, что бы это были прямые ссылки. Например, из социальной сети Вконтакте такое не даст результата, так как ссылки в ней идут через редирект.

5.    Добавление сайта в социальные закладки

Еще пару лет назад ссылки из сервисов социальных закладок отлично работали, сейчас ситуация немного поменялась, но не для всех сервисов социальных закладок.

Социальные закладки такого плана сайты как: bobrdobr.ru, memori.qip.ru, moemesto.ru, mister-wong.ru и сотни других.

С помощью социальных закладок можно быстро привлечь поисковых роботов.

Для того что бы максимально быстро проиндексировать сайт, лучше всего использовать все методы сразу, тогда и отдача будет лучше.

Если сайт долго не индексируется, нужно проверить в первую очередь, не закрыт ли он от индексации, если все нормально, то вышеописанными методами привлечь поисковых ботов на сайт.

Оптимизация сайта — необходимый этап в продвижении сайта, если сайт не проиндексирован, то продвигать его в поиске не получится, сперва нужно добиться его индексации.

seoprofy.ua

Как индексирует сайты Гугл и Яндекс

Яндекс и Гугл, пожалуй, самые популярные поисковики в России. Чтобы поисковые системы проиндексировали сайт, о нем нужно сообщить. Сделать это можно двумя способами:

1. Добавить сайт на индексацию при помощи ссылок на других ресурсах в интернете — этот способ считается оптимальным, так как страницы, найденные таким путем, робот считает полезными и их индексирование проходит быстрее, от 12 часов до двух недель.
2. Отправить сайт на индексацию путем заполнения специальной формы поисковой системы вручную с использованием сервисов Яндекс.Вебмастер, Google Webmaster Tools, Bing Webmaster Tools и др.

Второй способ медленнее, сайт встает в очередь и индексируется в течение двух недель или больше.

В среднем, новые сайты и страницы проходят индексацию за 1–2 недели.

Считается, что Гугл индексирует сайты быстрее. Это происходит потому, что поисковая система Google индексирует все страницы — и полезные, и неполезные. Однако в ранжирование попадает только качественный контент.

Яндекс работает медленнее, но индексирует полезные материалы и сразу исключает из поиска все мусорные страницы.

Индексирование сайта происходит так:

• поисковый робот находит портал и изучает его содержимое;
• полученная информация заносится в базу данных;
• примерно через две недели материал, успешно прошедший индексацию, появится в выдаче по запросу.

Есть 3 способа проверки индексации сайта и его страниц в Гугл и Яндексе:

1. при помощи инструментов для вебмастеров — google.com/webmasters или webmaster.yandex.ru;
2. при помощи ввода специальных команд в поисковую строку, команда для Яндекс будет выглядеть так: host: имя сайта+домен первого уровня; а для Гугл — site: имя сайта+домен;
3. с помощью специальных автоматических сервисов.

Проверяем индексацию

Это можно сделать используя:

1. операторы поисковых систем — смотрим в справке или тут;
2. услуги специальных сервисов, например rds бар;
3. Яндекс вебмастер;
4. Google вебмастер.

Как ускорить индексацию сайта

От того, насколько быстро роботы проведут индексирование, зависит скорость появления нового материала в поисковой выдаче, тем быстрее на сайт придет целевая аудитория.

Для ускорения индексации поисковыми системами нужно соблюсти несколько рекомендаций.

1. Добавить сайт в поисковую систему.
2. Регулярно наполнять проект уникальным и полезным контентом.
3. Навигация по сайту должна быть удобной, доступ на страницы не длиннее, чем в 3 клика от главной.
4. Размещать ресурс на быстром и надежном хостинге.
5. Правильно настроить robots.txt: устранить ненужные запреты, закрыть от индексации служебные страницы.
6. Проверить на наличие ошибок, количество ключевых слов.
7. Сделать внутреннюю перелинковку (ссылки на другие страницы).
8. Разместить ссылки на статьи в социальных сетях, социальных закладках.
9. Создать карту сайта, можно даже две, — для посетителей и для роботов.

Как закрыть сайт от индексации

Закрыть сайт от индексации — запретить поисковым роботам доступ к сайту, к некоторым его страницам, части текста или изображению. Обычно это делается для того, чтобы скрыть от публичного доступа секретную информацию, технические страницы, сайты на уровне разработки, дублированные страницы и т. п.

Сделать это можно несколькими способами:

• При помощи robots.txt можно запретить индексацию сайта или страницы. Для этого в корне веб-сайта создается текстовый документ, в котором прописываются правила для роботов поисковых систем. Эти правила состоят из двух частей: первая часть (User-agent) указывает на адресата, а вторая (Disallow) запрещает индексацию какого-либо объекта.
  Например, запрет индексации всего сайта для всех поисковых ботов выглядит так:

    User-agent: *

Disallow: /

• При помощи мета-тега robots, что считается наиболее правильным для закрытия одной страницы от индексирования. При помощи тегов noindex и nofollow можно запретить роботам любых поисковых систем индексировать сайт, страницу или часть текста.

Запись для запрета индексации всего документа будет выглядеть так:

<meta name=»robots» content=»noindex, nofollow»/>

Можно создать запрет для конкретного робота:

<meta name=»googlebot» content=»noindex, nofollow»/>

На что влияет индексация при продвижении

Благодаря индексации сайты попадают в поисковую систему. Чем чаще обновляется контент, тем быстрее это происходит, так как боты чаще приходят на сайт. Это приводит к более высокой позиции при выдаче на запрос.

Индексация сайта в поисковых системах дает приток посетителей и способствует развитию проекта.

Кроме контента, роботы оценивают посещаемость и поведение посетителей. На основании этих факторов они делают выводы о полезности ресурса, чаще посещают сайт, что поднимает на более высокую позицию в поисковой выдаче. Следовательно, трафик снова увеличивается.

Индексация — это важный процесс для продвижения проектов. Чтобы индексирование прошло успешно, поисковые роботы должны убедиться в полезности информации.

Алгоритмы, по которым работают поисковые машины, постоянно меняются и усложняются. Цель индексации — внесение информации в базу данных поисковых систем.

semantica.in

Требования к сайту

Чтобы поисковые системы проанализировали ресурс полностью, при поисковой оптимизации сайта соблюдают следующие правила.

1. Любая внутренняя страница должна быть расположена не далее трех переходов от главной. Если структура ресурса этого не позволяет, создается карта сайта, указывающая роботам путь к вложенным подкаталогам.
2. Не используются идентификаторы сессий, затрудняющие работу поисковых ботов.
3. Обычно поисковые системы индексируют на странице до 100-200 Кб текста. В случае большего размера анализируется только часть материала. Если необходима полная индексация такой страницы, информация на ней сокращается или разбивается на несколько разделов.
4. Для управления действиями поисковых роботов заполниется файл robots.txt, в котором прописываются инструкции по запрету или разрешению индексации отдельных страниц или директорий сайта. Для этих же целей в процессе оптимизации под Google и Яндекс используется тег «NOINDEX» (поддерживается только российскими поисковиками).

Факторы, влияющие на индексацию

Поисковые базы данных регулярно обновляются, поэтому число проиндексированных страниц сайта может меняться. Переиндексация происходит тем быстрее, чем больше внешних ссылок на сайт. Для отслеживания процесса индексации анализируются лог-файлы сервера, в которые заносятся данные обо всех визитах поисковых ботов.

promo.ingate.ru