Почему сайт не индексируется


Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.

Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке — почему, что делать?

Вообще, прежде чем беспокоиться, нужно знать следующее: Яндекс (за редким исключением) всегда всё индексирует медленнее Google.

Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки — нужно просто подождать. Обычно до месяца, в среднем — 2 недели.

Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, «белые и хорошие» веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.

Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)


1) Robots.txt

Не закрыт ли вход на ваш сайт — посмотрите подробный материал про файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт «случайно» близка к нулю, но всё-таки проверить можно.

2) Тег <noindex>

Тег <noindex>какой-нибудь код<noindex> используется для того, чтобы какой-нибудь код не попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот <noindex> открыли, а закрыть забыли Почему сайт не индексируется В результате весь код страницы получается «спрятанным» от робота.

3) Язык сайта

Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.

Если и Яндекс, и Google и другие ПС сайт не индексируют

В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.

4) Мета-тег Robots

Если вдруг на странице есть что-нибудь такое: <meta name=»robots» content=»noindex,nofollow»>, то такая страница не будет индексироваться. Смотрите подробнее о мета-теге Robots.

5) Кривая HTML-разметка

Если нарушена вложенность тегов, например, есть что-то такое: <div><p>текст</div></p> то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.


6) Время загрузки сайта

У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.

Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды — уже хорошо. Посмотрите, как проверить скорость загрузки страниц сайта.

На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке — посмотрите универсальную инструкцию по переезду на новый хостинг.

7) Ошибки сервера с кодом 4xx и 5xx

Прежде всего, это ошибка 500 — внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.

Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.

Для справки — посмотрите здесь какой должна быть страница 404.

8 ) Не настроена склейка домена с www и без www

Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу — одно из двух

  • http://site.ru
  • http://www.site.ru

Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант — правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.

web-ru.net

1. Сайт закрыт от индексации в Robots.txt

Первая и основная причина, по которой многие сайты оказываются вне поля зрения роботов поисковых систем, — это неправильные инструкции файла robots.txt. Как ни странно, это происходит либо по незнанию самих инструкций или синтаксиса, либо по забывчивости: после сдачи сайта в эксплуатацию многие вебмастера и SEO-специалисты просто забывают «открыть» его и убрать лишний disallow.

В подобных случаях Netpeak Spider покажет по итогу сканирования ошибку «Заблокировано в robots.txt».

Почему сайт не индексируется

2. Неправильно выставлены директивы Meta Robots или X-Robots-Tag

Инструкции, задаваемые для поисковых роботов при помощи Meta Robots или X-Robots-Tag, относятся только к определённым URL и потому могут скрывать от поисковых систем лишь отдельные страницы. Случайно выставленные noindex или nofollow могут существенно испортить вам жизнь и при этом никак не выдавать себя вплоть до детального SEO-аудита сайта.


Если Netpeak Spider обнаружит инструкцию noindex в метаданных страницы или HTTP-заголовке, то страница будет отмечена ошибкой «Заблокировано в Meta Robots» или «Заблокировано в X-Robots-Tag». Для страниц, у которых в заголовках ответа сервера или блоке <head> будет найдена инструкция nofollow, программа покажет ошибки «Nofollow в X-Robots-Tag» и «Nofollow в Meta Robots» соответственно.

Почему сайт не индексируется

3. Сайт получил бан от поисковых систем

Эта проблема наиболее актуальна для сайтов, купленных «с рук». Если в процессе покупки вы не проявите достаточной осторожности и на слово поверите продавцу, то шанс приобрести сайт с «тёмным прошлым» будет весьма велик. В этом случае объём усилий, потраченных на восстановление репутации в глазах поисковых систем, будет намного значительнее всех выгод, на которые вы рассчитывали изначально.

Почему сайт не индексируется

Если вы покупаете сайт с историей, настоятельно рекомендуется:

  • запросить у владельца доступ к GA или Яндекс.Метрике, чтобы проанализировать динамику трафика из поисковых систем за большой период и выявить возможные аномалии,
  • проверить данные в Яндекс.Вебмастере и Google Search Console,
  • ознакомиться с архивными версиями сайта посредством Wayback Machine,
  • проверить ссылочный профиль сайта (например, при помощи Serpstat или Ahrefs),
  • проверить на сайте Sucuri SiteCheck, не состоит ли сайт в чёрных списках поисковых систем.

Почему сайт не индексируется

4. Поисковым роботам ограничен доступ к файлам .js

Если часть сценариев на вашем сайте осуществляется через JS, поисковые роботы должны иметь беспрепятственный доступ к .js файлам. В противном случае они не смогут прорендерить сайт и найти все ссылки, скрытые в JavaScript.

Вы можете проверить, нет ли на вашем сайте закрытых от индексации JavaScript-файлов, запустив в Netpeak Spider краулинг в со включённой опцией «Проверять JavaScript». Её можно включить в общих настройках программы.

Отдельно хотели бы отметить: согласно официальным заявлениям Google, данная поисковая система без проблем рендерит и индексирует страницы с JavaScript, однако, нельзя с уверенностью сказать то же об остальных поисковиках. Если вас интересует оптимизация под Яндекс, Bing, Yahoo и другие поисковые системы, мы настоятельно рекомендуем ознакомиться с их официальной документацией на тему краулинга JS, а также последними исследованиями на этот счёт.

5. Низкая скорость загрузки сайта


Многие особенности поведения поисковых систем продолжают относиться к категории разнородных домыслов SEO-специалистов, но есть кое в чём их мнения едины: поисковые системы крайне негативно настроены по отношению к медленно работающим сайтам. Настолько негативно, что низкая скорость загрузки может стать причиной, по которой нетерпеливые поисковики не включат ваш сайт в индекс.

Чтобы выяснить, какие из страниц вашего сайта имеют критически низкую скорость загрузки, просканируйте сайт с Netpeak Spider: в числе возможных ошибок вы можете найти «Большое время ответа сервера». К тому же, каждую страницу в отдельности можно будет проверить через сервис Google PageSpeed, не покидая окна программы. Для этого будет достаточно кликнуть правой кнопкой мыши по выбранному URL, выбрать «Открыть URL в сервисе» → «Google PageSpeed».

Почему сайт не индексируется

6. На странице выставлен атрибут rel=»canonical» на страницу с редиректом

Размещая на странице ссылку на канонический URL, вы указываете поисковым роботам предпочтительную для индексации страницу. Если же на этой странице стоит редирект на какой-то другой URL, то именно он попадёт в индекс вместо страницы, которую вы указывали в качестве канонической. Это произойдет потому, что её код ответа будет 3хх, а не 200, как требуется для индексации.

7. Нет внутренних ссылок на новые страницы

В том случае, если вы создали новые страницы, но на них не ведёт ни одна ссылка внутри сайта, то в рамках своего следующего обхода сайта краулер может попросту не найти их.


В Netpeak Spider страницы, на которые не было найдено ни одной входящей ссылки, отмечаются ошибкой «Page Rank: отсутствуют связи».

8. В настройках CMS выставлен запрет на индексацию

В общих настройках CMS WordPress есть опция запрета индексации. Доподлинно не известно, какие системы учитывают эту инструкцию, а какие нет, но вполне может оказаться, что одна неосторожная галочка лишит вас места в индексе.

Почему сайт не индексируется

Проверяйте аналогичные настройки и в других CMS.

9. Сайт доступен только авторизованным пользователям

Если в процессе тестирования и отладки сайта вы закрыли его от всех неавторизованных посетителей, не забывайте о том, что теперь он закрыт и для поисковых систем.

Кстати, запрос авторизации не помешает вам проводить SEO-аудит на этапе разработки сайта или его финальной подготовки к запуску: достаточно указать данные для доступа на вкладке «Аутентификация» в настройках Netpeak Spider, чтобы беспрепятственно сканировать сайт.


Почему сайт не индексируется

10. Сайт закрыт от поисковых роботов в файле .htaccess

В большинстве случаев файл .htaccess используется для настройки переадресации, однако, при помощи функции RewriteEngine вы можете ограничить доступ к сайту для тех или иных поисковых роботов. В случае с блокировкой бота Google, она может иметь следующий вид:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteRule . — [F,L]

Если вдруг вы случайно (или специально) использовали её для своего сайта, советуем вам удалить строки с функцией или заменить файл .htaccess на его более раннюю версию.

11. Неправильный код ответа сервера

В индекс в итоге попадают страницы исключительно с 200 кодом ответа сервера. Если с виду страница выглядит абсолютно нормально, но по каким-то причинам выдаёт код ответа, отличный от 200 (например, 404 или 503), страница не проиндексируется поисковыми роботами. В случае обнаружения подобной ошибки обратитесь за помощью к веб-разработчику.

Коротко о главном

Несмотря на то, что некоторые механизмы работы поисковых систем окутаны завесой тайны, можно с уверенностью назвать несколько основных причин, по которым ваш сайт или некоторая часть его страниц может не индексироваться поисковыми системами:


  • Сайт закрыт от индексации в Robots.txt.
  • Неправильно выставлены директивы Meta Robots или X-Robots-Tag.
  • Сайт получил бан от поисковых систем.
  • Поисковым роботам ограничен доступ к файлам .js.
  • На странице выставлен атрибут rel=»canonical» на страницу с редиректом.
  • Нет внутренних ссылок на новые страницы.
  • В настройках CMS выставлен запрет на индексацию.
  • Сайт доступен только авторизованным пользователям.
  • Сайт закрыт от поисковых роботов в файле .htaccess.
  • Неправильный код ответа сервера.

P.S. Для всех читателей блога действует 10% скидка на покупку лицензий Netpeak Spider, которую можно получить на сайте netpeaksoftware.com/ru/buy при использовании промокода 835f52b3.

albakoff.ru

Нормы индексации сайтов

В Яндекс

Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы — внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.

В Google

Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.


Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.

Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.

Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.

Особенно долго будут индексироваться страницы с малой ценностью для посетителей.

Что делать, если новый сайт не индексируется поисковиками?

Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.

Добавить сайт в панели вебмастеров

Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов — сделать это достаточно просто: надо лишь добавить сайт в поисковые системы.

Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.

Улучшить сайт

Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.

Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.

Как проверить индексацию сайта?

Используйте в запросе оператор Site

Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.

Используйте в запросе оператор Site чтобы проверить индексацию сайта в google

К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.

Используйте в запросе оператор Site чтобы проверить индексацию сайта в яндекс

Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.

Введите в поисковик url страницы

Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google

url:https://ru.wikipedia.org/

Способ проверки индексации отдельно выбранной страницы для Google

Для Яндекс

info:https://ru.wikipedia.org/

способ проверки индексации отдельно выбранной страницы для яндекс

Через панель вебмастеров

Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.

Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».

Анализируя полученный отчет и ищите страницы, которые не индексируются.

Проверить индексацию сайта через панель вебмастеров

В новом Google вебмастере также есть инструмент для анализа индексации.

В новом Google вебмастере есть инструмент для анализа индексации

С помощью Key Collector проверяем индексацию большого количества страниц

Скачанный и установленный на компьютере многофункциональный инструмент облегчит работу любому оптимизатору. Он позволяет автоматизировать процесс, значит, вам не придется вручную проверять сотни, а то и тысячи документов.

Чтобы воспользоваться этим методом, требуется собрать парсером список всех страниц, а затем добавить перед каждым адресом оператор url для Google или info для Яндекс. Хотите сэкономить время и нервы — воспользуйтесь для этого автозаменой в блокноте. Дальше надо загрузить полученные данные в Key Collector, не забыв о настройке XML для быстрого анализа результатов.

Также, нужно настроить правильно поисковые системы, для корректного парсинга. URL лучше добавлять без смены регистра.
У проиндексированных материалов в графе «Позиция по запросу» будет стоять единица. Сверьте ваш URL со страницей на первом месте. Они должны совпадать.

Это метод не идеален, но имеет право жизнь.

С помощью Key Collector проверяем индексацию большого количества страниц

Как решить проблемы индексации?

Вариант 1: Сайт долго не индексируется, роботы не видят свежие материалы — в индекс попадает мало новых страниц, процесс осуществляется медленно.

Узнайте далее, что может быть причиной столь плачевной ситуации.

Редкое обновление контента

Для SEO-продвижения нужно вовремя подкармливать роботов новой порцией качественного контента, тогда они будут чаще заходить на ваш сайт. Причем на поведение поисковиков положительно влияют даже незначительные улучшения старых статей в виде более удачных иллюстраций, обновлений даты публикации или добавления цитаты эксперта.

А вот если робот приходит и видит, что за период его последнего посещения ничего не изменилось, сайт не будет нормально индексироваться в будущем. Более того, ждите ухудшения позиций в выдаче: ресурс, остановившийся в развитии, опережают конкуренты.

То есть

Если вы публикуете не регулярно — это может быть причиной. Если это не ваша ситуация, то читайте далее.

Плохое качество контента

За последние годы и читатели, и роботы стали более требовательными к размещенной в Рунете информации. Важную роль играет не только техническая, но и смысловая уникальность / полнота статей, картинок, видео.

При этом ключевые слова должны вписываться в текст естественно, а за переспам есть шанс попадания под фильтры поисковиков.

То есть

Если публикуемый контент малополезен или состоит из 100 слов, то вряд ли он попадет в индекс. Необходимо менять подход к написанию контента или качеству страниц.

Заинтересованы в генерации отличного контента?

Возьмите на вооружение LSI-копирайтинг, который сейчас в почете у поисковых систем. При качественном оформлении, полном раскрытии темы с использованием ключей и списка дополнительных синонимов, ассоциаций вам не придется беспокоиться о том, что страница не будет индексироваться в поисковых системах.

Наличие дубликатов

Секретом успешной технической оптимизации является отсутствие одинаковых мета-тегов и текстов; полных копий страниц. Если таковые имеются, закройте лишние данные от индекса при помощи meta name=«robots» content=«noindex, nofollow» или пропишите на них 301 редирект.

В противном случае поисковики запутаются в похожих документах и удалят их из выдачи.

Проблемы с краулинговым бюджетом

Существует определенный лимит на количество страниц, индексируемых роботом за единицу времени.

Краулинговый бюджет Google напрямую зависит от PageRank ресурса. Чем выше данный показатель, тем большее число документов будет проиндексировано. Соответственно, для масштабных сайтов крайне важно повышать критерий своей ценности путем регулярных обновлений, увеличения посещаемости и приобретения ссылок. Иначе некоторые страницы могут не индексироваться в Гугле.

То есть

Если сайт молодой, то у него низкий краулинговый бюджет. И если вы хотите проиндексировать большое количество страниц, то эта процедура может занять на порядок больше времени.

Технические нюансы для ускорения сканирования

Добавление sitemap.xml

Эта карта, созданная для поисковых систем, дает роботам возможность быстро найти все страницы, независимо от их числа и уровней вложенности. Кроме того, она повышает доверие к вашему сайту, позволяет указывать дату обновления и расставлять приоритеты.

Алгоритм действий следующий: сгенерируйте sitemap.xml с учетом стратегии продвижения, загрузите карту в корень сайта и добавьте в панели вебмастеров.

Обновление http-заголовков Last-Modified и If-Modified-Since.

Last-Modified сообщает поисковикам о последних изменениях в документе, направляя роботов сразу к обновленным страницам и свежим материалам.

Ответ сервера на запрос If-Modified-Since снижает нагрузку на краулинговый бюджет, к тому же улучшает позиции контента при сортировке по дате.

Проверить этот заголовок можно тут — https://last-modified.com/ru/if-modified-since.html

Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.

Код ответа сервера

Убедитесь, что страница содержит код сервера 200 ОК — это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.

Проверка осуществляется при помощи специальных сервисов.

Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.

Robots.txt

В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.

Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».

Инструмент проверки файла robots.txt search console

Meta Robots

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах

Либо используйте плагины для браузера, такие как расширение Seo Meta in 1 Click для Google Chrome.

расширение Seo Meta in 1 Click для Google Chrome

Rel Canonical

Многие неопытные оптимизаторы неверно настраивают атрибут rel=canonical.

Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Многие неопытные оптимизаторы неверно настраивают атрибут rel=canonical

Либо через тот же плагин

плагин Seo Meta in 1 Click для Google Chrome

Вебмастера

Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.

Перейдите в раздел «Просмотреть как Googlebot» введите адрес страницы, и нажмите кнопку «Получить и отобразить».

Перейдите в раздел «Просмотреть как Googlebot» введите адрес страницы, и нажмите кнопку «Получить и отобразить»

Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.

Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов

Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.

Файл .htaccess

Если сайт не индексируется, он может быть заблокирован в файле .htaccess.

Проверьте .htaccess на наличие таких строк:

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [F]

Либо такой вариант, который будет отдавать роботу Google 404 ошибки.

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [R=404]

Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.

AJAX и JavaScript

Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему, которая сообщит поисковым системам о необходимости индексации.

Санкции

Еще одна серьезная проблема — наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.

Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.

Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.

Итоги

Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель — выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!

Если у вас сложный случай, рекомендую обратиться за консультацией к специалистам. Команда Livepage проконсультирует и выполнит SEO-аудит, который решит все проблемы с индексацией в поисковых системах.

livepage.pro

«Почему мой сан не индексируется?!»

Индексация сайта наиболее важная особенность SEO во все времена. Для органического поиска индексация, жизненно необходима. Если ваш сайт не индексируется, вы теряете органический трафик, что немаловажно для SEO. Так же никто не сможет найти и посмотреть ваш контент, если вы им не даете прямую ссылку, например, на визитке.

Первый шаг к индексированию это понимание проблем индексации вашего сайта.

Я примерно организовал список из наиболее общих причин.

  1. Ваш сайт проиндексирован под www или non-www доменом.

Технически www является под доменом. Таким образом http://example.com не то же самое, как http://www.example.com. Убедитесь, что вы добавили оба адреса и уверены что они индексируются. Обязательно установите основной домен, но подтвердите право собственности на оба.

  1. Google не нашел ваш сайт

Как правило, это проблема новых сайтов. Дайте ему несколько дней (по крайней мере), но если Google до сих пор не индексирует ваш сайт, убедитесь, что ваша карта сайта загружается и работает нормально. Если вы еще не создали представления для карты сайта, это может быть ваша проблема. Вы должны также потребовать Google что бы он «ходил» по вашему сайту. Как это сделать:

  • В Webmaster Tools выберете нужный сайт.
  • На панели инструментов-> Сканирование -> Посмотреть как Googlebot.
  • В текстовом поле введите путь к странице, которую вы хотите проверить.
  • В раскрывающемся списке выберите ПК. (Вы можете выбрать другой но это неважно.)
  • Нажмите сканировать. Google будет получать URL вашего сайта. Это может занять до 10 минут. Потом страница обновится.
  • Как только вы увидите отчет о успешном выполнении, нажмите кнопу Отправить. Таким образом вы отправите урл в индекс.
    • Чтобы отправить одиночный URL в индекс, выберите URL и нажмите отправить. Вы можете представить до 500 адресов в неделю таким способом.
    • Чтобы отправить URL и все страницы, связанные с ней, нажмите URL и все связанные страницы. Вы можете представить до 10 таких запросов в месяц.
  1. Сайт или страницы блокируются в robots.txt

Еще одной проблемой может являться блокировка сайта в robots.txt. Это легко исправить. Просто удалите запись из файла и через некоторое время сайт появится в индексе.

      4.  У вас нет sitemap.xml

Каждый веб-сайт должен иметь sitemap, которая дает поисковикам перечень направлений, куда они должны следовать. Создать карту сайта для поисковиков довольно просто.

Если у вас возникли вопросы по индексации в любой части вашего сайта, я рекомендую вам повторно пересмотреть карту.

  1. У вас есть ошибки обхода

В некоторых случаях, Google не будет индексировать некоторые страницы вашего сайта, потому что он не может сканировать их. Даже при том, что он не может сканировать их, он все еще может видеть их.

Чтобы определить ошибки обхода, зайдите в Google Webmaster Tools -> Site -> Нажмите на кнопку «Сканирование» -> «Ошибки сканирования». Если у вас есть какие-либо ошибки, то есть, не проиндексированные страницы, вы увидите их в списке.

 

  1. У вас дублируется контент

Слишком много страниц с одинаковым контентом может запутать поисковики и они перестанут индексировать сайт.

Если на нескольких URL-адресах на вашем сайте дублируется контент то это влияет на выдачу. То есть, поисковик не знает на какую страницу вести пользователя и соответственно удаляет их из поиска. Чтобы устранить эту проблему, выберете страницу, которую вы хотите сохранить, а на остальные пропишите 301 редирект в htaccess. Или же закройте от индекса через файл robots.txt.

Иногда имеет смысл канонизировать страницы, но будьте осторожны. На некоторых сайтах канонизация мешает индексации.

 

  1. Настройки приватности

У большинства популярных движков есть функция разработки. При которой контент на сайте может видеть только авторизированный пользователь.

Если у вас WordPress, перейдите к администрированию –> настройки -> конфиденциальность.

  1. Сайт заблокирован .htaccess

Ваш файл .htaccess является частью существования вашего сайта на сервере, что позволяет ему быть доступным во всемирной сети. Файл .htaccess написан для Apache. .htaccess можно использовать для различных задач, также для блокировки сканеров и предотвращение индексации.

 

  1. Сайт имеет NOINDEX в мета-теге

Еще один способ сказать «нет» роботам и таким образом, не дать им вас индексировать. Хотя не всегда их останавливает. Выглядит так:

<meta name= ” robots “ content = “noindex, nofollow”>

Это один из тех проблем когда вы говорите: «О, черт, я не могу поверить, что не видел этого!».

Удалите эту строку кода, и вы сможете вернутся в индекс в кратчайшие сроки.

         10. У вас есть AJAX / JavaScript решения

Google индексирует JavaScript и AJAX не так как HTML. Так что, если вы неправильно настроите страницы AJAX и выполните JavaScript, Google не будет индексировать страницу.

            11. Слишком долгая загрузка страницы

Поисковика не нравится когда ваш сайт грузится целую вечность. Как вы думаете сколько пользователь будет ждать, пока загрузится ваша страница? Вот и поисковики думают также.

          12. Время простоя хостинга

Если роботы не могут получить доступ к сайту, они не будут индексировать его. Это достаточно очевидно, но почему это происходит? Проверьте качество хостинга.

           13. Вы получили Deindexed

Это действительно плохо.

Если вы получили пенальти от поисковика, за какой то «незаконный» контент. Или же по причинам его «качества». Вернуть его в индекс будет очень сложно.

Эта статья не является попыткой обсудить все причины не идексации сайта. Индексация является залогом хорошего SEO. Если ваш сайт или отдельные страницы вашего сайта не индексируются, вы должны выяснить, почему. Желаю всем страниц в индексе, да поменьше пенальти.

thewebland.net

Причины, которые влияют на отсутствие страниц в индексе поисковиков

Причины, из-за которых не происходит индексирование страниц сайта, может быть несколько. Некоторые из них достаточно легко исправить, другие же — проблематично. Но прежде чем паниковать, стоит подумать, какая именно Почему сайт не индексируетсяпричина привела к тому, что поисковые системы отказываются проводить индексацию контента Интернет-портала.

Правильная настройка robots.txt

Текстовый документ под названием robots.txt расположен в корце сайта и имеет очень важное значение для корректной индексации веб-ресурса. В нем находятся определенные инструкции для поисковых роботов, согласно которым они должны определять, что индексировать на сайте, а что не стоит. В случае если настройка этого документа произошла неправильно, корректная и быстрая индексация сайта не произойдет.

В случае если самостоятельно настроить этот файл не удается, его можно заказать или же создать онлайн с помощью различных сервисов.

Практика показывает, что, помимо того, что существует определенная разница в ранжировании поисковыми роботами Яндекса, Google и других поисковых систем страниц сайта, для каждого отдельного поисковика не нужно создавать свой оригинальный файл. Все они индексируют приблизительно одинаково, поэтому главное правильно настроить сам файл.

Фильтры поисковиков

Чтобы пользователи поисковиков могли найти действительно нужные им странички, поисковики создаю специальные фильтры. Благодаря им по запросу выдается только самые релевантные и интересные ресурсы, которые только существуют.

Некоторые фильтры на определенные сайты или их странички накладываются за неправильную политику администраторов, которая может заключаться в различных вещах. Одни из таких вещей является использование спама, массовая продажа ссылок, javascript редиректов и некоторых других вещей.

В случае наложения на сайт определенного фильтра он полностью или частично перестает индексироваться и не попадает в список выдачи поисковых систем, таких как Яндекс и Google.

Недавнее создание веб-ресурса

Индексирование сайтов проходит не каждый минуту, поэтому до того момента, когда это произойдет, проходит некоторое время. Зачастую максимальный срок, когда поисковая система добирается до сайта, который сделал все для того, чтобы индексирование прошло успешно, достигает одного месяца.

В некоторых случаях это может произойти значительно раньше. Именно поэтому недавно созданные сайты могут не отображаться сразу же в поисковиках. В случае если это происходит дольше месяца, необходимо сразу же искать другую причину, почему это не случается.

Почему сайт не индексируетсяДомен, который уже использовался

Домен, который был в использовании, может нести в себе некоторые проблемы. Это связанно в первую очередь с тем, что его поисковики могли заблокировать или же наложить на него определенные фильтры.

Даже после его наполнения новым контентом и переработки самого сайта, он может продолжать плохо индексироваться. Такие домены часто продают их владельцы, потому что для них они уже не приносят никакой пользы. Поэтому всегда перед покупкой таких доменов необходимо их тщательно поверять.

Низкая скорость сайта

Скорость загрузки сайта прямо влияет на его индексирование.

Если она слишком маленькая, есть вероятность, что это будет влиять на ранжирование — сортировку сайтов роботами поисковиков.

Оптимальная загрузка сайта составляет менее 2 секунд. Но таких результатов не все удается добиться, поэтому стандартное время, за которое страничка может совершить загрузку, равняется 2 секундам.

Если скорость настолько маленькая что превышает этот предел, индексирование происходит по иной схеме. Загрузка, которая длиться дольше 3 секунд, считается медленной и требует обязательной корректировки.

Что делать, если причину не получается решить самостоятельно

Если после устранения всех проблем сайт все равно продолжает не индексироваться, необходимо обратиться в службу поддержки поисковых сетей. В случае если это Яндекс, стандартным ответом будет пожелания улучшения Почему сайт не индексируетсякачества. После этого можно вступить в длительную переписку, которая покажет администратору, что ваш сайт вам действительно небезразличен. В таких случаях рано или поздно, если уже нет никаких вопросов, препятствующих индексированию, рано или поздно это случится.

В случае проблем с поисковой системой Google, стандартным ответом будет принятие заявки на рассмотрение. Вопросы можно задавать на русском языке, но ответы от этой поисковой системы приходят на английском.

Второй возможный ответ в случае проверки сайта и не обнаружения на нем никаких проблем будет о том, что нужно ожидать индексирования еще немного. В таких случаях оно в скором времени произойдет.

Зарабатывай в Интернете, лучшие идеи интернет бизнеса ты найдешь в нашей статье. 

 

В интернет-маркетинге важно общение с аудиторий сайта, узнай все подробности здесь. 

 

Заведи свой виртуальный дневник вместе с liveinternet, как это сделать, читай в нашей статье. 

Вывод

Если сайт не индексируется, на это всегда есть причина. Поэтому очень важно ее найти, перебирая по очереди все варианты. При этом не нужно никому указывать на то, что сайт является не индексированным, так как в таком случае весь уникальный контент, который на нем присутствует, могут украсть сайты, которые поисковые системы выдают в своей ленте.

livesurf.ru

Санкции по отношению к сайту

Поисковые системы обладают целым рядом санкций, которые могут помешать полной и даже частичной индексации вашего сайта. Среди них:

  1. Полное исключение сайта из индекса поисковой системы — бан.

  2. Частичное исключение сайта из индекса — ряд версий АГС в Яндексе, поисковый спам (большое число разновидностей, скажем, автоматически формирующиеся каталоги или списки выложенных поисковых запросов).

Сайт — неглавное зеркало

Часто, сайт не включается в индекс, если является неглавным зеркалом другого сайта.

  1. Если у вашего сайта несколько доменных имен, то в индексе Яндекса будут находиться страницы лишь с одного из них — главного зеркала. При желании, вы можете инициировать процедуру смены главного зеркала.

Неверный код ответа сервера или блокировка робота

Встречаются случаи, когда хостинг провайдер блокирует робота поисковой системы (паука) в результате чего, поисковая система не может скачать содержимое документов на сайте. Также, документы на сайте могут отдавать неверный код ответа сервера (отличный от 200 OK) — это приводит к невключению страниц сайта в основной индекс. Отсюда мы приходим к ещё двум возможным причинам:

  1. Блокировка робота поисковой системы хостингом.

  2. Неверный код ответа сервера для ряда документов на сайте (не 200 OK).

Недостаточная ценность

Для оценки необходимости включения страниц сайта в индекс Яндекса или Google, поисковая система измеряет целый ряд параметров. В частности — опираясь на статические факторы ранжирования, поисковая система понимает, есть ли вероятность у страницы сайта присутствовать в ТОП выдачи по хотя бы какому-то поисковому запросу. Если такая вероятность отсутствует, значит, включение данного документа в базу — нецелесообразно.

  1. Если документ оценивается поисковой системой как неценный, то включение его в индекс — маловероятно.

  2. Документ является полной или частичной копией уже существующего в индексе документа, в данном случае, Яндекс и Google могут не включать его в индекс по причине отсутствия уникальности (дополнительной полезной для пользователя информации).

Диагностика проблемы

Теперь вернемся к вашему частному случаю, а именно сайту metalloiskateli.su. Оценка всех изложенных выше пунктов говорит, что мы столкнулись с одним из следующих случаев — 4, 6, 8.

Чтобы исключить вариант 4 — требуется составить аргументированное письмо в службу поддержки поисковой системы посредством панели Вебмастера Яндекса и запросить возможную причину. Вероятно, санкции могли быть наложены на предыдущую версию сайта, если вы не являетесь первым владельцем домена. В данном случае, может потребоваться и смена доменного имени.

Чтобы исключить вариант 6 — требуется, как изучить логи сервера, так и направить письмо в службу поддержки поисковой системы, можно объединить данные два вопроса в одно письмо. На сайте имеются и документы с отличным от кода 200 OK ответом (см. ниже).

Чтобы исключить вариант 8 — требуется:

  • Повысить объем и число уникальных (авторских) текстов на сайте (в том числе и на уже существующих страницах).

  • Повысить цитируемость ресурса (получить внешние ссылки с других сайтов).

  • Повысить общий трафик на сайте (расширить аудиторию проекта).

  • Улучшить распределение статического веса на сайте за счёт перелинковки (повысить PR документов).

Отсутствие уникального описания


Ошибки на сайте

Удачи в работе с сайтом, выяснением причин отсутствия документов в индексе и самостоятельном продвижении ресурса!

p.s. Существуют и другие, более экзотические причины исключения сайта из основного индекса, скажем — плохое окружение на хостинге или используемая CMS (в Google), но вероятность встретить их оценивается как менее 1%.

Дата ответа: 13.10.2014
Автор ответа: Дмитрий Севальнев

pixelplus.ru

1. Google и Яндекс пока не нашел ваш сайт

Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.

В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.

Для этого нужно сделать:

  • Добавить сайт в поисковые системы (Add url)
  • Добавить сайт в Google и Яндекс вебмастер

Статьи в тему:

— Как добавить сайт в поисковые системы

— Google Webmaster Tools

— Добавляем сайт в Яндекс Вебмастер

После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.

 2. Сайт или страницы закрыты в robots.txt

Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.

Для начала читаем статью: Robots.txt – инструкция для SEO

Если у вас не много технических разделов, то можно обойтись и таким robots.txt:

Но если на сайте нужно много чего закрывать, то:

  • читаем статью по ссылке выше
  • закрываем только те разделы, что не нужно индексировать
  • оставляем для индексации все остальное

Тогда все с вашим сайтом должно быть нормально.

 3. Включены приватные настройки

Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.

Для этого нужно зайти в:

  • Настройки
  • Чтение
  • Видимость для поисковых систем
  • Убрать галочку

Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.

4. Сайт закрыт от индексации в noindex в мета тегах

Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:

<meta name=»robots» content=»no index, nofollow»>

Все что нужно:

  • проверить код на наличие такого тега и что в нем прописано
  • убрать строку кода
  • или просто сделать follow и index

Пример:

Из нашей практики встречались и такие сайты, на которых это было причиной индексации.

 5. Ошибки сканирования

Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.

Чтобы это проверить:

  • Заходим в Google Webmaster Tools
  • Сканирование
  • Ошибки сканирования

Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.

6. Сайт заблокирован в .htaccess

В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.

Для того, чтобы это проверить:

  • находим на сервере файл .htaccess
  • в коде смотрим, чтобы не был закрыт сайт

Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.

7. Хостинг или сервер работает не стабильно

Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.

Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.

Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.

Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.

8. Проблемы с AJAX/JavaScript

Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992

Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.

В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.

Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993

9. У вас на сайте много дублированного контента

Если на сайте много дублированного контента, как:

  • страницы
  • мета тегов

То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.

Статьи в тему:

— Как найти дубликаты страниц на сайте

— Как убрать или закрыть дубли от индексации

На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.

 10. Очень медленная скорость загрузки сайта

Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.

Для начала читаем статью: Как время загрузки влияет на позиции в Google

После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.

11. Ваш домен ранее был забанен

Такое часто случается. Когда:

  • регистрируешь хороший и звучный домен
  • по обратным ссылкам все нормально
  • делаешь хороший сайт с нормальным дизайном
  • наполняешь уникальным и толковым контентом
  • а он не хочет никак индексироваться

В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:

  • написать запрос на пересмотр (если Яндекс, узнать в чем причина)
  • написать на форуме Google (постараться узнать в чем причина)
  • развивать проект

Статья в тему: Как проверить сайт на бан поисковых систем?

Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.

12. У вас нет sitemap на сайте

Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.

Статья в тему: Создаем sitemap для Google и Яндекс

seoprofy.ua

Почему сайт не индексируется

Для начала, давайте рассмотрим основные причины, по которым индексация сайта может быть затруднена:

Неуникальный контент. Статьи на сайте должны быть уникальными, т.е. они не должны встречаться на других сайтах. Особенно поисковые системы не любят сайты с неуникальным контентом, которые торгуют ссылками. Такие сайты рано или поздно (а последнее время это очень часто происходит) попадают под фильтр ПС, из которого практически невозможно выбраться и страницы таких сайтов навсегда исчезают из поиска. Если же сайт имел неуникальный контент, но ссылки с него не продавались, то есть шанс, что сайт будет нормально индексироваться и ранжироваться, после того, как на Вашем сайте появятся уникальные статьи.

Переоптимизация, переспам. Не стоит злоупотреблять количеством ключевых фраз в статье, а также тегами <strong>, <em>, <i>, <b> и т.д. Всё должно смотреться естественно и непринуждённо.

Некачественный контент. Думаю, что не надо объяснять, что такое некачественный контент. Каждый из нас знает, какую он статью написал — для людей или для поисковых роботов…

Сайт является зеркалом другого сайта. Здесь имеется в виду ситуация, когда существует сайт с абсолютно уникальным контентом, но по смыслу и структуре он полностью или частично копирует другой сайт. Такие сайты также могут попасть под фильтр поисковых систем. По крайней мере, Яндекс такие сайты не очень любит и, если замечает, «склеивает» их с «главным зеркалом» всех сайтов.

Индексация сайта запрещена в файле robots.txt. Бывает так, что веб мастер случайно может запретить индексацию сайта в файле robots.txt. Так что в первую очередь проверяйте именно этот файл. Если Вы не знаете, что такое robots.txt, то в разделе «Использование robots.txt» от сервиса «Яндекс.Вебмастер», всё очень хорошо расписано.

Индексация сайта запрещена в мета тегах. Проверьте обязательно HTML-код страницы сайта. Если в коде присутствует код <meta name=»robots» content=»noindex,nofollow» />, то это означает, что поисковым роботам запрещено индексировать страницу, о чём говорит команда noindex, и переходить по ссылкам на странице (команда nofollow). Существует аналогичный мета тег <meta name=»robots» content=»none»/>. Данный мета тег также запрещает индексировать текст и переходить по ссылкам на странице.

Продажа ссылок с сайта. Яндекс не против того, чтобы владелец сайта немного (или много) подзаработал на продаже ссылок со своего сайта. Но, если Вы продаёте слишком много ссылок (а сколько, это «слишком много», известно только Яндексу), то это может повлечь за собой массовое выпадение страниц из индекса. Также Вы должны понимать, что если Вы хотите зарабатывать на сайте за счёт продажи ссылок, то этот сайт должен быть действительно полезным для пользователей Интернета (ну или хотя бы немного полезным), ну и, конечно же, сайт должен иметь уникальные статьи. На счёт Гугла такое сказать не могу. Вообще поисковая система Google старается индексировать всё что можно и что нельзя — этакий монстр индексирования (бывает, что Google индексирует даже те страницы, которые запрещены для индексации в файле robots.txt, если на них стоят ссылки), но не все страницы он хорошо ранжирует (учитывает). Также есть мнение, что вес страницы теряется, если на ней слишком много внешних ссылок — это ещё один повод для того чтобы НЕ превращать сайт в линк помойку.

Ссылочный взрыв. Если в один прекрасный день на неизвестный сайт начнут ссылаться сразу тысячи ресурсов, то это может повлечь за собой жёсткие санкции со стороны поисковых систем, как по отношению к сайту, на который ссылаются, так и к ссылающимся сайтам. В общем, пострадают все!

Хостинг блокирует роботов поисковых систем. К сожалению, бывает и такое. Так что, пользуйтесь услугами проверенных хостингов, которые имеют хорошую репутацию.

Домен, который Вы купили, был ранее забанен (заблокирован) поисковыми системами. Если есть возможность изучить историю покупаемого домена, то обязательно изучите её.

Сайт по ошибке попал под фильтр ПС. Такое бывает не так часто, но бывает (примерно в 1−2% случаев). Если Вы уверены, что Ваш сайт соответствует всем требованиям стандарта качества поисковых систем, то можно написать им письмо, и через некоторое время (возможно после долгой переписки) Ваш сайт проиндексируется.

Многие другие причины, которых так много, что в одну статью всё просто не поместится. Включайте логику, анализируйте сайт, и Вы сами сможете выявить причины, которые препятствуют индексации сайта в ПС.

Как ускорить индексацию сайта

Если Вы уверены, что Ваш сайт не нарушает правила игры (назовём это так), но он всё равно не индексируется довольно долгое время, то возможно поисковые роботы просто-напросто не могут найти Ваш сайт. Ну не могут они и всё тут! В этом случае Вам нужно помочь поисковой системе найти страницы Вашего сайта, о чём мы и поговорим далее.

Итак, как ускорить индексацию сайта в поисковых системах Яндекс и Гугл:

Шаг 1-й: Добавьте сайт в «Яндекс.Вебмастер» и «Центр веб-мастеров Google», если Вы ещё этого не сделали. Подчас этого достаточно, чтобы сайт нормально индексировался, но не всегда…

Шаг 2-й: Настройте правильно файл robots.txt. Закройте от индексации все страницы и папки, которые не нужно индексировать. Даже, если на некоторые файлы нет ссылок со страниц сайта, то поисковая система всё равно может их проиндексировать. Облегчите работу поисковым роботам и поисковые системы обязательно это оценят. Для каждого движка есть свои рекомендуемые настройки файла robots.txt, которые легко можно найти в Интернете. Но прежде чем использовать готовые решения, нужно чётко понимать, что Вы делаете, и, какие страницы закрываете от индексации, поэтому я настоятельно рекомендую Вам всё-таки изучить раздел «Использование robots.txt».

Шаг 3-й: Укажите в файле Sitemap все страницы, которые нужно проиндексировать. Многие web мастера пренебрегают этим файлом, считая его не столь значительным в процессе индексации сайта, а зря. Подчас именно файл Sitemap может поспособствовать тому, чтобы сайт проиндексировался. И в этом я совсем недавно убедился, когда мне дали в работу 3 сайта, у которых была одна общая проблема — в течение 6-ти месяцев у каждого сайта проиндексировалось всего лишь по 2−3 страницы в поисковой системе Гугл. Причём все эти сайты давно были добавлены в «Центр веб-мастеров Google» и «Яндекс.Вебмастер», а также на многие страницы с разных сайтов уже были проставлены ссылки. Как ни странно, данные сайты уже давно успешно индексировались в ПС Яндекс, но Гугл, по каким-то причинам обходил их стороной. Тогда я решил добавить файлы Sitemap на все сайты. И что Вы думаете — буквально через 2−3 недели все 3 сайта начали индексироваться в Гугле. Также я заметил, что если добавить сайт в панель вебмастера и там же указать путь к файлу Sitemap, то сайт нередко индексируется буквально за 1 день! Если Вы не знаете, что такое файл Sitemap, то Вы можете почитать о нём ЗДЕСЬ (Что такое файл Sitemap?). Практически у каждого движка есть свои плагины, которые генерируют файл Sitemap, но если у Вашего движка нет такой возможности, то Вы можете сгенерироваться файл Sitemap с помощью специального сервиса, такого как XML Sitemaps Generator. Просто введите адрес сайта и нажмите Start, после чего скачайте этот файл и загрузите его по ftp в коневую папку Вашего сайта. Затем укажите путь к файлу Sitemap в панели вебмастера.

Шаг 4-й: Создайте карту сайта. Карта сайта — это страница, на которой размещены все ссылки на страницы сайта. Карта сайта также помогает поисковым роботам быстрее проиндексировать сайт. Если Вам интересно, как выглядит карта сайта WebCaum.ru,  то Вы можете посмотреть её на данной странице.

Шаг 5-й (необязательно): Ускорить индексацию сайта внешними ссылками. Самый эффективный способ проиндексировать сайт с помощью внешних ссылок — это сделать так, чтобы на самые значимые страницы Вашего сайта ссылались различные (желательно тематические) блоги, поскольку именно они индексируются быстрее всего (если блог популярный и часто обновляемый, то он может индексироваться каждые 2 часа!). Получить вечные ссылки с блогов на сайт (достаточно по 2−3 ссылки на каждую страницу) Вы можете с помощью сервиса Blogun или любых других сервисов.

webcaum.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.