Узнать индексацию сайта

Поисковые системы по ряду причин индексируют не все страницы сайта или, наоборот, добавляют в индекс нежелательные. В итоге практически невозможно найти сайт, у которого бы количество страниц в Яндексе и Google совпадало.

Если расхождение не превышает 10%, то на это не все обращают внимание. Но такая позиция справедлива для СМИ и информационных сайтов, когда потеря малой части страниц не сказывается на общей посещаемости. А вот для интернет-магазинов и прочих коммерческих сайтов отсутствие товарных страниц в поиске (даже одной из десяти) — это потеря дохода.

Поэтому важно хотя бы раз в месяц проверять индексацию страниц в Яндексе и Google, сопоставлять результаты, выявлять, какие страницы отсутствуют в поиске, и принимать меры.

Проблема при мониторинге индексации

Посмотреть проиндексированные страницы не составляет труда. Сделать это можно путем выгрузки отчетов в панелях для вебмастеров:

  • Яндекс.Вебмастер («Индексирование» / «Страницы в поиске» / «Все страницы» / «Скачать таблицу XLS / CSV»);

Проверка индексации страниц в Яндекс Вебмастере

  • Google Search Console («Индекс» / «Покрытие» / «Страница без ошибок» / «Экспорт»).

проверка индексации в google search console

В итоге у вас будет 2 XLS-файла со списком страниц, проиндексированных в Яндексе и Google. Проблема в том, чтобы сопоставить эти списки и определить, каких URL не хватает.

Если у вас, скажем, до 100 URL, то можно сделать это вручную, отсортировав URL по алфавиту и выявив расхождения. Займет это минут 15-20. Если же количество URL составляет 500, 1000 или десятки тысяч, то ручная работа потребует часов или даже дней. В этом случае нужна автоматизация.

Инструмент онлайн-проверки индексации от PromoPult

Для быстрой проверки индексации онлайн в Яндексе и Google в PromoPult разработали инструмент «Анализ индексации страниц».

Возможности инструмента:

  • одновременная проверка проиндексированных страниц в Яндексе и Google (или в одной ПС);
  • возможность проверки сразу всех URL сайта по XML-карте;
  • нет ограничения по количеству URL.

Особенности:

  • работа «в облаке» — не нужно скачивать и устанавливать ПО или плагины;
  • выгрузка отчетов в формате XLSX;
  • уведомление на почту об окончании сбора данных;
  • хранение отчетов неограниченное время на сервере PromoPult.

Как работает инструмент проверки индексации?

Шаг 1. Добавление URL

Перейдите на страницу инструмента и добавьте URL, индексацию которых необходимо проверить. Сделать это можно тремя способами:

  • Добавление XML-карты сайта (способ подходит, если вам нужно проверить все URL сайта; для этого укажите полный путь к карте сайта в формате http://www.site.ru/sitemap.xml).

Проверка индексации страниц в PromoPult - Добавление XML-карты сайта

  • Загрузка XLSX-файла (в этом случае система проверит все URL, указанные на первом листе сайта; расположение URL по столбцам и строкам не имеет значения).

Проверка индексации страниц в PromoPult - Загрузка XLSX-файла

  • Добавление списка URL вручную (способ подходит, если вам нужно проверить не все URL сайта, а только некоторые из них; каждый URL указывайте с новой строки).

Проверка индексации страниц в PromoPult - Добавление списка URL вручную

В зависимости от того, из какого источника вы будете брать URL, решаются разные задачи:

Из XML-карты сайта или CMS. В этом случае можно проверить, какие из важных URL не проиндексированы.

Пример. В карте сайта 1250 URL, которые подлежат индексации. Мы вводим поочередно в Яндексе и Google команду:

site:yourdomain.ru

Получаем количество проиндексированных страниц — 684 и 1090.


количество проиндексированных страниц в яндексе и гугл

Задача — определить, каких страниц не хватает. Сканируем XML-карту сайта с помощью инструмента от PromoPult, получаем информацию по всем URL и выявляем несоответствия.

Полезно знать: Как ускорить индексацию сайта: 5 способов на все случаи жизни

Из отчета о проиндексированных страницах из Яндекс.Вебмастера или Google Search Console. Бывает, что в каком-то поисковике количество проиндексированных страниц превышает количество URL в карте сайта. В такой ситуации необходимо загрузить на проверку все URL из поисковика, в котором наблюдается такое превышение, — это позволит выявить «лишние» страницы.

Пример. В карте сайта 15 570 URL, которые подлежат индексации. Проверяем количество страниц по команде site:yourdomain.ru в Яндексе и Google:

сравнение индексации страниц в Яндексе и Google

В Яндексе количество страниц превышает количество страниц не только в Google, но и в карте сайта. Очевидно, что в индекс попали нежелательные страницы. Если запустить проверку только по URL из карты, то мы так и не узнаем, какие URL «лишние». Поэтому переходим в Яндекс.Вебмастер, выгружаем все страницы из поиска и проверяем их. Теперь проще разобраться, в чем проблема.


Чтобы не было проблем с индексацией, запустите продвижение сайта в комплексном SEO-модуле системы PromoPult. Внутренняя оптимизация, повышение авторитетности сайта, наполнение контентом — все это специалисты делают за вас. Вы лишь задаете бюджет и контролируете процесс.

Шаг 2. Указание ПС

На данном этапе нужно выбрать ПС для проверки индексации. Для выявления расхождений выбирают обе системы.

выбрать ПС для проверки индексации

Шаг 3. Получение результата

После завершения проверки отчет появится в «Списке задач». Кроме того, вам на почту придет уведомление:

проверить индексацию страниц в Яндексе и Google - Получение результата

Скачать отчет можно в формате XLSX:


проверить индексацию страниц в ПромоПульт - Скачать отчет XLSX

В файле 2 листа: результаты анализа и исходные данные. На первом листе 3 столбца: URL и данные по индексации (1 — страница проиндексирована, 0 — нет).

Проиндексированные страницы - Отчет XLSX

С помощью автофильтра вы легко определите, каких страниц нет в той или иной ПС:

Быстрый способ проверить индексацию страниц в Яндексе и Google

Сколько стоит использование инструмента?


Проверка 1 URL в одной поисковой системе обойдется в 0,02 руб. То есть для мониторинга сайта небольшого интернет-магазина на 1000 страниц нужно 40 рублей, более крупного сайта на 10000 страниц — 400 рублей. С учетом того, сколько времени экономит данный инструмент, его стоимость можно считать условной.

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

  • отдельные директивы для Яндекса и Google в robots.txt (в этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из Googlebot или Yandexbot; нужно проверить txt и при необходимости исправить директивы);
  • молодой сайт (требуется время, чтобы поисковики добавили все страницы в индекс; если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины);
  • нет XML-карты сайта (она помогает поисковикам лучше понимать структуру сайта, поэтому ее стоит обязательно создать и разместить в корне сайта);
  • наличие дублей страниц (возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента; решение — найти и устранить дубли);

  • низкая скорость работы сайта (робот может попросту не дождаться ответа и уйти ни с чем; решение — найти «узкие места» и ускорить работу сайта);
  • редкое добавление контента (чем реже вы добавляете новые страницы, тем реже роботы посещают сайт; естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения; решение — хотя бы раз в неделю создавать новую страницу с уникальным контентом, например, статьей для блога; если у вас не хватает времени для работы над контентом, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах);
  • редкое обновление устаревшего контента (если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет не скоро; избежать этого помогает настроенный Last-Modified и регулярная актуализация информации);
  • санкции поисковиков (ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет; в этом случае стоит проверить сайт на наличие фильтров и при необходимости выйти из-под них);
  • более 4 уровней вложенности (в такой ситуации поисковик не успевает добраться до части «глубоких» страниц; решение — переосмыслите структуру сайта, максимально упростите ее).

Для точной диагностики причин выпадания страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 10 бесплатных проверок!

Хотите дополнительно заработать? Поделитесь ссылкой на инструмент и получайте 10 % от расходов пользователей, которые перешли по ней.

Проверить индексацию страниц вашего сайта

blog.seopult.ru

Как узнать количество страниц на сайте?

Чтобы понимать, сколько еще страниц вашего проекта не проиндексировано, нужно знать их общее количество. Это позволит понять, как быстро индексируется ваш сайт. Сделать это можно несколькими способами:


  1. Посмотреть карту сайта. Ее вы найдете по адресу: название_вашего_сайта.ru/sitemap.xml. Здесь показываются в основном показываются все страницы, размещенные на ресурсе. Но иногда карта сайта может генерироваться не правильно, и часть страниц в ней может не быть.
  2. Воспользоваться специальной программой. Эти программы сканируют весь ваш сайт и выдают все страницы вашего сайта, пример таких программ Screaming Frog Seo (платная) иди Xenus Links Sleuth (бесплатная).

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

Панель инструментов Яндекс.Вебмастер

  1. Авторизуйтесь в Яндекс.Вебмастер.
  2. Перейдите в меню «Индексирование сайта».
  3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

  1. Выберите «Индексирование сайта».
  2. Дальше перейдите в «История».
  3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

Google

  1. Зайдите в панель управления сервиса Google Webmaster Tools.
  2. Кликните на вкладку Search Console.
  3. Перейдите в «Индекс Google».
  4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».
Проиндексированные страницы в Яндексе

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».
Дополнительные инструменты в Google

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Rds бар

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Бесплатная проверка индексации через сервис Serphunt

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.

Топвизор индексация

Заключение

Главная цель владельца любого веб-ресурса – добиться индексации всех страниц, которые будут доступны поисковым роботам для сканирования и копирования информации в базу данных. Реализовать эту задачу на большом сайте может быть очень непросто.

Но при правильном комплексном подходе, то есть, грамотной SEO-оптимизации, регулярном наполнении сайта качественным контентом и постоянном мониторинге процесса включения страниц в индекс поисковиков, можно добиться положительных результатов. Для этого мы в этой статье и рассказали о четырех методах проверки индексации сайта.

Знайте, что, если страницы слишком резко начали вылетать из поиска – с вашим ресурсом что-то не так. Но зачастую проблема таится не в процессе индексации, а в самой оптимизации. Желаете быстро индексироваться и попадать в ТОП выдачу поисковых запросов? Предлагайте целевой аудитории контент, превосходящий конкурентов.

webmasterie.ru

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Проверяйте индексацию в панели вебмастеров

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Количество качественных страниц растет, и они добавляются в индекс Проблемы с индексацией выглядят так: Сайт, закрытый от индексации

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

За последний час в индексе Google появились 49 страниц русскоязычной Википедии

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — RDS Bar для Google Chrome

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать 🙂

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

Ошибка с метатегом robots

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

  1. В панелях вебмастеров Google и Яндекс.
  2. С помощью поискового оператора «site:».
  3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
  4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

  1. Сделать копию.
  2. Выбрать доменную зону.
  3. Загрузить в столбец А список URL-адресов.
  4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Таблица для фиксации индексации сайтов

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

  1. Выбрать доменную зону.
  2. Выбрать регион.
  3. Ввести запрос (адрес сайта).
  4. Поставить «1», если хотите получить адрес и заголовок.
  5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

Таблица для фиксации результатов выдачи по оператору site: для Yandex

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

netpeak.net

Как происходит индексация сайта поисковыми системами?

Прежде всего, индексация сайта в поисковых системах – важная составляющая продвижения сайта. От того, как быстро сайт будет проиндексирован, зависит его появление на страницах поисковых систем. Для индексации существуют специальные поисковые «роботы», которые регулярно заходят на сайты и анализируют данные. И если пользователю видна только визуальная и информативная составляющая сайта, то «робот» анализирует весь его html-код. Поэтому при поисковом продвижении сайта следует учитывать правильное заполнение всех тегов (теги <title>, <description>, <H1>, <р> и так далее), грамотное размещение текста на странице, перелинковку, создание карты сайта, наличие микроразметки.

Индексацию можно осуществить несколькими способами:

  1. Создать сайт, наполнить его контентом, заполнить теги и ждать поискового робота, который автоматически проиндексирует каждую страничку и внесет их в базу. Для быстроты индексации можно оставить ссылку на сайт на авторитетных ресурсах, тогда робот, перейдя по ней, проиндексирует страницы. Это может потребовать определенных затрат, так как на популярных сайтах и порталах, либо запрещено оставлять ссылки на другие ресурсы, либо эта услуга платная.
  2. Самостоятельно заполнить форму на индексирование вашего ресурса в поисковой системе. В этом случае сайт встанет в очередь на индексацию и через некоторое время робот будет отправлен по указанному вами адресу. Этот процесс может затянуться, но зато он бесплатный и не требует особых усилий. Вот адреса для заполнения форм:
  1. Третий способ – совмещенный. Это совокупность первого и второго метода, когда заполняется форма в ПС и устанавливаются ссылки на ваш сайт на других ресурсах.
  2. Четвертый способ – ничего не делать и ждать, когда поисковые роботы самостоятельно проиндексируют страницы сайта. Это самый длительный по времени способ.

Не следует забывать о том, что если поисковый робот посетил ваш новый сайт, то будут проиндексированы не все страницы сразу. Запаситесь терпением и ждите, роботы периодически будут заходить и индексировать страницы, а также проверять их на изменения и соответствие требованиям поисковиков. Так как поисковых систем несколько (Google, Rambler, Яндекс и так далее), то и индексация сайта в разных поисковиках займет разное время. Правильность настройки HTTP-заголовков страниц может существенно повлиять на индексацию, поэтому к этому вопросу следует подойти с профессиональной точки зрения, а лучше доверить дело профессионалам. В SEO.RU используют свои методы ускорения и проверки индексации сайта в поисковых системах, что выгодно отличает нашу компанию от других.

Как проверить индексацию сайта в поисковых системах Яндекс и Google

Проверка индексации сайта в поисковых системах (включая подсчет числа проиндексированных страниц) проводится несколькими способами:

  1. Запросить название своей организации в поисковике и вручную проверить каждую ссылку на первой и второй страницах. Не очень удобно, не очень быстро.
  2. Запросить в поисковике URL своего сайта с правильным оператором – site. Например, проверим в Яндексе индексацию сайта seo.ru:

индексация сайта в Яндексе

«Нашлось 412 результатов» – значит, 412 страниц сайта Яндекс проиндексировал.

Обратите внимание, что в Яндексе существует два варианта подобных операторов:

  • вышеописанный site: – когда поиск производится по всем поддоменам и страницам указанного сайта;
  • более точный host: – когда поиск идет по страницам, размещенным на данном хосте, в таком случае запрос уже будет выглядеть вот так: host:seo.ru | host:www.seo.ru.

То же самое запросим в Google:

индексация сайта в Google

«Результатов: примерно 416» – проиндексировано 416 страниц.

Как запретить сайт к индексации?

На сайт можно наложить запрет к индексации. Делается это с помощью файла robots.txt, содержимое которого заполняется так:

User-agent: * – директива для выбора поисковой системы, где * – это все поисковики; если нужно запретить к индексации от какого-то одного поисковика, прописывается его название на латинице (Google, Yandex и так далее);

Disallow: / – закрываем сайт от поисковиков.

Напомним, файл robots.txt должен находиться в корневой папке сайта.

seo.ru

Что такое поисковая индексация сайта?

Обратимся к всезнающей Википедии:

Индексация в поисковых системах

То есть у поискового робота есть задача — обойти ресурс, открытый для индексации, а затем занести в базу информацию о нем. Если все прошло успешно, весь портал или отдельные его странички становятся доступными для поиска. Например, пользователь забивает в строке поиска Google «агентство копирайтинга» и вуаля перед ним предстает список ресурсов, релевантных этому запросу.

Поиск в Google по запросу агентство копирайтинга

Представим ситуацию, что сайт по какой-то причине закрыт от индексации, что тогда? Даже, если на вашем портале все в порядке с наличием экспертных текстов, ключевых слов, тематических изображений и видео на страничках, он может не попасть в поисковую выдачу.

Рекомендуем изучить: Как написать экспертную статью? 5 шагов к качественному тексту.

На практике это означает, что вам не удастся эффективно продвигать свой продукт или услугу в интернете. Чтобы такой неприятности точно не произошло, читаем дальше и узнаем, что нужно делать.

Проиндексированный и закрытый сайт

Как открыть сайт для индексации?

Первое, что нужно — проверить, открывать ли индексацию сайта в файле Robots.txt. Можно попросту забыть открыть здесь страницы веб-ресурса.

Подробнее об этом файле читайте здесь: Создать Robots.txt — просто, как 2х2.

Посмотрим, как обстоят дела с файлом Robots.txt на сайте Textum.

Анализ Robots.txt

Анализ файла в Yandex Webmaster показал, что сайт открыт для индексации в поисковых системах.

Также необходимо сообщить о новом ресурсе с помощью функций Yandex Webmaster и Search Console.

Ранее можно было пользоваться Гугл аддурилкой, но в конце июля 2018 г. Google заявил, что прекращает поддержку публичного метода отправки URL в поисковый индекс. Теперь страницу на сканирование и индексацию можно отправить только после подтверждения права сайта в панели инструментов Search Console.

Посмотреть как Googlebot

Кроме того, в Вебмастере Google и Яндекс можно добавить файл sitemap.xml (карта сайта), есть возможность поставить странички на переообход. Например, в Yandex Webmaster это выглядит так:

Переобход страниц в Yandex Webmaster

Также не забываем включить индексацию в системе управления сайтом, например у нас это WordPress (кстати, здесь же можно полность убрать портал с «глаз» поисковиков). Для этого переходим в админку, выбираем: параметры → чтение → видимость для поисковых систем. В зависимости от поставленной цели убираем или ставим здесь галочку.

Видимость сайта для поисковых систем

Вы все это уже сделали? Отлично, можно приступать к «десерту» – анализу индексации сайта. Это можно сделать как в онлайн-режиме, так и при помощи установленных плагинов, подробнее об этом далее.

Как проверить индексацию сайта в Google и Yandex?

С помощью мега популярных поисковиков можно не только найти нужную информацию в сети, но и промониторить свой ресурс.

Способ №1. Проверка с помощью Google и Yandex Вебмастер

Думаю, веб-мастера и seo-специалисты не понаслышке знакомы с таким полезным инструментом, как Webmaster. Поэтому начнем наши исследования именно с него.

Проверка индексации страниц сайта в Google:

  1. Заходим в Search Console.
  2. Выбираем в панели инструментов «Индекс Google».
  3. Кликаем на пункт «Статус индексирования».

В качестве примера возьмем сайт Textum и посмотрим, что же покажет Google Webmaster у нас.

Статус индексирования в Google Search Console

Как видим, синяя полосочка уверенно ползет вверх, странички на нашем ресурсе успешно индексируются. Если же график будет идти на убывание – тревожный звоночек, значит на портале не все в порядке с индексацией.

Читайте также: Гугл Вебмастер: настройка. 20 инструментов Search Console.

Как проверить индексацию страниц сайта в Яндекс:

  1. Заходим в Yandex.Webmaster.
  2. Переходим во вкладку «Индексирование».
  3. Выбираем пункт «Страницы в поиске».

Сервис предлагает сформировать график за определенный период. Можно посмотреть количество добавленных или удаленных страничек.

Количество добавленных и удаленных страниц в Yandex Webmaster

Подробнее о сервисе читайте здесь: Яндекс.Вебмастер: обзор 30 разделов и анализ 30 функций.

Способ №2. Прибегаем к помощи оператора поисковых систем

Чтобы спросить не у ясеня, а Google или Яндекс об индексации сайта нам понадобится оператор «site». Он выдаст данные о количестве проиндексированных страничек.

Нюанс: информация приблизительная, у разных поисковиков может существенно отличаться друг от друга.

Для проверки потребуется ввести в строке поиска Yandex или Google: site: адрес ресурса. В качестве подопытного портала используем Textum.

Вот что показал Гугл:

Поисковый оператор site в Google

И что выдал Яндекс:

Поисковый оператор site в Yandex

По версии Yandex у нас 91 страница участвует в поиске, Google более скромно сообщил о 69 страничках. Разница не очень существенная. Она говорит о том, что Yandex проиндексировал и малоинформативные страницы,  которые мы закрывали от индексации поисковыми системами в файле robots.txt.

Еще один вариант – поисковый оператор «info». В отличие от site, он показывает проиндексирована ли одна конкретная страница.

Поисковый оператор info

Как видим, страница отразилась в результатах поиска (также здесь указана скорость ее загрузки), значит, она успешно проиндексирована поисковиками.

Способ №3. Используем специальные сайты

Для упрощения работы есть одна фишка. Чтобы не заходить сначала в один поисковик, затем в другой, можно это сделать в пару кликов: заходим на сайт seogadget.ru→ вставляем адрес страницы→ нажимаем «Проверить». Все, смотрим результат.

Проверка индексации сайта в seogadget.ru

Еще один простой и быстрый способ проверки индексации сайта – зайти на xseo.in. Алгоритм действия аналогичен предыдущему.

Вставляем в специальное поле адрес сайта, отдельной страницы, кликаем на «Проверить».

Проверка индексации сайта в xseo.in

После этих нехитрых манипуляций сервис в считанные секунды выдает результат.

Результат проверка индексации сайта в xseo.in

Разница между этими двумя способами: на seogadget.ru можно осуществить массовую проверку индексации сайтов, xseo.in – по одному.

Способ №4. Устанавливаем плагины

От ручного способа переходим к автоматизированному методу.

Быстро проверить индексацию сайта (страниц, картинок) нам поможет плагин RDS bar:

  • устанавливаем расширение в своем браузере;
  • открываем нужный сайт и выбираем страницу;
  • кликаем на расширение вверху экрана;
  • знакомимся с результатами.

Вот как примерно это будет выглядеть.

Плагин RDS bar для проверки индексации сайта

Плагин RDS bar предоставит информацию о количестве проиндексированных страничек; дате последнего обновления портала «глазами» робота; получении значения ИКС; определении Google Pagerank, количестве весомых входящих ссылок на сайт и еще множество другой полезной инфы.

Сервисы для быстрой проверки индексации сайта

Многие подобные инструменты с расширенным функционалом находятся в платном доступе. Но есть и приятные бонусы – несколько дней пробных и бесплатных. Можно протестировать сервисы и понять, нужны ли они вам для дальнейшей работы.

Способ №5. Сервис Серпхант

Серпхант – это многофункциональный сервис, предназначенный для анализа сайта и оценки эффективности проведенных работ по оптимизации ресурса. Он предлагает ряд бесплатных инструментов, один из которых – это проверка индексации страниц https://serphunt.ru/indexing/ в Яндексе и Google.

Серпхант сервис для проверки индексации сайта

Из преимуществ этого инструмента отметим следующие:

  • бесплатное использование;
  • в день можно проверить до 50 страниц;
  • достоверность полученных результатов;
  • высокая скорость проверки;
  • инструмент прост в использовании.

Проверка индексации страниц проводится в такой последовательности:

  1. вводим список страниц в специально отведенное поле;
  2. нажимаем на кнопку «Проверить».

Серпхант индексация сайта

Воспользовавшись данным инструментом, вы легко и быстро получите необходимую информацию.

Способ №6. Netpeak Spider и Netpeak Checker

Для примера предлагаю рассмотреть связку Netpeak Spider и Netpeak Checker. После регистрации здесь аккаунта пользователю предоставят 14 дней бесплатного пользования, также потребуется скачать программу на компьютер. Посмотрим, что нам покажет по Textum Netpeak Spider. Многообещающая надпись вверху экрана сообщает, что сервис предлагает провести комплексный seo-аудит всего сайта.

После всех манипуляций с установками, перед нами откроется окошко, куда нужно ввести URL проверочной страницы.

Анализ сайта в Netpeak Spider

Затем кликаем на старт и получаем ответ от программы.

Результаты анализа сайта в Netpeak Spider

Какие данные можно почерпнуть из Netpeak Spider:

  • количество URL с важными ошибками;
  • индексированные страницы;
  • критичность ошибок (средняя, низкая);
  • время ответа сервера;
  • тип контента (например, изображения, HTML) и др.

Далее приступаем к тестированию Netpeak Checker. После установки видим такое окошко.

Проверка страниц в Netpeak Checker

Перетаскиваем в зеленое поле адрес нужной нам страницы, опять кликаем на старт и через 1-2 секунды получаем результат. Кстати, данные можно экспортировать в Excel.

Результат проверки сайта в Netpeak Checker

Netpeak Checker расскажет пользователю о страничках на сайте такую информацию:

  • код ответа сервера;
  • время ответа сервера;
  • скорость загрузки страницы;
  • описание title и description;
  • количество проиндексированных URL;
  • сколько раз пользователи поделились страницей в Facebook и Twitter.

Полезная статья о работе в соц сетях: Способы рекламы фан-страницы в Facebook. Как раскрутить свой бизнес паблик?

Каждый показатель при наведении на него мышкой рассказывает, для чего он нужен, трудностей с пониманием отчета не должно возникнуть. Также в программах есть настройки для проверки индексации и других показателей сайта.

Netpeak Checker – параметры проверки сайта

Для первичной проверки и выявления основных ошибок на сайте 14 бесплатных дней пользования вполне достаточно. Дальше думайте сами, решайте сами, покупать или нет.

Способ №7. Программа YCCY

Также можно воспользоваться возможностями простенькой, главное, бесплатной программой YCCY. Минус только один – ее нужно скачать и установить на ПК или ноут. Но делается это очень быстро, скачать прогу можно с официального сайта YCCY.

После распаковки и установки файлов вы увидите такое окошечко, в котором нужно кликнуть на вкладку Indexator.

Программа для проверки индексации сайта YCCY

В список исходных URL вносим 1 или несколько страниц, выбираем поисковую систему и жмем «Начать проверку».

Проверка индексации сайта в YCCY

Здесь все просто, если страница есть или ее нет в поиске, то она появится в соответствующем разделе после проверки.

Почему веб-ресурс не индексируется?

Онлайн-проверка сайта выявила проблемы на отдельных страницах или портал вообще закрыт от индексации?

Предлагаю ознакомиться с распространенными причинами этого:

  1. Ошибки или отсутствие sitemap.xml. Карта сайта поможет правильной индексации ресурса, так как направит робота по всем нужным страницам. Sitemap.xml добавляется в Вебмастер Google и Yandex.
  2. Сайт с нуля. Только созданный ресурс индексируется не за час или день. Процесс может затянуться от 10 дней до месяца. Обычно в Google индексирование происходит быстрее, чем в Yandex.
  3. Ошибки на сайте. Обо всех проблемах регулярно оповещает Вебмастер Google или Yandex. Вовремя устраняйте все проблемы, которые обнаружил робот-поисковик во время обхода.
  4. Контент. Проанализируйте качество его наполнения, если на страничках вообще нет текстовой и визуальной информации – добавьте. Можно написать 2-3 тематические статьи, разместить на уже проиндексированных страницах ресурса и сделать с них ссылки на нужную страницу, которой еще нет в поиске.
  5. Ошибки в Robots.txt. В Robots.txt можно сделать запрет индексации всего сайта случайно, внеся лишний символ в код. Если вы заметили в этом файле подобную конструкцию, то нужно срочно принимать меры по устранению ошибок в файле.

Запрет индексации сайта в Robots.txt

Также к проблемам с индексацией может привести неуникальный контент, дубли страниц, проблемы с доступность страниц или скоростью загрузки.

Полезно изучить: Чек-лист для проверки текста на «профпригодность»: уникальность, SEO, иллюстрации.

Как ускорить индексацию сайта?

Как ускорить индексацию сайта

 

Если вы уже уведомили Google и Yandex о новом портале или страничках на нем, не лишним будет простимулировать процесс индексации следующим образом:

  1. Внешние ссылки. Проставьте ссылки с других порталов на ваш ресурс. Важно, чтобы это были проиндексированные, авторитетные сайты с релевантным контентом.
  2. Sitemap.xml. Обязательно должна быть в наличии актуальная карта сайта, чтобы робот мог, не блуждая посетить все важные странички.
  3. Вес странички. Старайтесь максимально «облегчить» свой портал, не стоит нагружать поисковый робот лишней работой и заставлять его сканировать ненужные коды или скрипты. Чем меньше вес страницы, тем быстрее поисковик просканирует ее содержание и продвинется дальше по сайту.
  4. Переобход страниц. Мы регулярно пользуемся этим инструментом в Яндекс Вебмастере, размещая наши статьи на сайте Textum. Сюда вводим адрес страницы, которую нужно проиндексировать в приоритетном порядке.
  5. Посмотреть как Googlebot. Такая возможность есть в панели инструментов Search Console. В форме нужно ввести адрес карты сайта. Добавленный файл отобразится в списке под формой, кликаем «Отправить в индекс». После этого робот пройдется по всем ссылкам с sitemap.xml, приняв за исходную страничку карту ресурса.
  6. Социальные сети. У вашей компании есть страничка в соц сетях? Отлично, поставьте прямые ссылки на веб-ресурс в Facebook или Twitter.

Анонс статьи в Facebook

 

Выше на скрине показано, как в агентстве Textum делаются анонсы к статьям в нашем блоге на страничке в Facebook. К тексту обязательно добавляем ссылку на статью.

Подробнее об этом читайте здесь: Создаем пост в Facebook: 5 беспроигрышных трюков.

Подводим итоги

Кратенько напомню, что мы сегодня изучали:

  • Индексация сайта нужна, чтобы портал появился в результатах выдачи поисковиков. Если ресурса нет в индексе – значить Google, Yandex и другие о нем не знают, и не будут показывать web-ресурс пользователям по запросам.
  • Создать инструкции для правильной индексации можно с помощью Robots.txt. Здесь же можно закрыть сайт или отдельные страницы от поисковой индексации.
  • Проверку индексации можно делать вручную, воспользовавшись поисковыми операторами, или же автоматически – с помощью плагинов, программ, например, Netpeak Checker или YCCY.
  • Не забываем о важности и нужности sitemap.xml, а также уникального, тематического контента на вашем портале.

Надеюсь, вы с пользой провели время за чтением этой статьи. Поделитесь с нами в комментариях, когда вы последний раз проверяли индексацию своего сайта? Выявили ли какие-то проблемы? Помогло ли устранение ошибок индексации в оптимизации ресурса? Нам интересно ваше мнение. Ждем комментарии☺

textum.com.ua

Почему так важна проверка индексации сайта

Ваш сайт будет приносить прибыль, если уровень посещаемости его будет высоким, так как только этим можно заинтересовать рекламодателей.

Большая часть посетителей сайтов переходит на них по ссылкам из поисковиков, выдаваемым после введения запроса. Роботы поисковых систем проводят сверку запроса с информацией баз данных и выдает наиболее актуальные результаты. Попасть ресурсу в такую базу данных можно только после прохождения индексации поисковиком. Если сайт не проиндексировать или отдельные его страницы, то и потенциальный клиент никак не попадет на ваш ресурс.

Одним из факторов, влияющих на скорость индексации, является посещаемость ресурса. Но есть и другие.

Каждый день в Интернете появляются новые сайты, схожие по тематике с вашим. Они являются конкурентами, поскольку их контент дублирует содержимое вашего ресурса. С увеличением числа конкурирующих веб-страниц уникальность сайта падает. Причина этого – публикация в Сети материалов, представляющих собой рерайт уже имеющихся статей, поэтому так необходим учет поисковой системой уникального текста.

Также отсутствие индексации материалов сайта может стать причиной атаки ресурса мошенниками. Они могут скопировать ваш контент, выложить на своей странице и быстро проиндексировать его, таким образом заявив роботам поисковиков о своем авторстве. Впоследствии поисковые системы будут определять ваш контент как неуникальный, и это может стать причиной бана вашего ресурса.

В связи с этим так важен контроль индексации и ускорение ее проведения, особенно для молодых сайтов, только начинающих свое продвижение.

Проверка индексации сайта в Яндексе и Google с помощью операторов

Проверка индексации сайта в Яндексе

Проверка индексации страницы сайта в Яндексе достаточно проста. Для проверки количества находящихся в индексе поисковика страниц используются такие операторы:

Рассмотрим применение этих операторов на примере нашего сайта sales-generator.ru. Сначала используем оператор «site». Нужно зайти в Яндекс и в строке поиска ввести: site:sales-generator.ru. Поисковик выдает следующий результат:

Затем нужно использовать оператор «host». Пример приведем опять на сайте sales-generator.ru. Снова нужно зайти в Яндекс и вбить в поиск host:sales-generator.ru. Результат проверки индексации представлен на скриншоте ниже:

Нельзя писать служебные слова с ошибками. К примеру, когда мы вбивали в строку поиска site :sales-generator.ru, Яндекс выдавал какую-то непонятную информацию. Оказалось, ошибка заключалась в написании пробела между служебным словом и адресом ресурса. Такого быть не должно, и всю фразу нужно писать слитно.

Обратите внимание, что проверяли домен мы без www, поскольку он является главным зеркалом. Можно провести проверку индексации с помощью операторов «site» и «host» c www.

На запрос с оператором «site» поисковик выдал следующий результат:

Вот результат запроса с оператором «host»:

Проверка индексации сайта в Google

Для проверки, сколько страниц находится в индексе поисковика Google, используют оператор «site». Он позволяет узнать число страниц домена в индексе поисковой системы. При написании домена с www Google выведет страницы только для этого случая, как и при написании домена без www. Этим проверка индексации сайта в Google отличается от таковой в Яндексе.

Приведем пример. В строке поиска Google вводим: site:sales-generator.ru.

Результат система выдает следующий:

Google нашел 58 страниц в отличие от 24, найденных Яндексом.

Вобьем в поиск домен с www: site:www.sales-generator.ru. Результат будет таким:

Как и ожидалось, ни одной страницы не найдено.

Проверка индексации страницы сайта

Самый простой способ проверить индексацию отдельной страницы в Яндексе – в самом поиске. Нужно ввести в строку поиска ее адрес. При наличии страницы в индексе будет выведен ее сниппет. В Google проверяют индексацию страниц так же.

Проверка индексации страниц сайта с помощью инструментов Яндекса и Google

Проверка индексации сайта в Yandex Webmaster

Проверку сделать несложно: нужно в вебмастере открыть проверяемый ресурс и нажать «Проверить URL». После этого следует ввести ссылку из строки адреса браузера требуемой страницы сайта (при этом в конце необходимо обязательно поставить слеш):

После того как вы введете адрес, сервис начнет обрабатывать запрос. На это уйдет немного времени. Затем появится ссылка «Готово», на которую нужно кликнуть.

Откроется страница, на которой будет содержаться детальная информация: был ли робот на данном сайте, индексирован ли его контент и другие сведения. В случае если робот уже был на странице, выведется сообщение: «Адрес страницы уже известен роботу, но в данный момент контент страницы ещё не проиндексирован». Наличие такого ответа позволяет вебмастеру быть спокойным: индексация контента будет проведена через 1 или 2 АПА (обновления базы поиска).

Также будет доступна такая информация: есть ли на проверяемую страницу внешние и внутренние ссылки, дату последнего обхода роботом, статус индексирования.

Если же ваша страница не посещается роботом в течение длительного времени, зайдите в раздел «Помощь». Может быть, Яндекс порекомендует эффективный способ сделать процесс индексации более быстрым.

Проверка индексации сайта в Google Webmaster

Порядок проверки следующий: зайдите в «Индекс Google» -> «Статус индексирования» и выберите «Расширенные данные»:

Там вы увидите информацию о количестве проиндексированных и заблокированных в Robots.txt страниц. Однако вывод данных задерживается, и их корректность не всегда гарантирована.

Проверка индексации сайта с помощью букмарклетов и плагинов

Плагины и букмарклеты (небольшие программы на языке javascript, сохраняемые в виде закладок браузера) позволяют автоматизировать процесс проверки индексации. Их использование не требует открытия поисковых систем и ввода запроса в строку поиска.

Эту задачу выполняют плагины и скрипты:

На картинке представлен скриншот плагина RDS bar для Google Chrome. Данный плагин для Mozilla Firefox еще лучше. Он позволяет провести проверку индексации отдельных страниц и всего ресурса в целом. Есть и минус – в бесплатных версиях постоянно выскакивает капча.

Букмарклет «Проверка индексации». Сохраните ссылку в закладках, затем перейдите на проверяемый сайт и откройте закладку. В новой вкладке Google выдаст вам результаты проверки.

Лучшие сервисы проверки индексации сайта

Если способы проверки, представленные выше, дают вам не всю необходимую информацию, можете работать с онлайн сервисами. Хотя результаты их работы не всегда хороши. Иногда наблюдается большая разница в получаемых данных.

Проверку индексации сайта онлайн провести очень легко, так как сервисов представлено большое количество. Остановимся на наиболее точных:

XSeo

Позволяет быстро узнать, сколько страниц содержится в Google и Яндекс. Преимущество сервиса в разделении индексов Google на главный и второстепенный (supplemental result).

Чтобы проверить сайт, нужно перейти по приведенной выше ссылке, ввести свой домен и нажать «Проверить». Результат будет такой:

PR-CY

Разработал этот сервис такой хороший и полезный форум, как PR-CY. Кроме проверки индексации можно узнать следующие параметры:

  • ТИЦ, PR;
  • находится ли сайт в каталоге Яндекса и Dmoz;
  • внешние ссылки.

Для получения результата после перехода по ссылке нужно ввести свой домен.

Сколько страниц есть в Google:

Сколько страниц в Яндексе:

Чтобы проверить нужные параметры, можно пользоваться данным сервисом. Он очень хорошо работает и прост в использовании.

Webmasters

Сервис разработан SEO-форумом. Качество его результатов хорошее. Преимущество сервиса – возможность единовременной проверки нескольких доменов. Чтобы проверить сайт, нужно совершить переход по ссылке и ввести адрес ресурса.

Почему не индексируется сайт в поисковиках

Ошибка 404

Нужно проверить действие скриптов при обнаружении ошибок. Если в сообщении скрипта об ошибке будет выдаваться код нормального завершения 200, то его индексация будет проведена. А в случае возврата скриптом кода 404 индексирования сообщения об ошибке не произойдет.

С обычными документами ситуация аналогична. Есть серверы, в настройках которых при обнаружении ошибки предусмотрено отправление сообщения, содержащего код нормального завершения 200. При этом робот не может провести удаление ссылки на сайт в базе данных. Современные серверы предусматривают возможность изменения стандартных сообщений об ошибках и исправления их кода.

Спам

Спамом не стоит пользоваться. Во-первых, потому что это нехорошо и посетителей сайта только раздражает. А во-вторых, потому что Яндексом предусмотрено отслеживание таких недобросовестных действий и снижение позиций документа в поисковой выдаче.

Также применение спама обусловливает увеличение размера документа, уменьшение контрастности слов в нем. Это тоже негативно сказывается на позициях его. Сайты и страницы злостных нарушителей Яндекс может вовсе исключить из базы.

Если одна страница перенаправляет пользователя на другую мгновенно (время перенаправления равно 0), то ее тоже исключат из индексирования.

Яндекс-поиск не помогает раскручивать сайты, его задача – удовлетворить потребности посетителей в нужных ему сведениях. Тем не менее, раскрутить сайт в Яндексе можно, разместив там рекламу.

Неправильные даты

Яндекс позволяет искать и сортировать материалы по датам, однако информация о дате изменения их правдива лишь в 80 % случаев. Сервер нужно настраивать правильно. Обеспечьте посетителям доступ к дополнительным сведениям и корректный показ своих страниц при поиске по датам.

Дополнительные данные высылаются в «заголовках HTTP» веб-сервером непосредственно с HTML-документом. Там может содержаться информация о том, когда был последний раз изменен документ (в заголовке «Last-Modified»). Наша настоятельная рекомендация – настройте ваш веб-сервер таким образом, чтобы эта дата высылалась им. Может быть, для этого понадобится немного исправить скрипты CGI или ISAPI, которые вы используете.

Неправильная кодировка

Помимо HTML-документа в сообщении веб-сервера содержатся дополнительные данные в «заголовках HTTP». К примеру, кодировка документа указывается в заголовке «Content-Type», параметр charset:

или:

Обязательно указание веб-сервером кодировки всех не англоязычных документов. В случае отсутствия кодировки потребуется ее установка в браузере самим пользователем, что влечет за собой неудобства. Если конфигурацию сервера исправить, он будет присылать кодировку.

Индексирование одинаковых документов в разных кодировках

Если web-серверы выдают одинаковые документы в разных кодировках, то расход ресурсов при их индексации очень большой. В базах данных отечественных поисковиков документы хранятся в одной кодировке. Рекомендуется использовать для индексации только одну кодировку. Если выдача кодировок осуществляется по портам сервера, то на разных серверах/портах нужно выдавать разный robots.txt. То есть в каждом сервере/порту нужно дополнительно прописывать:

Если выдача кодировок осуществляется по директориям, то понадобится единственный файл robots.txt, в котором следует написать:

Индексирование одного сайта на разных серверах

Возникновение проблемы возможно при наличии у сервера зеркал либо в случае получения кодировок путем изменения префикса в имени хоста. К примеру, кодировки для хоста www.chto-to.ru могут быть следующими: win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ru и т.д. Определить, какой из этих адресов основной, робот не может. Он лишь видит, что есть два полностью совпадающих документа и проводит индексацию одного из них.

То есть не исключена ситуация, что индексирование вашего контента будет проведено на разных хостах. Чтобы проиндексировать ресурс по одному адресу, нужно задать соответствующий файл robots.txt. Через определенное время прошедшие индексацию документы будут ссылаться на нужный адрес.

Не рекомендуется открытие для роботов поисковых систем контента вашего ресурса под разными именами или портами. Добиться улучшения индексации вам не удастся. Сервер будет испытывать нагрузку, как и сеть. Это может привести к негативным последствиям.

К примеру, поисковикам не всегда понятно, какое из «зеркал» вашего сайта основное. Они могут остановить свой выбор на любом. В настройках некоторых поисковиков предусмотрено и вовсе удаление сайтов, контент которых идентичен.

Избежать этой проблемы можно, запретив при написании вашего сайта robots.txt индексировать любые адреса, не являющиеся основными.

sales-generator.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Adblock
detector