Тег noindex


Здравствуйте, дорогие посетители!

Если вы попали на данную страницу, то вероятнее всего, что где-то вам посоветовали использовать тег noindex для закрытия какого-либо содержимого от индексации.

В этой статьи я вкратце расскажу, зачем он нужен и особенности его применения. Также покажу, где его применяю я на своем ресурсе.

Общие сведения

Как и в случае с атрибутом nofollow, с которым я рекомендую ознакомиться, noindex имеет значения, как в случае обычного тега, так и мета-тега.

  • Тег noindex закрывает от индексации только те части, которые заключены внутри него;
  • Мета-тег noindex — закрывает всю страницу от индексирования.

В первом случае, тегом оборачиваются необходимые части текста на страницах, которые не нужно индексировать. Это могут быть служебные участки текста или же какая-то конфиденциальная информация.

Тег можно использовать, как в общепринятом варианте, так и валидном, чтобы сделать код страницы валидным и убрать ошибки за счет тега. Снизу даю 2 строки, первая из которых обычный вариант, а вторая — валидный.


Какой вариант использовать, решайте сами. Я же пришел ко второму.

В случае же с мета-тегом, noindex добавляется в шапку сайта, что запрещает всю страницу от индексации. Необходим в том же случае (служебные страницы и так далее), только уже для полной страницы.

В данном случае noindex является значением мета-тега robots (см. ниже).

«>

Теперь по поводу использования данного тега.

Применение

Как я уже я писал выше, применять его стоит в том случае, если на странице имеется какая-то служебная информация. Также это имеет место, когда имеются неуникальные куски текста, которые пагубно влияют на продвижения страницы. Их также можно закрывать тегом noindex.

Если же взять мета-тег, который применяется ко всей странице и содержится внутри мета-тега robots (скриншот выше), то данный случай стоит применять для закрытия целых страниц от индексации. Это могут быть целые служебные страницы, не несущие никакой пользы сайту и посетителям. Например, страницы контактов, карты сайта и так далее.

Также имеет место закрытие страниц пагинации, то есть тех страниц, которые разбиваются на списки. Например, в постраничной навигации на сайте можно закрыть все страницы, кроме первой, чтобы обезопасить себя от появления дублированного контента.


«>

Хотя, в последнее время я перестал закрывать страницы мета-тегом noindex. Связано это с произведенным мной анализом других популярных сайтов. Я увидел, что никто из гигантов не использует такое закрытие. Исходя из этого, я также убрал. Хотя раньше я добавлял noindex на такие страницы и все работало на ура. Поэтому, если у вас мета-тег добавляется на страницы пагинации, то можете не переживать.

Главное, чтобы сами контентные страницы были полностью открыти и на них не было мета-тега noindex.

Посмотреть его наличие можно в исходном коде страницы, нажав комбинацию клавиш ctrl+u.

Касаемо моего сайта, то я применяю тег и довольно часто, но не в самих статьях, а в самой верстке шаблона. Я закрываю все части, которые не несут смысловой нагрузки сайту:

  • социальные кнопки;
  • формы подписки;
  • на страницах рубрик, архивов и поиска закрываю текст краткого анонса, чтобы не дублировать контент, ведь он доступен и в полной версии статьи.

Проверить закрытые части данным тегом можно с помощью дополнения к браузеру RDS bar.

Вот, как выглядит закрытие формы подписки и социальных кнопок при активном RDS баре (закрытые области подсвечиваются коричневым).

«>

А вот закрытый кусок текста на страницах рубрик, архивов и поиска.

«>

Таким образом можно закрыть очень много ненужного в своем шаблоне.

На этом можно заканчивать данный материал. Больше о данном теге ничего толкового и не скажешь. В окончание хочу сказать, что если вы хотите закрывать внешние ссылки в noindex, то закроется только содержимое ссылки, то есть ее анкор.

Сама же ссылка работать будет и вес также будет передаваться акцептору. Для закрытия внешних ссылок, нужно использовать атрибут nofollow.

Если у вас остались какие-то вопросы по поводу тега noindex, то пишите их в комментариях под блоком похожих записей, которые также можете почитать. Уверяю вас, будет интересно.

Все, друзья. До связи.

С уважением, Константин Хмелев!

Тег noindex

kostyakhmelev.ru

Noindex


Тег noindex используется, чтобы запретить индексацию какой-то определенной части текста. Следует помнить, что ссылки и изображения этот тег от поисковиков не закрывает. Если все-таки попытаться закрыть этим тегом анкор со ссылкой, то под индексацию не попадет только анкор (словосочетание), а сама ссылка однозначно попадает в индекс.

Noindex запрещает индексацию части кода, находящуюся между открывающим и закрывающим тегами. Вот пример:

<noindex> Этот текст Яндекс не индексирует </noindex>

Естественно, его не стоит путать с мета-тегом ноиндекс, который прописывается вначале страницы, они имеют различные задачи. Если взять мета-тег <meta name=»robots» content=»noindex,nofollow»> , то он запрещает индексирование всей страницы и переход по ссылкам. Этот запрет можно также прописать в файле robots.txt и такие страницы поисковыми роботами не будут учтены.

Валидный noindex

Некоторые HTML-редакторы noindex не воспринимают, поскольку он не является валидным. К примеру, в WordPress визуальный редактор его попросту удаляет. Но валидность тегу все же придать можно:

<!-- noindex --> Текст закрыт валидным ноиндекс <!--/ noindex -->


Если в HTML-редакторе прописать тег в такой форме, то он будет абсолютно валиден и можно не бояться, что он исчезнет. Тег noindex воспринимает только поисковый бот Яндекса, робот Гугла на него абсолютно не реагирует.

Некоторые оптимизаторы допускают ошибку, когда советуют закрыть все ссылки такими тегами noindex и nofollow, но об этом будет рассказано ниже. Что касается работы тега ноиндекс, то она безотказна. Абсолютно вся заключенная в этих тегах информация в индекс не попадает. Но некоторые вебмастера утверждают, что иногда все же текст внутри этих тегов индексируется ботами – да, действительно такое случается.

А это все потому, что Yandex изначально индексирует полностью весь html-код страницы, даже находящийся внутри noindex, но затем происходит фильтрация. Поэтому вначале действительно проиндексирована вся страница, но через некоторое время html-код срабатывает и тест, заключенный в этот тег «вылетает» из индексации.

Можно даже не соблюдать вложенность тега noindex – он все равно сработает (об этом рассказывается в справочной Яндекса). Не забывайте, используя, открывающий <noindex> в конце исключаемого текста поставить закрывающий </noindex>, а то весь текст, идущий после тега не проиндексируется.

Nofollow

Атрибут rel=»nofollow» имеет задачу закрывать от поисковиков ссылки, расположенные в тексте. Он используется оптимизаторами для исключения передачи веса со ссылающегося ресурса на ссылаемый. Яндексу об этом атрибуте прекрасно известно.


Необходимо знать, что nofollow вес на странице не сохраняет – если ссылка заключена в этот тег. Вес ресурса по ней не переходит, а наоборот «сгорает» или при присутствии на странице других не закрытых атрибутом ссылок, вес будет распределяться между ними. И если на странице сайта присутствует хотя бы одна внешняя активная ссылка, то вес страницы будет уходить.

Даже если вы закроете все внешние ссылки атрибутом nofollow – то вес все равно сохранен не будет – он «сгорит». Поэтому все внешние ссылки закрывать не имеет смысла.

Основным отличием между nofollow и noindex является то, что нофоллоу – атрибут для тега <a>, который запрещает передачу веса по ссылке, а ноиндекс – это тег, который закрывает от индексации нужный вам текст. Вот пример использования атрибута nofollow:

<a href="http://адрес_сайта" rel="nofollow">Текст ссылки</a>

Естественно, в ссылках, которые ведут на внутренние странички блога атрибут nofollow ставить бессмысленно, хотя бывают исключения. В тех случаях, когда вес со страницы нужно передать по выбранным внутренним ссылкам, все остальные можно закрыть.

Пример совместного использования nofollow и noindex

Прекрасно себя чувствуют оба тега nofollow и noindex, когда они находятся в непосредственной близости. Вот пример их использования:

<noindex><a href="http://адрес_сайта/" rel="nofollow">Текст ссылки</a></noindex>


Оформление ссылки, таким образом, поможет вам удержать вес страницы и к тому же поисковый бот Яндекса анкор не увидит. В заключении нужно сказать, что не нужно закрывать тегом ноиндекс ссылки, таким образом, вы запрещаете индексацию только анкора, но не самой ссылки. Для нее будет достаточно одного атрибута нофоллоу.

www.raskruty.ru

Зачем использовать тег <noindex> и атрибут rel=«nofollow»

Невзирая на то, что мы упоминаем тег <noindex> и атрибут rel=«nofollow» в пределах одной статьи, они являются совершенно разными элементами кода страниц сайта и соответственно используются для различных целей. Для каких именно, читайте далее по тексту.

 

Тег <noindex>. Значение и условия применения

Тег <noindex> – размещаемый в HTML-коде странички тег, который запрещает боту поисковой системы Яндекс индексировать часть текста (заключенную внутри него). Тег noindex  Яндекс ввел по собственной инициативе, которую до сегодняшнего дня разделяет лишь Рамблер.

Поэтому при использовании тега noindex, Google не будет обращать на него внимания.

Если нужно, чтобы не индексировалась ссылка, noindex не сможет помочь.

Тег noindex
 
В данном примере от индексации будет закрыт лишь анкор «Курсы SEO», а сама ссылка все же будет учтена и по ней передастся вес.


Кстати, довольно часто встречающаяся в сети конструкция rel=«noindex» является ошибочной, поскольку это не атрибут, а тег.

Еще один момент, к которому нужно быть готовым  – закрывая от робота часть текста, <noindex> приводит к тому, что валидация сайта будет содержать множество ошибок в коде. Причина все та же: среди тех, кто понимает тег noindex – Яндекс и никто более из существенных поисковиков. Кроме того, этот тег не является стандартизированным.

Но выход все же есть. Для того, чтобы исключить ошибки, связанные с использованием этого тега, существует вариант его написания, который устраивает абсолютно всех:

Тег noindex
 
В этом случае тег будет распознан Яндексом, другие поисковики не обратят на него внимания, а проверка кода не будет воспринимать его, как ошибку.

Несмотря на явную пользу от возможности использовать тег noindex, Google так и не принял его и не создал ничего аналогичного.

Кстати о пользе – вот несколько конкретных ситуаций, в которых данный тег незаменим (не забываем, это актуально только для Яндекса):

  1.  Когда нужно спрятать неуникальный текстовый контент.
     
  2.  Закрыть от глаз поисковых роботов коды различных счетчиков.
     
  3.  Убрать из индексации текст, который слишком часто меняется и его добавление в индекс является бессмысленным.
     

rel=«nofollow». Атрибут, который «работает» со всеми поисковиками

Для того чтобы дать роботу поисковика указание о том, что не нужно переходить и передавать вес по ссылке, существует атрибут тега <a> rel=«nofollow». Он является стандартизированным элементом HTML-кода и воспринимается абсолютно всеми поисковиками.

Причем его использование не делает ссылку невидимой, а лишь указывает, что по ней не нужно переходить и заниматься индексацией страницы, на которую она указывает.

Пример использования:

Тег noindex
 
Использование rel=«nofollow» позволяет:

  1.  Исключить передачу веса на «плохой» (с точки зрения поисковых систем) или нетематичный сайт, чтобы не «испортить» свою репутацию.
     
  2.  Повлиять на перераспределение веса между присутствующими на странице ссылками.
     
  3.  Управлять количеством учитываемых исходящих ссылок на страничке.
     
  4.  Закрыть в комментариях ссылки, по которым не предполагается передача веса.

С использованием атрибута rel=«nofollow» важно не переусердствовать: если постоянно скрывать с его помощью ссылки, это может значительно повлиять на уровень доверия поисковиков к Вашему сайту.

 

Где еще используются noindex и nofollow


Также noindex и его постоянный спутник nofollow могут использоваться совершенно в ином виде – как значения атрибута content в составе мета-тега robots. Последний, в свою очередь, используется в HTML-коде страницы для указания поисковым ботам рекомендаций насчет индексации страничек и переходу по размещенным на них ссылкам.

Тег noindex
 
Приведенный на скриншоте пример трактуется, как пожелание не выполнять индексацию содержимого странички и не анализировать ссылки, размещенные на ней. Наличие подобной конструкции в теле кода страниц может быть возможной причиной, по которой не индексируется сайт.

 

Основные выводы

Использование одного из вышеупомянутых элементов (или обоих сразу) зависит от условий, которые преследуются (сокрытие части текста, ссылки или  всей страницы при использовании с мета-тегом robots).

Если нужно скрыть от робота Яндекса отдельный текст, noindex  это сделает, но когда закрывается ссылка, noindex не поможет. В этом случае следует выбрать атрибут rel=«nofollow», не скрывающий анкор ссылки.

Теперь, когда Вы разобрались с особенностями применения <noindex> и rel=«nofollow», не забудьте поделиться этой важной информацией с теми, кто может в ней нуждаться!

 

seo-akademiya.com

Как добавить атрибут noindex

Добавить директиву noindex можно двумя способами. Их результаты равнозначны, а выбор зависит от того, в какой степени вы можете управлять сервером и как осуществляете публикацию контента.

Тег <meta>

Чтобы заблокировать большинство поисковых роботов, добавьте следующий метатег в раздел <head> веб-страницы:

 <meta name="robots" content="noindex"> 

Если вы хотите закрыть доступ к странице только роботам Google, используйте такой код:

 <meta name="googlebot" content="noindex">

Другие поисковые системы могут иначе интерпретировать атрибут noindex на странице и показывать ее в результатах поиска.

Подробнее…

Помогите нам обнаружить метатеги

Чтобы обнаружить метатеги, мы должны просканировать вашу страницу. Если страница продолжает появляться в результатах поиска, вероятно, мы ещё не просканировали ваш сайт после добавления тега. Повторное сканирование страницы роботом Google можно запросить при помощи инструмента Просмотреть как Googlebot. Другая причина – файл robots.txt блокирует этот URL от робота Google, и метатег не обнаруживается. Чтобы разблокировать вашу страницу для Google, необходимо изменить файл robots.txt. Это можно сделать с помощью Инструмента проверки файла robots.txt.

Заголовок ответа HTTP

Вместо метатега можно возвращать заголовок X-Robots-Tag. В ответе должно быть указано значение noindex или none. Пример HTTP-ответа, где X-Robots-Tag запрещает роботам индексировать страницу:

 HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)

Подробнее…

ДАЛЕЕ: ОТКАЗ ОТ ПОКАЗА В GOOGLE+ И ДРУГИХ СЕРВИСАХ GOOGLE

support.google.com

Что такое мета тег Robots

Сначала уясним, что есть мета тег Robots, а есть файл Robots.txt, и путать их не будем. Метатег имеет отношение только к одной html странице (на которой он указан), в то время, как файл txt может содержать директивы не только к странице, но к целым каталогам.

При помощи мета тега Robots можно запрещать индексировать содержимое всей страницы. На страницах моего блога он выглядит так:

Это означает, что метатег роботс не запрещает индексировать страницу. Noodp тут означает, что он запрещает Google брать в сниппеты описание для страниц из каталога DMOZ — это одна из стандартных настроек плагина Yoast SEO, которым я пользуюсь.

А вот как выглядит метатег Robots, который запрещает индексацию страницы:

Как прописать

Дедовский способ — вручную прописать для страницы. Способ подходит для сайтов на чистом HTML.

Для сайтов на CMS рекомендую использовать SEO-плагины. Я, например, для WordPress использую плагин Yoast SEO, и там под каждой записью в режиме редактирования есть такая опция:

Управляем индексацией с помощью Noindex Nofollow и других примочек

То есть проставить нужное значение можно парой щелчков.

Как использовать noindex и nofollow в meta robots

Посмотрим на возможные значения атрибута content:

  • noindex, nofollow – запрещена к индексации вся страница и переходы по ссылкам на ней; кстати, идентичной будет значение при записи: <meta name =”robots” content=”none”/>
  • noindex, follow – страница не индексируется, но поисковик может переходить по ссылкам;
  • index, nofollow – страница индексируется, но переход по ссылкам запрещен;
  • index, follow – разрешены к индексированию как страница, так и ссылки на ней;
  • noarchive – работает как в yandex, так и в google – не показывает страницу на сохраненную копию;
  • noyaca – работает только в Яндексе, если сайт зарегистрирован в каталоге YACA – запрещает использовать описание в результатах поиска, которое берется из Яндекс.Каталога; выглядит так: <meta name =”robots” content=”noyaca”/>
  • noodp – работает и в Яндексе, и в Google – запрещает использовать в результатах описания, которые взяты из Каталога ДМОЗ (разумеется, если сайт там зарегистрирован).

Поговорим чуть больше о noodp

Иногда Гугл может добавлять в сниппет описание из DMOZ. Именно для этого и используется атрибут noodp. Кстати, его можно использовать вместе с тегом nofollow. Выглядит это так:

Чего нужно опасаться при использовании

Из-за невнимательности (особенно у новичков) могут случаться конфликты между тегами: в таком случае главным будет положительное значение (разрешающее индексацию). Например тут:

Тут выбрано будет первое значение, так как там оно положительно.

Что такое тег Noindex

Noindex — это тег, в который вы заключаете часть кода, и этот код по идее не должен индексироваться Яндексом. Тег ноиндекс был предложен именно Яндексом, и по сей день учитывается только системами Yandex и Rambler. Вот как он выглядит:

Noindex не чувствителен к вложенности.

Целесообразность использования тега

Лично я смысла в его использовании не вижу. Потому что Google этот тег игнорирует. Да и зачем скрывать что-то? Надо делать сайты для людей!

Если же вы все-таки решили пользоваться этим тегом, то гляньте видео от ТопЭксперт:

Как пользоваться тегом Noindex

Нужно просто обернуть им тег:

Валидный Noindex

Чтобы сделать его валидным, нужно закомментировать тег. Выглядит это так:

Для чего нужны теги, запрещающие индексацию

Как я писал выше, тег Noindex вообще ни для чего не нужен. Он себя давно изжил. А вот метатег роботс — довольно нужная вещь. Вот примеры ситуаций, когда он бывает полезен:

  1. На сайте есть какая-то страница, которую бы вы не хотели видеть в индексе. Например, страница с информацией для рекламодателей. А прописывать в роботсе по каким-то причинам не хотите (например, хотите скрыть её от оптимизаторов, которые лазят по чужим роботсам). Тогда вы просто парой щелчков через плагин ставите ноиндекс для этой страницы;
  2. Поскольку мета тег роботс имеет приоритет перед robots.txt, можно запретить индексирование какой-либо страницы, которая находится в директории, разрешенной для индексации.

Для чего нужен атрибут rel nofollow

Если метатег robots должен закрывать от индексации страницу, а тег noindex — её часть, то атрибут rel nofollow должен запрещать поисковику переходить по ссылке. Он является атрибутом тега А и выглядит так:

На самом деле поисковик вполне себе переходит по ссылкам с этим атрибутом и они вполне себе забирают ссылочный вес у ваших страниц. То есть смысла в этом атрибуте, как и в noindex, нет. Ссылки закрывать эффективно только через Ajax, да и это я думаю не навсегда. Но, если же вы все-таки решили сконцентрировать внимание на этой точке, которая в лучшем случае даст вам микроскопический рост, то вот еще один видос от ТопЭксперт:

znet.ru

В последнее время, анализируя проблемные сайты клиентов, часто сталкиваюсь с тем фактом, что многие из них активно используют тег <noindex> для скрытия части контента от Яндекса. Для тех, кто не знаком с этим тегом, привожу ссылку на документацию. Как там указано, он предназначен для запрета индексирования служебных участков текста.

Стоит заметить, что в документации указан ответ на вопрос “как использовать этот тег”, но совсем не сказано “зачем он введён”. Отчасти, это и является причиной возникновения многих вопросов от вебмастеров.

Если мы поищем в Google ответ на вопрос какая польза от тега noindex или любые рекомендации от сотрудников Яндекса по этому поводу, то ожидаемого ответа на вопросы, зачем он всё-таки был введён и в каких случаях его рекомендуется использовать, мы не получим. Сотрудники Яндекса не берут на себя ответственность в подобных рекомендациях, но при этом и не запрещают использовать noindex в своих целях.

Какие были преимущества у этого тега?

1. Можно было закрыть блок внешних ссылок от индексации (как это делает, например, студия Артемия Лебедева в легендарном смайлике).

Пример использования noindex у Артемия Лебедева на сайте

Действительно, удобно было закрывать таким способом немодерируемые ссылки, в том числе и в комментариях. Но после введения Яндексом возможности использовать rel=nofollow, как это делают другие крупные поисковые системы, можно смело отказаться от тега noindex, если он использовался только для закрытия внешних ссылок.

2. Можно управлять сниппетом (описанием сайта) в поисковой выдаче.

Так как Яндекс не всегда умеет формировать из контента страницы хорошие сниппеты для своей выдачи, оптимизаторы нашли выход использовать <noindex>, подбирая оптимальные варианты. Кто из вас так делает? Наверняка меньшинство, так как это трудная и долгая работа. Вместо того, чтобы решить проблему на своей стороне (в алгоритмах), Яндекс предлагает решать проблему вебмастерам. Кстати, в Google нет подобного тегу noindex функционала ?

3. Для Google показывать одно, для Яндекса – другое!

Тегом <noindex> вебмастера пытались оптимизировать контент сайта и для Яндекса (от которого надо было спрятать некоторые участки кода) и для Google, используя совместно другие техники. Не это ли является явным манипулированием поисковыми алгоритмами или подменой контента, против которой так яро борятся яндексоиды? ?

4. Подбирать оптимальную плотность ключевых фраз.

Доходит до того, что в тексте оптимизаторы лишние фразы закрывают этим тегом, чтобы Яндекс не счел этот текст спамным. При этом, для посетителей он-таки часто остаётся спамным ? Отсюда и корни большинства бед в SEO, а нужно было лишь дать оптимизаторам этот тег. С другой стороны, Яндекс всегда может узнать по таким маркерам, работал ли с текстом оптимизатор или это нормальный контент.

Пример манипулирования частотности нахождения фраз в тексте

Кстати, Яндекс не рекомендовал использовать noindex для подбора оптимальной плотности ключевиков, это уже происки оптимизаторов (об этом яндекс и не мог подозревать при введении поддержки тега), зато он активно пессимизирует документы, где часто встречается этот тег.

5. Закрывать счетчики и баннеры.

Экономя на каждой ссылке, вебмастера закрывали в noindex и счетчики посещаемости. Прошло много лет, сейчас Яндекс прекрасно понимает, где что у вас расположено на сайте (в том числе и счетчики). Закрывать их от индексации смысла нет, лучше убрать всё неиспользуемое.

Как мы видим, <noindex> используется лишь оптимизаторами и всё, для чего используется это не попытка сделать ресурс лучше, а попытка управлять поисковым алгоритмом в свою сторону, хотя это и не всегда получается. Также все рекомендации, присутствующие в сети по использованию noindex даны оптимизаторами и ни одной от А.Садовского или И.Сегаловича.

Учитывая всё вышеперечисленное, настоятельно не рекомендуется использовать инструмент серой оптимизации noindex, особенно если он раньше не использовался на сайте и существуют дополнительные проблемы с ресурсом (фильтры, подмена релевантной страницы, и другие).

И ещё… У яндекса нет ни одной причины продолжать поддерживать тег noindex (разве что “не трогать то, что работает”). После ввода поддержки атрибута nofollow для ссылок, сложно понять мотив яндексоидов оставить noindex. Возможно, скоро его поддержка будет прекращена.

Таков мой взгляд на однобокий тег noindex. А что вы думаете по этой теме?

devaka.ru

С середины мая в Яндексе тег <noindex> работал некорректно — контент, заключенный в этом теге исправно индексировался и по нему шел поиск. Об этом на своей странице в Facebook сообщил SEO-специалист компании webit Андрей Ефремов.

Он связался по этому поводу со службой поддержки поисковика и получил подтверждение от Платона, что «… удалось обнаружить техническую ошибку, из-за которой запрещенный при помощи тега noindex контент действительно может попасть в поиск».

По словам специалиста, некорректная работа этого тега негативно сказывалась на видимости сайтов, у которых много технического «мусора» было закрыто в  <noindex>. Причем Яндекс не считал это серьезной проблемой и не решал ее достаточно долго:

«Только недавно мы начали замечать исправление этой ситуации и Платон подтвердил, что тег починили. 

Вот так бывает — ломаешь голову, думаешь, что изменился алгоритм ранжирования или обновились хостовые факторы, а тут просто не работает довольно важный тег».

Тег noindex

PR-служба Яндекса уточнила для Searchengines.ru, что тег <noindex>, про который говорится в переписке с Платоном, не влияет на индексирование служебных страниц с личными данными:

Запретом для индексирования таких страниц, как и ранее, выступает robots.txt, МЕТА-тег noindex или защита авторизацией.

Напомним, в начале июля содержание документов из Google Docs стало показываться в результатах поисковой выдачи Яндекса.

А на прошлой неделе SEO-специалист Павел Медведев обнаружил в выдаче поисковика личные данные россиян — сканы паспортов, данные о банковских платежах, билеты на самолеты и поезда и т.д. 

www.searchengines.ru

Поисковые запреты

Как сказать поисковой машине, что определенный участок кода не нужно индесировать или что по определенной ссылке не нужно следовать?

Каждый поисковик тут изобретает свой велосипед: Yandex рекомендует заключать подобный текст в теги <noindex>, Google дописывать у ссылок атрибут rel=»nofollow», Yahoo добавлять класс class=»robots-nocontent».

Тег NOINDEX

Запретить индексирование можно не только для файлов, но также и для их частей. Для того, чтобы запретить индексирование определенных частей файлов (текстовых), необходимо пометить их специальными тегами <NOINDEX></NOINDEX>.
При этом, тег NOINDEX не должен нарушать вложенность других тегов. Понимает только ПС Яндекс.

rel=»nofollow»

Чтобы указать поисковой системе не идти по ссылке, в теге A можно задать атрибут rel=»nofollow»:

 <a rel="nofollow" href="htmlweb.ru>WEB-технологии</a> 

Данный атрибут не влияет на индексацию ссылки. В большинстве поисковиков (кроме Google) переход по ней все-таки осуществляется. Единственная задача данного атрибута — сообщить поисковой системе, что рейтинг со страницы, на которой ссылка размещена, не должен передаваться странице, на которую данная ссылка ведет.

Если вам необходимо уменьшить количество внешних ссылок на странице, заключите их в теги <NOINDEX>здесь ссылки</NOINDEX> или <!—NOINDEX—>здесь ссылки<!—/NOINDEX—>

Использованны материалы с сайтов поисковых систем: Google

class=»robots-nocontent»

Применение «class=robots-nocontent» атрибут:
Ниже приводятся несколько примеров того, как применять этот атрибут для различных целей и различных вариантов синтаксиса:

<div class="robots-nocontent">     Это навигационного меню сайта и является общим на всех страницах.     Она содержит много терминов и слов, не связанных с сайтом </div>
<span class="robots-nocontent"> Это сайт заголовок, который присутствует на всех страницах сайта     и не связан с какой-либо конкретной страницей </span>
<p class="robots-nocontent">     Это Юридическая информация требуется на каждую страницу сайта </p>

Как часто индексировать документ поисковому роботу?

Вебмастер может «сказать» поисковому роботу или файлу bookmark пользователя, что содержимое того или иного файла будет изменяться. В этом случае робот не будет сохранять URL, а браузер пользователя внесет или не внесет это файл в bookmark. Пока эта информация описывается только в файле /robots.txt, Пользователь не будет знать о том, что эта страница будет изменяться.

Мета-таг DOCUMENT-STATE может быть полезен для этого. По умолчанию, этот мета-таг принимается с CONTENT=STATIC.

<META NAME="DOCUMENT-STATE" CONTENT="STATIC"> <META NAME="DOCUMENT-STATE" CONTENT="DYNAMIC">

Зеркала

Как исключить индексирование поисковой системой генерируемых страниц или дублирование документов, если есть зеркала сервера?

Генерируемые страницы — страницы, порождаемые действием CGI-скриптов. Их наверняка не следует индексировать, поскольку если попробовать провалиться в них из поисковой системы, будет выдана ошибка. Что касается зеркал, то негоже, когда выдаются две разные ссылки на разные сервера, но с одним и тем же содержимым. Чтобы этого избежать, следует использовать мета-таг URL с указанием абсолютного URL этого документа (в случае зеркал — на соответствующую страницу главного сервера).

<META NAME="URL" CONTENT="absolute_url">


htmlweb.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.