Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…
Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.
5 способов удаления страниц из поисковых результатов
1. 404 ошибка
Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.
HTTP/1.1 404 Not Found
В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.
Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.
2. Файл robots.txt
Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.
Закрыть раздел администраторской панели от попадания её в индекс поисковиков:
User-Agent: *
Disallow: /admin/
Закрыть определенную страницу от индексации:
User-Agent: *
Disallow: /my_emails.html # закрытие страницы my_emails.html
Disallow: /search.php?q=* # закрытие страниц поиска
В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.
Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.
3. Мета-тег robots
Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.
<meta name="robots" content="noindex,nofollow" />
Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.
4. Заголовки X-Robots-Tag
Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.
Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.
X-Robots-Tag: noindex, nofollow
В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).
devaka.ru
Как выполнить удаление сайта из Яндекс и Google
Большинство веб-мастеров и оптимизаторов стремятся к тому, чтобы их веб-ресурсы быстрее проиндексировались и начали участвовать в «гонке продвижения».
Но случаются и совершенно противоположные ситуации, когда нужно удалить сайт из Google и других поисковиков.
Например, при покупке уже существующего веб-ресурса может понадобиться удалить страницы из индекса на время смены контента, дизайна, шаблона, движка и т. д. Или же когда в поиск попадают веб-странички, не предназначенные для этого (закрытые, со служебное информацией и т. д.).
Первое, на что нужно уяснить – удаление сайта из Google и других поисковиков, не означает, что он перестанет быть доступным интернет-пользователям. Если веб-сайт просуществовал некоторое время и находился в поисковых выдачах, это значит, что есть вероятность формирования постоянной аудитории, у которой он может находиться в Закладках. Также не забудьте про внешние ссылки с других веб-ресурсов и соц. сетей.
Если Ваша цель – только удалить URL адреса из поисковой выдачи Google и Яндекс, Вы совсем скоро узнаете, как это сделать. Но помните, если нужно полностью изъять контент из сети, потребуется не только удалить страницы из индекса поисковиков, но и убрать их с сервера сайта или хотя бы ограничить доступ к ним путем установки пароля. При этом не забудьте об устранении битых ссылок, которые обязательно появляются при удалении отдельных страничек веб-сайта.
Порядок удаления сайта из Google
Чтобы удалить страницы из индекса Google, нужно иметь аккаунт в Search Console (SC) с подтвержденными правами владения веб-сайтом, на котором они опубликованы.
Существует три способа, на каждом из которых можно остановиться, в зависимости от преследуемой цели:
- Удалить сайт из Google нужно временно (на период проведения каких-либо работ). Сделайте соответствующий запрос в SC, воспользовавшись пунктом меню «Удалить URL-адреса».
После нажатия «Временно скрыть» Вам будет предложено указать адрес (относительный) веб-документа, который необходимо удалить. Если требуется временно целиком удалить сайт из Google, здесь нужно указать его доменное имя.Следующим шагом будет выбор одного из вариантов удаления сайта из Google (или странички):
– скрыть веб-страницу из выдач и кеша поисковика временно (на 90 дней);
– скрыть весь каталог и странички, связанные с ним (на тот же срок);
– удаление веб-странички из кеша – она продолжает отображаться в выдачах, а Google обновляет данные по ней в своем кеше.Обычно такие запросы выполняются в течение суток. Кроме того, чтобы удалить страницы из индекса наверняка, нужно убедиться в их недоступности по альтернативным адресам и при необходимости выполнить с ними ту же процедуру. Также возьмите на заметку:
Если необходимость показа веб-странички в выдачах поисковика появится раньше стандартного 3-х месячного срока, можно воспользоваться функцией «Включить повторно» в том же разделе SC.
- Удалить страницы из индекса навсегда. Для этого потребуется вставить в их HTML-коды мета-тег robots с соответствующим указанием о запрете индексации:
При этом нужно убедиться, что эти странички не закрыты в robots.txt, иначе поисковые боты не смогут обнаруживать параметр noindex атрибута content в их коде. Данный способ не дает 100% гарантии, поэтому стоит подумать об полном удалении с сервера веб-страничек, которые не должны больше попадать в индекс.
- Удалить сайт из Google (или отдельные его странички), сообщив об обнаружении неприемлемого содержания. Этот способ может пригодиться, если веб-сайт Вам не принадлежит.
Под неприемлемыми при этом могут считаться веб-странички, содержащие контент:
– «для взрослых» (эротика, порно);
– нарушающий законодательство;
– противоречащий правилам Google;
– нарушающий авторские права.
Удаление сайта из Яндекса
В отличие от Google у этого поисковика нет такого понятия как «временно удалить» страницы из индекса. Если эта процедура выполняется, то раз и навсегда. Для этого потребуется выполнить одно действий (хотя в идеале – все сразу):
- Просто удалить с веб-сайта странички, которые больше не должны индексироваться. Если при этом на сайте настроено отображение страницы 404 вместо несуществующих, при следующем визите поисковый бот должен будет удалить такие страницы из индекса.
- Настроить robots.txt с помощью команд, запрещающих индексацию необходимых страничек. Хотя этот пункт достаточно спорный, поскольку поисковые боты все еще смогут попадать на закрытые в robots.txt странички по ссылкам с других веб-ресурсов.
- Воспользоваться функцией «Удалить URL» в панели инструментов Яндекс.Вебмастер.
Если требуется полное удаление сайта из Яндекса, укажите только его адрес без вложений.
- По аналогии с упомянутой в предыдущем подразделе рекомендацией Google можно воспользоваться мета-тегом robots для запрета индексации и последующего удаления сайта из Яндекса (или отдельных его страничек).
Итоги подводить не будем
Просто выбирайте наиболее удобные для Вас из вышеперечисленных вариантов удаления сайтов из Google и/или Яндекса и воплощайте их в жизнь. Хотя чтобы наверняка удалить URL адреса из поисковой выдачи Google и Яндекс, лучше воспользоваться комбинацией из всех способов. Если при этом столкнетесь с непредвиденными трудностями, всегда можете обратиться к нам за помощью, оставив комментарий под статьей.
seo-akademiya.com
Почему закрытые и удаленные страницы есть в поиске
Причин может быть несколько и некоторые из них я постараюсь выделить в виде небольшого списка с пояснениями. Перед началом дам пояснение что подразумеваю под «лишними» (закрытыми) страницами: служебные или иные страницы, запрещенные к индексации правилами файла robots.txt или мета-тегом.
Несуществующие страницы находятся в поиске по следующим причинам:
- Самое банальное — страница удалена и больше не существует.
- Ручное редактирование адреса web-страницы, вследствие чего документ который уже находится в поиске становится не доступным для просмотра. Особое внимание этому моменту нужно уделить новичкам, которые в силу своих небольших знаний пренебрежительно относятся к функционированию ресурса.
- Продолжая мысль о структуре напомню, что по-умолчанию после установки WordPress на хостинг она не удовлетворяет требованиям внутренней оптимизации и состоит из буквенно-цифровых идентификаторов. Приходится менять структуру страниц на ЧПУ, при этом появляется масса нерабочих адресов, которые еще долго будут оставаться в индексе поисковых систем. Поэтому применяйте основное правило: надумали менять структуру — используйте 301 редирект со старых адресов на новые. Идеальный вариант — выполнить все настройки сайта ДО его открытия, в этом может пригодиться локальный сервер.
- Не правильно настроена работа сервера. Несуществующая страница должна отдавать код ошибки 404 или редирект с кодом 3хх.
Лишние страницы появляются в индексе при следующих условиях:
- Страницы, как Вам кажется, закрыты, но на самом деле они открыты для поисковых роботов и находятся в поиске без ограничений (или не правильно написан robots.txt). Для проверки прав доступа ПС к страницам воспользуйтесь соответствующими инструментами для вебмастеров.
- Они были проиндексированы до того как были закрыты доступными способа.
- На данные страницы ссылаются другие сайты или внутренние страницы в пределах одного домена.
Итак, с причинами разобрались. Стоит отметить, что после устранения причины несуществующие или лишние страницы еще долгое время могут оставаться в поисковой базе — все зависит от апдейтов или частоты посещения сайта роботом.
Как удалить страницу из поисковой системы Яндекс
Для удаления URL из Яндекс достаточно пройти по ссылке и в текстовое поле формы вставить адрес страницы, которую нужно удалить из поисковой выдачи.
Главное условие успешного запроса на удаление:
- страница должна быть закрыта от индексации правилами robots или мета-тегом noindex на данной странице — в том случае если страница существует, но не должна участвовать в выдаче;
- при попытке обращения к странице сервер должен возвращать ошибку 404 — если страница удалена и более не существует.
При следующем обходе сайта роботом запросы на удаление будут выполнены, а страницы исчезнут из результатов поиска.
Как удалить страницу из поисковой системы Google
Для удаления страниц из Гугла поступаем аналогичным образом. Открываем инструменты для веб-мастеров и находим в раскрывающемся списке Оптимизация пункт Удалить URL-адреса и переходим по ссылке.
Перед нами специальная форма с помощью которой создаем новый запрос на удаление:
Нажимаем продолжить и следуя дальнейшим указаниям выбираем причину удаления. По-моему мнению слово «причина» не совсем подходит для этого, но это не суть…
Из представленных вариантов нам доступно:
- удаление страницы страницы из результатов поиска Google и из кэша поисковой системы;
- удаление только страницы из кэша;
- удаление каталога со всеми входящими в него адресами.
Очень удобная функция удаления целого каталога, когда приходится удалять по несколько страниц, например из одной рубрики. Следить за статусом запроса на удаление можно на этой же странице инструментов с возможностью отмены. Для успешного удаления страниц из Google необходимы те же условия, что и для Яндекса. Запрос обычно выполняется в кратчайшие сроки и страница тут же исчезает из результатов поиска.
webliberty.ru
Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.
Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.
Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс.
Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.
Давайте сразу перейдем к делу!
Способы убрать страницы из индекса поисковых систем:
1. Удаление в инструментах Вебмастеров
Самым простым вариантом удаления страниц из индекса является удаление через Google Webmaster Tools и Яндекс Вебмастер.
Удаление страниц из поиска Google
Заходим в:
— индекс Google
— удалить URL адреса
Далее нажимаем «создать новый запрос на удаление» и добавляем в него нужный адрес URL, который удаляем.
После чего отправляем запрос на удаление страницы.
Далее URL страницы вноситься в список удаляемых, и переходит в статус ожидания.
Сразу возникает вопрос, а сколько ждать?
Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:
Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:
То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.
Удаление страниц из поиска Яндекса
Переходим по ссылке: http://webmaster.yandex.ua/delurl.xml
Добавляем нужный адрес страницы, который необходимо удалить.
В итоге можем получить такой ответ:
То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.
2. Robots.txt
Файл robots.txt очень нужный инструмент, если дело идет к разрешению или запрещению индексации сайта от поисковых ботов.
Для того, чтобы удалить конкретные страницы с помощью robots.txt, то в сам файл дописываем такое:
За не индексацию или исключение страниц или разделов отвечает функция: «Disallow:».
Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.
Например – закрытие раздела:
User-Agent: *
Disallow: /razdel
Закрытие страницы:
User-Agent: *
Disallow: /stranica1.html
Закрытие страниц поиска:
User-Agent: *
Disallow: /seoprofy.ua/?s*
Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.
3. 404 ошибка
Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.
Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.
Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.
Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.
В практике очень редко использует другое, как:
— 301 редирект
— мета тег robots
— X-robots-Tag
Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.
Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.
Статьи которые дополняют:
— 5 способов удалить страницу из поиска Яндекса или Google
— Как использовать robots.txt рекомендации Яндекса
— Окончательное удаление страницы из индекса Google
А какие способы вы еще знаете, чтобы быстро удалить страницы из поиска?
seoprofy.ua
Сообщите Яндексу о том, что страницу нужно удалить
Сделать это можно несколькими способами:
Если страница удалена с сайта
- Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
-
Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found, 403 Forbidden или 410 Gone.
Если страница не должна отображаться в поиске
- Запретите индексирование страницы с помощью директивы Disallow в файле robots.txt.
- Закройте страницы от индексирования с помощью мета-тега noindex.
Если вы настроили ответ сервера на код 4XX или использовали мета-тег noindex для множества страниц, робот узнает об изменении каждой страницы постепенно. В этом случае запретите индексирование страниц с помощью директивы Disallow.
Когда робот Яндекса посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных в разделе Индексирование → Страницы в поиске Яндекс.Вебмастера.
В течение некоторого времени робот еще будет посещать страницу, чтобы убедиться, что ее статус не изменился. Если страница остается недоступной, она пропадет из базы робота.
Страница может снова появиться в результатах поиска, если вы уберете запрет на индексирование в файле robots.txt или ответ сервера изменится на 200 OK.
Если страница удалена с сайта из-за нарушения авторских прав, порядок удаления ее из результатов поиска не меняется и не является приоритетным.
Ускорьте удаление страницы из поиска
Если после того, как вы запретили индексирование станиц, робот еще не посетил ваш сайт, вы можете сообщить Яндексу о необходимости убрать страницу с помощью инструмента «Удаление страниц из поиска» в Яндекс.Вебмастере.
Удалить отдельные страницы сайта из поиска Яндекса
-
Если ваш сайт не добавлен в Яндекс.Вебмастер:
- Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
- В поле введите адрес страницы, например http://ururu.com/ololo.html.
- Нажмите кнопку Удалить.
Чтобы убрать из поиска несколько страниц, удалите адрес каждой страницы последовательно. -
Если ваш сайт добавлен и подтвержден в Яндекс.Вебмастере:
- Перейдите на страницу Инструменты → Удаление страниц из поиска.
- Установите переключатель в положение По URL.
- В поле введите адрес страницы, например http://ururu.com/ololo.html.
- Нажмите кнопку Удалить.
Вы можете указать до 500 адресов одного сайта в сутки.
Удалить отдельные страницы сайта из поиска Яндекса
Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.
В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
Вы можете удалить каталог, все страницы сайта или страницы с параметрами в URL. Для этого добавьте и подтвердите сайт в Яндекс.Вебмастере.
В Яндекс.Вебмастере перейдите на страницу Инструменты → Удаление страниц из поиска.
Проверьте, что в файле robots.txt указана директива Disallow для страниц, которые нужно удалить. Если в robots.txt робот найдет другие директивы для указанных в Яндекс.Вебмастере страниц, то не смотря на них, удалит страницы из поиска.
- Установите переключатель в положение По префиксу.
- Укажите префикс:
- Нажмите кнопку Удалить.
Статусы после отправки URL
| Статус | Описание |
|---|---|
| «В очереди на удаление» | Робот проверяет ответ сервера и наличие запрета на индексирование страницы в файле robots.txt. Проверка может занимать несколько минут. |
| «Удалена» | В течение часа после проверки страница будет удалена из результатов поиска. |
| «Отклонено» |
|
Как вернуть страницу в результаты поиска
Уберите запрещающие индексирование директивы: в файле robots.txt или мета-тег noindex. Страницы вернуться в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.
webmaster-seo.ru
Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.
Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).
Как удалить страницы из поиска Яндекса: стандартная процедура.
Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:
— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,
— У Вас на сайте должен быть файл robots.txt.
Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:
Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:
Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.
Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.
Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.
Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».
Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:
Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».
Появились затруднения
Получив несколько таких сообщений, я глубоко задумался. Как же так:
- одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
- индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
- запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса. Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
- Скажите мне на милость, чем отличаются эти две строчки:
Disallow: /category/*/*
Disallow: /tag/*
Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!
Рекомендую сделать, чтобы удалить ненужные страницы
Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:
User-agent: Yandex
Disallow: /tag/
И вот она, любезная нашему сердцу, строчка – «URL добавлен в очередь на удаление»:
Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.
И в конце несколько кратеньких советов:
1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.
2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.
3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.
4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.
5. Примеры строчек:
— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты
— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,
надо писать все после слэша включительно(слэша, закрывающего название сайта):
/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.
В результате должно получиться так:
Disallow: /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it
6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.
7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.
А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.
Удачи!
Автор: Сергей Ваулин
www.novichkoff.ru
Причины удаления веб страниц из поиска
Мы не станем разбирать проблемы гигантов, как, например, история с известным мобильным оператором, название которого я афишировать не стану, лишь скажу, что он начинается на «мега» и заканчивается на «фон». Когда у последнего проиндексировались и попали в поиск страницы со смс-сообщениями пользователей. Также не станем заострять внимание на проблемах интернет-магазинов, у которых периодически можно найти личные данные пользователей и подробности их заказов в открытом доступе. Ну и так далее.
Мы разберем наболевшие проблемы обычных предпринимателей, которые хотят решить свои задачи:
- Дубли. Дублированный контент мешает продвижению сайтов, это ни для кого не секрет. Причины возникновения могут быть разными. Подробнее можете посмотреть в нашей статье.
- Информация утратила свою актуальность. К примеру, была какая-то разовая акция, да прошла. Страницу нужно удалить.
- «Секретики». Данные, которые не для всех. Вспоминаем ситуацию с оператором связи. Такие странички необходимо скрывать от зевак.
- Смена URL адресов. Будь то переезд сайта или настройка ЧПУ, в любом случае придется избавляться от старых страниц и предоставлять поисковику новые.
- При переезде на новое доменное имя вы решили вообще удалить сайт из поисковика Яндекса, чтобы не пострадала уникальность контента.
На самом деле причин удалить сохраненные страницы из поисковых систем может быть кратно больше. Список нужен лишь для иллюстрирования типовых проблем.
Как удалить страницу из поисковика Яндекса
Есть два пути развития событий. Долгий ( но ленивый) и ускоренный (придется чуть-чуть пошевелиться).
- Долгий способ
Если время не торопит и есть дела поважнее, то можно просто удалить страничку через систему управления контентом (она же админка или CMS). В таком случае, переходя по уже несуществующему URL адресу, поисковой робот обнаружит, что сервер отвечает ему кодом 404 — страница не существует, а значит ее нужно выкинуть из поиска, что со временем случиться без вашего вмешательства.
- Ускоренный способ
Своеобразное продолжение первого. После удаления из CMS, нужно воспользоваться сервисом Яндекса Удалить URL. Это приведет к оперативной реакции со стороны ПС и в ближайшее время ненужная информация пропадет из индекса.
Но что, если нужно удалить страницу из поисковика, оставив её при этом на самом сайте?
Как удалить страницу в поисковике Яндекса не удаляя ее с сайта
Теперь нам нужно сохранить информацию на сайте, но не дать поисковикам демонстрировать ее пользователю ни при каких запросах. Для этого нужно:
Во-первых, закрыть страницу от индексации с помощью файла robots. txt, уверен, с ним вы уже сталкивались. Внутри файла необходимо прописать следующее:
Это закроет от индексации контент, URL адрес которого www.домен.ru/i-hate-my-page
Во-вторых, так как robots. txt содержит не жесткий набор правил для робота, а скорей носит рекомендательный характер, то обычного Disallow может быть недостаточно. Поэтому для пущей уверенности пропишите в html коде страницы следующее:
Обратите внимание, что теги head тут не для красоты. Мета-тег роботос должен располагаться между тегами <head>.
Кульминацией станет добавление адреса в уже знакомый сервис Яндекса Удалить URL, которым мы уже умеем пользоваться.
Как удалить сайт из поисковика Яндекса
Для того чтобы полностью удалить сайт из поисковой базы нужно пройти те же пункты, что и для удаления страницы, но с некоторыми нюансами.
- Закройте весь сайт от индексации добавив в файл robots. txt строчки
User-agent: Yandex
Disallow: / - Удалите страницы с помощью, уже родного сервиса Удалить URL.
- Избавьтесь от всех ссылок ведущих на ваш сайт.
- Ждите переиндексации.
Если же сайт вам больше совсем ненужен, удалите все файлы, которые находятся на хостинге и забудьте об этом. В крайнем случае, обратить в службу поддержки ПС.
Итог
Хочется сказать, что процедура удаления сохраненных страниц из поиска не очень трудная и порой бывает просто необходимой. Надеюсь, владельцы сайтов, которые не желают сильно погружаться в подробности, сумеют найти в этой статье ответ на вопрос как удалить ненужные веб-страницы из поиска Яндекс.
Надеюсь, что было полезно!
semantica.in
Удаление навсегда
Инструмент удаления URL позволяет удалять страницы только на время. Если вы хотите удалить контент из результатов поиска Google навсегда, примите дополнительные меры:
- Удалите или измените контент сайта (изображения, страницы, каталоги) и убедитесь, что сервер возвращает код ошибки
404 (не найдено)или410 (удалено). Файлы, формат которых отличен от HTML (например, PDF), должны быть полностью удалены с сервера. Подробнее о кодах статуса HTTP… - Заблокируйте доступ к контенту, например установите пароль.
- Запретите сканирование страницы с помощью метатега noindex. Этот метод менее надежен, чем остальные.
Отмена удаления URL
Если нужно восстановить страницу в результатах поиска раньше окончания временной блокировки, откройте страницу статуса в инструменте и нажмите Включить повторно рядом с выполненным запросом на удаление URL. Обработка запроса может занять несколько дней.
support.google.com