Проверка битых ссылок

Здравствуйте уважаемые посетители моего блога. Сегодня я бы хотел затронуть тему битых ссылок и рассказать вам о методах проверки сайта на эти самые ссылки. Но для начала давайте разберем, сам термин – это ссылки которые ведут на несуществующие страницы. Влияние таких ссылок очень негативно сказывается на вашем ресурсе в целом, ведь если ваш читатель попадет на такую страницу, все его желание, что-то читать дальше пропадет. Ну и соответственно для поисковых систем это один из признаков некачественного сайта. Наша с вами задача разобраться с инструментами, которые помогут найти битые ссылки на сайте и исправить это положение.

Вообще такие ссылки могут возникать по некоторым причинам:

— В самом начале установки ссылки указан неверный адрес

— Закончился срок хранения закаченного файла на файлообменник

— Изменение структуры блога/сайта

— Изменение адресов страниц на сайте или внедрение ЧПУ

— Изменились адреса страниц сайтов, на которые вы ссылаетесь

В процессе таких изменений могут возникать десятки несуществующих страниц, на которые будет ссылаться ваш ресурс.

Находить вот такие несуществующие страницы легко. Достаточно знать несколько сервисов и уметь ими пользоваться.

Мы рассмотрим 4-е основные методы проверки сайта на битые ссылки, а какой из них использовать для себя вы уже решите сами.

On-line сервисы для проверки битых ссылок:

Я нашел в сети много разных сервисов, но рекомендовать могу всего 2, которые действительно качественно определяют проблемные ссылки:

— creatingonline.com

— anybrowser.com

Расписывать принцип их работы, я не буду, тут все очень просто. Вбиваете интересующий вас урл в форму для проверки и жмете кнопку для проверки. После истечения некоторого периода времени, появится страница с результатами проверки.

Проверить сайт на битые ссылки с помощью панели инструментов Yandex и Google.

С помощью Яндекса

В панели вебмастера идем по пути – Индексирование сайта — Исключенные страницы и переходим по ссылке HTTP-статус: Ресурс не найден (404). На скриншоте указан путь.

После того как вы перешли по ссылке, откроется окно, внизу которого и будет список ссылок на несуществующие страницы с вашего сайта. В этом же окне будет информация о последнем посещении роботом страницы и ссылки на проблемные страницы обозначенные маленьким квадратом со стрелкой вниз. Теперь нужно перейти по этим ссылкам и исправить ситуацию.

С помощью Google

Аналогичным образом проходим авторизацию в панели вебмастера и идем по пути – Сканирование — Ошибки сканирования. В нижней половине страницы видим список ссылок на несуществующие страницы. В панели вебмастеров Google есть одна замечательная опция позволяющая отмечать исправленные ранее вами ссылки на несуществующие страницы. На скриншоте я показал ее.

www.seofive.ru

Что такое битые ссылки, как они появляются

Битыми называют ссылки, ведущие на несуществующую веб-страницу сайта. Причин возникновения битых ссылок несколько.

• Грамматическая ошибка при наборе адреса.
• Изменение структуры, ЧПУ. Допустим, перенесли статью в другую категорию, и соответственно поменялся адрес.
• Страница на которую ссылаетесь перестала существовать. По разным причинам в интернете удаляются тысячи сайтов, в это количество может попасть и ресурс на который ссылаетесь вы.

При переходе по битой ссылке пользователь попадает на страницу с ошибкой 404. Велика вероятность того, что он уйдет с вашего проекта. При большом количестве создаётся впечатление о заброшенности сайта.

Найти битые ссылки в Google

Инструмент, который всегда под рукой и где много полезностей для вебмастера. В Google Search Console зарегистрировать сайт надо обязательно. В разделе Сканирование выбираете Ошибки сканирования. При наличии ошибок сервис выдаст список адресов.

Проверка сайта на битые ссылки онлайн сервисами

Сервисов предоставляющих данную услугу несколько. Есть платные и бесплатные, есть кардинальные различия в проверке. Одни проверяют только указанный URL, другие проверяют полностью сайт. Проверять отдельные Урлы не вижу смысла, долго, поэтому представлю сервисы позволяющие полностью проверить сайт на битые ссылки. Принцип работы одинаков. В специальную форму вписываете URL ⇒ начать проверку.

1. Siteliner. После сканирования сайта появится отчет. Слева в меню переходите на страницу Broken Links. Здесь отображаются страницы где имеются битые ссылки. В столбце Broken Links Out указано количество битых ссылок на странице. После нажатия на Урл откроется страница с ошибкой и красным цветом выделится неработающая ссылка. Очень удобно. К минусу бесплатной версии можно отнести лимит в 250 проверяемых страниц.
2.  Online Broken Link Checker. Результат будет в виде таблицы. Нажав на url — откроется страница , где находится битая ссылка, при нажатии на src — исходный код с подсветкой. Лимит составляет 3000 проверяемых страниц, весьма неплохо, правда. Как и предыдущий сервис на тестовом сайте обнаружил 2 неработающие ссылки.
3. W3C Link Checker.

Проверка сайта на битые ссылки программой               Xenu’s Link Sleuth

Наряду с онлайн проверками есть замечательная программа Xenu’s Link Sleuth, которая устанавливается на компьютер. Программа бесплатная, скачать можно с официального сайта по ссылке. Чтобы не дублировать контент, описание как работать программой читайте в статье про поиск исходящих ссылок с сайта. Время затрачиваемое программой больше, чем онлайн, но анализ проходит детальнее и результат лучше. К недостаткам можно отнести работу только с операционной системой Windows.

Поиск битых ссылок на сайте WordPress

Администраторам блогов на движке WordPress удобно пользоваться плагином Broken Link Checker. После активации плагин будет выполнять на сайте поиск битых ссылок в автоматическом режиме. Можно настроить уведомление на e-mail при нахождении битых ссылок. Пользуюсь этим плагином, но чтобы не перегружать блог после проверки деактивирую.

Каким бы способом вы не пользовались важно периодически выполнять проверку сайта на битые ссылки и исправлять ошибки.

Поделитесь в комментариях, как вы проверяете свой сайт на битые ссылки.

Всем Удачи!

С уважением, Павел Коновалов

konovalovpavel.ru

Что такое битые ссылки?

Любой интернет ресурс, будь это блог или сайт, не может существовать без ссылок. О том, что такое ссылки и какие они бывают, я подробно писал в этой статье.

Внутренние и внешние ссылки мы создаем сами, когда делаем внутреннюю перелинковку, ставим исходящие ссылки на другие сайты и блоги, вставляем картинки (скриншоты) в посты, ссылки появляются в комментариях к блогу…

Интернет постоянно развивается и изменяется, каждый день появляются тысячи новых блогов и сайтов, и каждый день почти столько же исчезает…

Поэтому некоторые ссылки со временем могут превратиться в битые, т.е ссылающиеся на несуществующие документы или объекты.

Например, Вы сослались несколько месяцев назад на какой-либо блог, а сегодня его уже не существует, тогда Ваша ссылка становится битой.

Такие линки поисковые системы не очень любят, поэтому необходимо за ними постоянно следить, искать и удалять их.

Правда я нигде не встречал однозначных утверждений о том, что битые ссылки могут повлиять на продвижение блогов и сайтов в поисковых системах. Но можно предположить, что к ним отрицательно относятся поисковые системы исходя из того, что все ссылки, незакрытые от индексации, учитываются ими, и информация об ошибках отображается в панелях вебмастеров Яндекса и Google.

Кроме того, посетителям интернет ресурсов не очень приятно натыкаться на несуществующие страницы и тратить лишнее время на поиск нужной информации. А потому не стоит запускать это дело и стоит позаботиться не только об отношении к блогу со стороны поисковых систем, но и о Ваших читателях.

Как проверить (найти) и удалить битые ссылки на сайте?

Найти и удалить битые ссылки можно разными способами. Существуют различные сервисы и программы, специально предназначенные для этих целей. О некоторых из них я сейчас расскажу Вам.

Проверка битых ссылок при помощи панелей вебмастеров Яндекса и Google.

На самом деле этот метод не очень удобен, поэтому я лишь поверхностно расскажу о том, как найти битые ссылки в панели для вебмастера Яндекс.

В панели вебмастера Яндекс левом меню необходимо перейти в пункт индексирование сайта — исключенные страницы — по типу. И выбрать из списка «HTTP-статус: Ресурс не найден (404)».

При нажатии этого пункта появится список не найденных документов.

Здесь нам необходимо выбрать условие показа документов. Нас интересуют только ссылки с внутренних страниц нашего ресурса, поэтому выбираем «Показать: с внутренними ссылками».

Теперь необходимо нажать иконку «Найдено по внутренней ссылке», которая расположена напротив каждой страницы с ошибкой.

После чего Вам откроется список не найденных документов.

После того, как мы обнаружили такие документы, необходимо перейти в административную панель блога и исправить проблемы. Честно говоря, делать это совершенно неудобно, да и информация в вебмастере обновляется слишком долго, а давно устраненные ошибки могут отображаться там значительный период времени.

Поэтому я не буду подробно останавливаться на способах поиска и удаления битых ссылок при помощи панелей для вебмастеров Яндекса и Google, а расскажу о более практичных и доступных методах.

Поиск и удаление битых ссылок при помощи программы Xenu Link Sleuth

При помощи данной программы можно найти на своем сайте битые ссылки и удалить их. Скачать Xenu Link Sleuth можно по этой ссылке.

После установки и запуска программы для поиска битых ссылок в меню «File» нужно выбрать пункт «Check URL…», затем в открывшемся окне ввести адрес своего интернет ресурса, отметить галочкой опцию «Check external links» (для проверки исходящих ссылок) и нажать «Ок».

После этого программа выполнит проверку, битые ссылки будут выделены красным цветом.

Если нажать табулятор «Status», все битые ссылки будут собраны в одном месте.

Чтобы узнать, на какой странице расположена ссылка, необходимо на строке нажать правую кнопку мыши и выбрать пункт «URL Properties». В результате чего появится окно, в нижнем поле которого будут указаны страницы, на которых расположены эти ссылки.

Теперь останется только зайти в админку и удалить их.

Поиск и удаление битых ссылок с помощью плагина для WordPress блога Broken Link Checker

Если Вы счастливый обладатель блога на движке WordPress, то для проверки и очистки своего ресурса от битых ссылок лучше всего воспользоваться плагином Broken Link Checker. Он хорош тем, что после проверки у Вас имеется возможность исправить ошибки прямо в окне плагина, не редактируя записи.

На моем блоге этот плагин установлен и исправно работает :-).

Чтобы не нагружать свой блог дополнительными плагинами, включать Broken Link Checker мы будем только на время проверки, а после ее завершения лучше его отключить, тем самым не уменьшая скорость работы блога.

Скачать Broken Link Checker можно перейдя по этой ссылке.

Установка плагина стандартная (можно посмотреть здесь):

— скачиваем;

— помещаем в папку с плагинами (wp-content/plugins/);

— активируем в административной панели;

— переходим в настройки плагина (параметры-проверка ссылок).

После активации плагина сразу запустится процесс проверки битых ссылок. Ошибки появятся в меню «Инструменты — неправильные ссылки».

При переходе в это меню Вам будут показаны неправильные и перенаправленные ссылки. Здесь Вы можете посмотреть ошибки, удалить их, посмотреть страницу, на которой ссылки расположены, и отредактировать url.

В настройках плагина можно выполнить следующие действия:

Вкладка «General»

— установить периодичность проверок;

— указать e-mail ,на который будут приходить оповещения об обнаруженных ошибках;

— настроить выделение найденых битых ссылок при помощи стилей CSS;

На вкладке «Look For Links In» можно указать, где именно плагин Broken Link Checker будет искать ошибки. А во вкладке «Which Links To Check» можно настроить объекты, которые будут проверяться. На вкладке «Дополнительно» можно снизить нагрузку, создаваемую плагином, изменив такие параметры, как:

— время ожидания загрузки;

— максимальное время поиска;

— лимит загрузки сервера.

Это еще не все способы проверки и удаления битых ссылок. В сети существует большое количество различных сервисов, предназначенных для этих целей. Но о них я писать не буду, потому как все и знакомых мне сервисов платные и не позволяют провести полный и качественный анализ своего ресурса в бесплатном режиме.

При наличии программы Xenu Link Sleuth и плагина Broken Link Checker пользоваться этими сервисами в бесплатном режиме нецелесообразно.

На этом у меня все. Как Вам статья?

Обязательно прочитайте статью «Продвижение и раскрутка блога»! Из нее Вы узнаете о том, как правильно развивать свой блог.

Советую подписаться на свежие рассылки моего блога, чтобы не пропустить выход новых постов.

С уважением, Александр Бобрин

asbseo.ru

Проблема битых ссылок и причина их появления

Вообще вопрос об отношении к битым ссылкам довольно интересный, ибо однозначной информации по этому поводу нет. Но если судить по тому, что в панелях для вебмастеров Яндекса и Google имеется раздел, где будут приведены все найденные нерабочие ссылки на вашем сайте, то это уже можно считать первым признаком того, что поисковикам они вовсе не по барабану.

Думаю, что при большом их количестве поисковые системы могут посчитать ваш сайт заброшенным и понизить его в выдаче. Так ли это на самом деле я не знаю, но даже то, что битые ссылки представляют существенное неудобство для посетителей (тем самым ухудшая ПФ), может служить достаточно весомым аргументом к тому, чтобы всерьез задуматься об их выявлении и исправлении.

Конечно же, сделать это вручную (пройтись по всем внутренним и внешним ссылкам, ведущим со станиц вашего сайта) не представляется возможным даже на очень маленьких проектах, не говоря уже о больших порталах. Проверка — это прерогатива программных средств — ботов поисковых систем, онлайн сервисов или специально для этого написанных программ, скриптов или расширений (плагинов) для используемого вами движка сайта.

Но все равно, даже после того, как все нерабочие гиперссылки будут найдены, решение об их исправлении или удалении придется принимать именно вам, и по каждой из них в отдельности. Поэтому, если решитесь на данную проверку, на всякий случай запаситесь терпением и некоторым количеством времени.

Если говорить о причине появления битых ссылок на сайте, то в случае блога KtoNaNovenkogo.ru это в основном мои собственные ошибки при осуществлении ручной внутренней перелинковки, а также внешние ссылки на ресурсы авторов комментариев и упоминаемые в статьях онлайн-сервисы, которые успели за это время кануть в лету (ребят, знали бы вы, сколько сайтов сгинуло за те семь лет, что существует мой блог — реально становится грустно!).

Встречаются и другие варианты их появления. Вообще, причиной неработающих линков могут быть и изменения Урлов на сторонних ресурсах без использования 301 редиректа для склеивания нового адреса со старым (при изменении структуры сайта, переноса статей между разделами и т.п.), да и много других сугубо индивидуальных проблем.

Как я уже упомянул чуть выше, существует несколько способов, с помощью которых можно проверить свой проект на наличие подобных изъянов. Самым очевидным мне кажется воспользоваться тем списком нерабочих ссылок, который собрали боты поисковых систем.

Ищем битые ссылки в Яндекс Вебмастере и Search Console Гугла

В панелях вебмастеров Яндекса и Google можно будет узнать, на каких страницах и какие именно нерабочие гиперссылки были найдены, а затем, по возможности, внести необходимые исправления в админке своего проекта.

Про работу с панелями для вебмастеров Яндекса и Google я уже довольно подробно писал, поэтому позволю себе лишь привести линки на эти материалы:

1. Большущая статья по возможностям Яндекс Вебмастера(в ближайшее время ее придется обновлять, ибо Яндекс наконец-то допилил новую версию)
2. Чуть менее подробная по Гугл Вебмастеру (Search Console)

Давайте начнем проверку с инструментов для веб-мастеров от Google. Будем считать, что воспользовавшись приведенными выше материалами, вы уже добавили свой ресурс в панель Гугла, и теперь вам останется лишь пройти из левого меню в «Сканирование» — «Ошибки сканирования»:

На открывшейся странице перейти на вкладку «Не найдено», где и будут сосредоточенны все нерабочие, по мнению Google, ссылки на вашем проекте. Но тут следует понимать, что поисковик рассматривает не только линки ведущие с вашего сайта, но и все те, что были проставлены с других ресурсов (так называемые обратные ссылки, которые желанны при SEO продвижении).

Т.о. в списке не найденных документов будут присутствовать Урлы, полученные не только в результате ваших собственных ошибок при внутренней перелинковке, но и результаты ошибок тех пользователей, которые второпях поставили на вас ссылку со своего сайта или чужого форума, но не проверили ее работоспособность.

Напротив каждого не найденного документа вы увидите код ошибки 404 (читайте про то, как удержать посетителя на странице «404 not found», что тоже может являться выходом из сложившегося положения). Посмотреть Урл страницы, которую Гугл не смог найти на вашем ресурсе, можно щелкнув по любой строке.

Там же на вкладке «Ссылающиеся домены» вы можете найти страницы, с которых данная битая ссылка была проставлена.

Если в открывшемся окне вы увидите адреса вебстраниц не вашего сайта, то исправить, скорее всего, ничего не сможете (хотя, можно попробовать, например, в .htaccess настроить для таких битых ссылок 301 редирект на правильный Урл). Но если нерабочие гиперссылки были проставлены со страниц вашего же собственного ресурса, то нужно будет в админке найти требуемую статью (или комментарий к ней) и поправить, либо удалить некорректный линк.

Думаю, что разберетесь, но наравне с панелью инструментов Google не примените посмотреть информацию о не найденных документах и в панели для вебмастеров от Яндекса, ибо их данные могут отличаться.

В Яндекс Вебмастере вам нужно будет перейти в левом меню на «Индексирование» — «Внутренние ссылки», а в открывшемся окне из выпадающего списка можно будет выбрать фильтр по типу ошибок (ошибки сервера, либо отсутствие страницы или запрет на ее индексацию):

Вы увидите список всех найденных страниц в том числе и с ошибкой 404. Далее идете в админку своего ресурса, отыскиваете нерабочую гиперссылку и либо исправляете ее, либо удаляете, чтобы не вносила сумбур в работу отлаженного механизма.

Проверка битых ссылок в программе Xenu Link Sleuth

Я мог бы еще упомянуть в этой статье про ряд сервисов, позволяющих проверить битые линки онлайн, но, к сожалению, я так и не нашел достойного бесплатного решения (хотя все же один вариант рассмотрю чуть ниже, ибо он позволяет быстро пробежаться по наиболее «выпирающим» битым ссылкам), а пробовать платные у меня как-то рука не поднялась. На бесплатных же проверить можно очень ограниченное число страниц, а следовательно, актуальность такого способа весьма сомнительна.

Но можно ведь использовать не только онлайн-сервисы, но и программы, которые будут установлены на ваш компьютер. Одной из самых популярных и, что очень важно, бесплатных программ для проверки битых ссылок является Xenu Link Sleuth, о которой я и хочу вам рассказать.

Итак, сначала вам нужно будет скачать Xenu Link Sleuth и установить на свой компьютер.

После ее запуска выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» (для проверки на битость не только внутренних линков вашего ресурса, но и ссылок, ведущих с него на другие ресурсы) и нажмите «ОК».

В результате программа Xenu Link Sleuth начнет искать и анализировать все внутренние и внешние (проставленные с вашего ресурса, например, на сайты авторов комментариев) ссылки. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

Сам по себе отчет представляет неоценимый интерес не только с точки зрения ошибок 404, но нас в первую очередь интересует именно это. В окне Xenu Link Sleuth имеется возможность отсортировать весь список по ряду табуляторов, которые находятся в самом верху.

Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

Для того, чтобы узнать, а на какой именно странице вашего сайта проставлена неработающая гиперссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties»:

В самом низу открывшегося окна вы увидите список адресов страниц вашего сайта, на которых была найдена данная битая ссылка. Вам останется только зайти в админку своего ресурса и провести необходимую правку. Да, муторно. Да, неудобно, ибо приходится копипастить ссылки и искать в админке нужные страницы. Но потратив время и силы вы на 100% избавите свой сайт от битых ссылок (во всяком случае, имеющих место быть на данный момент).

Но, как я уже упоминал чуть выше, программа Xenu Link Sleuth, при должном подходе и сообразительности, способна предоставить намного больше информации. Если вы поэкспериментируете с другими табуляторами программы, то сможете получить следующую информацию о вашем сайте из этого отчета:

1. если вы попробуете отсортировать данные в окне программы по табулятору «Title», то таким способом можете найти страницы своего сайта, имеющие дублированные заголовки Title или не имеющие их вовсе
2. с помощью табулятора «Size» можно найти слишком тяжелые страницы своего проекта, которые будут долго загружаться
3. с помощью табулятора «In Links» можно узнать количество входящих ссылок на любой документ своего ресурса, а из контекстного меню (щелчок правой кнопкой и выбор самого нижнего пункта в открывшемся меню) можно будет узнать и адреса страниц, ссылающихся на этот документ
4. с помощью сортировки табулятором «Out Links» в окне отчета программы Xenu Link Sleuth сможете узнать количество исходящих ссылок с той или иной страницы своего ресурса, а из контекстного меню — посмотреть, на какие именно страницы проставлены ссылки
5. отсортировав по табулятору «Type», можно найти изображения не имеющие тега Alt
6. табулятор «Level» позволит просмотреть вложенность тех или иных страниц вашего сайта

В общем, Xenu Link Sleuth имеет просто неоценимую значимость. Кроме этого, для статического сайта эта программа может построить карту сайта, которую потом можно будет подсунуть поисковым системам для ускорения индексации.

Также Xenu Link Sleuth по результатам проверки может сформировать очень удобный отчет в виде Html странички, где можно будет в удобоваримом виде просмотреть все веб-страницы своего проекта, имеющие битые ссылки и увидеть упомянутую выше карту.

Для создания отчета вам нужно выбрать в меню программы пункты «File» — «Report» или просто нажать R на клавиатуре. В верху страницы с отчетом будет расположено меню с разделами.

Поиск ссылок в WordPress с помощью Broken Link Checker

Если у вас блог на движке WordPress, то возможно вам будет удобнее воспользоваться плагином Broken Link Checker для проверки неработающих гиперссылок. Он может осуществлять повторную проверку через указанный вами промежуток времени, прекращать свою работу в моменты, когда сервер вашего хостинга сильно нагружен, и, что самое важное, позволяет исправлять или удалять битые ссылки прямо из своего окна, не требуя захода в окно редактирования статей.

Итак, сначала вам нужно будет скачать Broken Link Checker и установить этот плагин на WordPress стандартным образом. Если возникнут с этим проблемы, то можете обратиться к приведенному по ссылке материалу.

Сразу после установки он начнет работать и сканировать ваш блог на наличие битых ссылок. Зайдя на страницу настройки этого плагина («Настройки» — «Проверка ссылок») в админке Вордпресса, вы сможете увидеть, сколько гиперссылок уже нашел Broken Link Checker на вашем блоге, а также сделать необходимые настройки.

Здесь вы можете задать частоту повторного сканирования, попросить посылать вам сообщение на E-mail при обнаружении недоступной страницы, а также попросить плагин выделять найденные гиперссылки с помощью особого стиля CSS.

Но у Broken Link Checker есть еще несколько вкладок с настройками. На вкладке «Look For Links In» вы можете задать, в каких именно материалах вашего блога он будет осуществлять поиск, а на вкладке «Which Links To Check» указать, ссылки с каких объектов будут проверяться. На вкладке «Дополнительно» вы можете максимально минимизировать нагрузку этого плагина на сервер хостинга, ограничив время поиска и задав порог загруженности сервера, при превышении которого он прервет свою работу.

По мере проверки будет предоставляться отчет о проделанной работе и найденных битых ссылках, который вы сможете посмотреть, перейдя в меню админки WordPress в «Инструменты» — «Неправильные ссылки»:

Здесь у вас будут богатые возможности по работе с ними, причем все, что вам может потребоваться (отредактировать, удалить ее, перейти к материалу, в котором проставлена данная битая ссылка), будет возможно сделать прямо отсюда, никуда не переходя и ничего не ища. В этом и состоит, на мой взгляд, основное преимущество плагина Broken Link Checker. К тому же, по окончании проверки его со спокойной душой можно снести до следующей проверки, чтобы глаза не мозолил. Думаю, что для Joomla тоже должны существовать аналогичные расширения, но я, к сожалению, с ними пока не знаком.

ktonanovenkogo.ru

Что такое битая ссылка?

Битая ссылка — это гиперссылка на страницу, которая не существуют на сайте. Это указывает на то, что на сайте удалили или изменили URL страницы, но не скорректировали навигацию для посетителей.

Битые ссылки бывают 2х типов — внутренние и внешние. Внутренние — ведущие на страницы в пределах существующего сайта. Внешние — ведущие на другие веб-ресурсы.

Суть проблемы заключается в том, что если на несуществующую сейчас страницу вели внешние или внутренние ссылки, то при переходе пользователя на неё, открывается окно с неутешительным «Ошибка 404».

«Ошибка 404»- это стандартный сервер-ответ, когда последний не находит нужную пользователю страницу. Перед тем как открыть какую-либо веб-страницу, браузер запрашивает сервер, который, соответственно, проверяет на функциональность документ и открывает заголовок с выбранной информацией.

Если сайт работает нормально и система функционирует, то проходит кодировка «200 ОК» — она не видима для пользователей. В других случаях сервер выдает «Ошибка 404».

Важно! Крайне желательно чтобы пользователи сайта не должны сталкиваться с несуществующими компонентами.

Читайте подробнее о работе страниц с ошибкой 404.

Откуда берутся битые ссылки?

Чтобы лучше понимать страницы типа «error 404, not found», стоит ознакомиться с причинами, по которым они появляются. Основные из них:

• некорректная работа сервера;
• результат удаления документа с веб-ресурса;
• ошибка/изменение в URL.

Далее подробнее о причинах возникновения битых ссылок.

Удаление старых ненужных страниц и файлов

Внутри сайта между всеми страницами существует связь. Если хоть одну из страниц удалить, то ссылки, которые к ней вели, автоматически становятся нерабочими. Именно поэтому стоит регулярно проверять сайт на наличие битых ссылок, чтобы исключить такие ситуации.

Не нужно забывать о том, что многие страницы на сайте создаются временно; когда их актуальность проходит, они удаляются, следовательно, и ссылки на них стоит также подчищать.

Внешние битые ссылки могут появиться в случае, когда полностью закрылся сайт (например, закрылась компания, которой он принадлежал). Перестали продлевать домен — сайт автоматически прекратил работать.

Важно! Перед удалением любой странице на сайте произведите меры по добавлению 301 редиректа с удаляемой страницы на наиболее релевантную.

Изменения в структуре сайта

Когда админ создает новые подразделы, то к ним могут подтягиваться уже существующие веб-страницы. Перелинковка может вызвать появление нефункционирующих гиперссылок. Потому рекомендуем регулярно проверять работоспособность всех страниц сайта.

Пример

Ранее товар был в категории «игрушки» и имел URL типа site.ru/ingushki/tovar10/
Позже товар был перемещен в другую категорию «игрушки для девочек» и получил URL — site.ru/ingushki-dlya-devochek/tovar10/

Важно! Устранение битых ссылок важная часть в плане продвижения интернет-магазина. Все детали в статье.

Ошибки вебмастера / программиста / контентщика

Людям свойственно ошибаться. Потому программисты, контентщики или вебмастера тоже могут время от времени ошибаться в веб-адресах, на которые ставятся перелинковки (для этого достаточно напутать всего лишь с одним символом). В итоге ссылка сразу будет вести на нефункционирующую страничку. Чтобы исключить вероятность ошибки в будущем, нужно сразу же после создания страницы проверять каждую ссылку.

Как обнаружить битые ссылки? Популярные сервисы для проверки

Проверка битых ссылок должна стать регулярной и хорошей традицией. Частота проверок зависит от объема трафика и вида ресурса (контентный сайт, сайт-визитка, интернет-магазин, новостной сайт).

Далее в статье мы рассмотри программы и онлайн-сервисы для проверки битых ссылок.

Интересно! Если сайт обновляется редко, то такую проверку можно производить раз в несколько месяцев. Новостному сайту можно проверять наличие битых ссылок раз в неделю. То есть, частота проверок напрямую зависит от активности добавления или удаления контента на сайте.

Существуют специальные инструменты, которые помогают быстро и эффективно исправлять ошибки урлов. Все найденные битые ссылки нужно сразу же корректировать или убирать.

Десктопные программы для проверки битых ссылок

Поиск битых ссылок на сайте можно проводить с помощью десктопных программ-инструментов. Единственный нюанс — эти программы работают только на десктопе и требуют установки. Рассмотрим несколько популярных тулзов:

• Screaming Frog SEO Spider Tool. Одно из достоинств программы — это наличие большого количества разнообразных параметров настройки и удобство использования. Доступная как платная, так и бесплатная версия. Последняя имеет целый ряд ограничений в настройках, к примеру, она может просканировать до 500 УРЛ-адресов.

Screaming Frog SEO Spider сайт-миллионник не проверит, но искать битые ссылки с его помощью на небольшом веб-сайте вполне реально. Screaming Frog SEO Spider подойдет для операционных систем Mac OS, Windows, Linux.

• Netpeak Spider. Еще одна отличная программа, которая позволяет проверить сайт на битые ссылки. Ключевые достоинства этого инструмента — это наличие разнообразных параметров и удобство использования. Программа рассчитана на операционную систему Windows и Mac OS, создана для сканирования и анализирования веб-сайта. Утилита платная, есть триал в 14 дней.
• Xenu’s Link Sleuth. Одно из основных преимуществ Xenu Links — это бесплатное пользование программы. Из недостатков можно отметить, что эта программа не самая удобная для использования. Xenu’s Link Sleuth может замедлять работу сайта частыми запросами. Сканирование большого веб-ресурса может занять несколько часов или зависнуть на полпути. Из неудобств также можно отметить то, что программа работает только под Windows. Утилита Xenu’s Link Sleuth изначально создавалась, чтобы находить на сайтах битые ссылки. Со временем инструмент расширил свою функциональность и сейчас выполняет и другие задачи, помимо поиска ссылок.

Важно! Новичкам рекомендуем начинать работу с использования программы Xenu’s Link Sleuth

Онлайн сервисы для отслеживания битых урлов

Рассмотрим онлайн-программы для обнаружения ошибок в ссылках — их плюсы и минусы.

• Google вебмастер;
• Яндекс вебмастер;

Google вебмастер — это бесплатный онлайн-инструмент, что и является основным его преимуществом. Предоставляет данные по всем ссылкам, которые выдают ошибки.

Для получения списка ошибок перейдите в отчет «Сканирование» ->«Ошибки сканирования»

Яндекс вебмастер — также бесплатный сервис, со схожим функционалом. Но менее интуитивным. Рекомендуем остановиться на сервисе Google.

• seoto.me;
• serpstat.com.

Алгоритм работы с этими инструментами довольно прост. Как правило, нужно лишь указать адрес веб-ресурса, который нужно проверить. Остальное успешно сделает сама система.

Seoto.me — удобная онлайн поисковая программа с большим количеством параметров настроек. С помощью нее можно проанализировать и оптимизировать даже сайт-миллионник. Но анализ платный, расценки — от 500 рублей за единичный скан сайта.

Serpstat.com — сервис собирает семантику, анализирует веб-сайт и конкурентов. Может провести экспресс-анализ сайта, и сравнивать прогрессы после внедрения изменений. Доступ к сервису платный, поэтому рекомендуем его если вам придется регулярно делать аудит битых ссылок.

Поиск битых ссылок с помощью плагинов

Для поиска битых ссылок можно пользоваться также специальными плагинами, например, для этих целей подойдут Broken Link Checker для WordPress или Check My Links для Google Chrome.

Если сайт на движке WordPress, рекомендуем плагин Broken Link Checker. Он обеспечивает проверку неработающих ссылок, может запустить повтор проверки через определенное время и, к тому же, обладает гибкими настройками.

Но самое главное — с помощью этого плагина можно не только проверить наличие битых ссылок на сайте, но и пару кликов удалить список найденных гиперссылок.

Также существует аналог данного плагина — Check My Links для Google Chrome. Это тулл для проверки ссылок, сканирующий страницу сайта на наличие битых ссылок. Прежде всего, это расширение, созданное для разработчиков, редакторов контента и веб-дизайнеров.

«Check My Links» в результате проверки веб-страниц показывает, какие ссылки являются действительными, а какие нужно убрать или поправить.

Важно! Сканирование тулбаром постраничное и не позволит проверить весь сайт.

Найдите для себя другие интересные расширения Google Chrome для интернет-маркетологов.

Как правильно избавиться от битых ссылок?

Чтобы убрать битые гиперссылки, можно воспользоваться одним из следующих вариантов:

• Исправить ссылку на актуальную. Исправлять нужно вручную, меняя некорректный веб-адрес на нужный.
• Настроить «301» редирект. При смене УРЛ-структуры или движка, можно перенастроить постраничный постоянный 301 редирект в файле .htaccess.

Большое количество внутренних редиректов может негативно сказаться на сайте, поэтому мы рекомендуем первый вариант — исправление битой ссылки на работающую.

Битые ссылки — это не основная проблема, которая приводит к проблемам с ранжированием веб-ресурса в поисковых системах. Но игнорировать их все-таки не стоит.

Лучше всего своевременно исправлять все некорректные урлы и стараться не допускать их появления в будущем.

И своеобразный лайфхак: чтобы страница «Ошибка 404» не отпугивала пользователей, можно разработать для нее креативный дизайн, который покажет вашу лояльность к юзеру даже в такой ситуации. Подробнее в нашей статье о 404 ошибке.

livepage.pro

Мне понадобилось для своих сайтов запускать еженедельную проверку битых и несуществующих ссылок. Потратив пол часа на интернет-серфинг, я нашел несколько достойных консольных приложений (так как сервера у меня на Windows, то хотел использовать для этой задачи TaskSheduler). Все они оказались платные. А так как я мог выделить себе немного свободного времени, и задача на первый взгляд показалась не сложной, решил написать свое.

Отталкиваться решил вот от этой реализации: WebSpider, но, как оно обычно бывает в конечном итоге, почти все переписал, как мне нравится.

Составил себе небольшой список, того, что мне требуется и понемногу вычеркиваю из него таски:

Задача	Описание	Статус
Рекурсивно собрать все ссылки	Пробежаться по всем страницам в рамках одного сайта и собрать все ссылки	Сделано
Проверить N ссылок	В основном для отладочных целей, остановиться после проверки N ссылок	Сделано
Сохранить результат в файл	Сохранение в TXT	Сделано
Сохранить результат используя html template	Для удобства чтения + прикрутить плагин jquery data table для фильтрации и сортировки	Сделано
Показывать только ошибки	В файл репорте показывать только битые ссылки	Сделано
Опция архивирования файла репорта	Добавить поддержку 7zip	Не сделано
Посылать результат по почте	Добавить поддержку консольного мейлера	Не сделано
Показывать в репорте редиректы	Правильно обрабатывать все редиректы и выводить информацию о них в репорте	Не сделано
Добавить логирование	Добавить библиотек Log4Net	Не сделано
Общая информация о процессе в html темплейте	Показывать когда начался процесс обработки, когда закончился, и другую общую информацию в html темплейте	Не сделано
Проверить и настроить правильную обработку редиректов		Не сделано
app.config конфигурация по умолчанию	Так как стало слишком много параметров для утилиты, решил, что надо сделать конфигурацию по умолчанию из app.config	Не сделано

Программа простая до безобразия:
1. На вход подается URI, для которого скачивается контент и в контенте ищутся ссылки при помощи регулярного выражения:

public const string UrlExtractor = @"(?: hrefs*=)(?:[s""']*)(?!#|mailto|location.|javascript|.*css|.*this.)(?<url>.*?)(?:[s>""'])";

2. Все найденные ссылки, если они относятся к данному сайту, помещаются в хештейбл, где ключ — это абсолютное URI, чтобы не было дублирования.
3. Для каждой ссылки из таблицы хешей мы создаем Request и пытаемся получить Response, и читаем возвращаемый статус:

  public bool Process(WebPageState state)  { state.ProcessSuccessfull = false;   HttpWebRequest request = (HttpWebRequest) WebRequest.Create(state.Uri);  request.Method = "GET";  WebResponse response = null;   try  {  response = request.GetResponse();   if (response is HttpWebResponse)  state.StatusCode = ((HttpWebResponse) response).StatusCode;  else if (response is FileWebResponse)  state.StatusCode = HttpStatusCode.OK;   if (state.StatusCode.Equals(HttpStatusCode.OK))  {  var sr = new StreamReader(response.GetResponseStream());  state.Content = sr.ReadToEnd();    if (ContentHandler != null)  ContentHandler(state);  state.ProcessSuccessfull = true;  }  }  catch (Exception ex)  { // обработка ошибок todo: сделать отдельные catch блоки  }  finally  {  if (response != null)  {  response.Close();  }  }  return state.ProcessSuccessfull;  } 

Все остальное это красивости и энтропия.

Из интересного: использовал для удобного парсинга консольных параметров вот этот пакет https://nuget.org/packages/ManyConsole.

В итоге для обработки параметра, все что от меня требуется это создать вот такой вот класс:

 public class GetTime : ConsoleCommand  {  public GetTime()  {  Command = "get-text";  OneLineDescription = "Returns the current system time.";  }   public override int Run()  {  Console.WriteLine(DateTime.UtcNow);   return 0;  }  } 

P.S. И В заключении, так как проект пишу для себя и все еще в процессе, то добавил его на github https://github.com/alexsuslin/LinkInspector

Ах, да… кому все-таки интерсно визуально посмотреть что получается в итоге, вот это в консоле:
D:WORKProjectsOwnLinkInspectorLinkInspectorbinDebug>LinkInspector.exe -u www.google.com -n=10 -ff=html -e

Executing -u (Specify the Url to inspect for broken links.):

======================================================================================================
Proccess URI: www.google.com
Start At : 2011-12-21 04:56:09
------------------------------------------------------------------------------------------------------

0/1 : [ 2.98s] [200] : www.google.com
1/7 : [ 0.47s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.by/
2/6 : [ 0.22s] [200] : www.google.com/preferences?hl=be
3/5 : [ 0.27s] [200] : www.google.com/advanced_search?hl=be
4/7 : [ 0.55s] [200] : www.google.com/language_tools?hl=be
5/341 : [ 0.21s] [200] : www.google.by/setprefs?sig=0_OmYw86q6Bd9tjRx1su-C4ZbrJUU=&hl=ru
6/340 : [ 0.09s] [200] : www.google.com/intl/be/about.html
7/361 : [ 0.30s] [200] : www.google.com/ncr
8/361 : [ 0.21s] [200] : accounts.google.com/ServiceLogin?hl=be&continue=http://www.google.com/advanced_search?hl=be
9/360 : [ 0.13s] [200] : www.google.com/webhp?hl=be
------------------------------------------------------------------------------------------------------
Pages Processed: 10
Pages Pending : 0
End At : 2011-12-21 04:56:14
Elasped Time : 0h 0m 5s 456ms
======================================================================================================


или вот это вот скриншот репорта в html темплейте

P.P.S. Попросили скомпилированные бинарники, вот пожалуйста: скачать Link Inspector 0.1 alpha

habr.com

Плагин Broken Link Checker: проверка битых ссылок

Если у вас установлен движок WordPress, то лучшего средства произвести проверку битых ссылок, чем Broken Link Checker, наверное, нет. Скачать плагин, активировать его обычным образом (как установить плагин для WordPress). Как только вы его активируете, он приступит к работе. Переходим к настройкам плагина «Параметры»→«Настройка ссылок»:

«>

Здесь можно видеть результат работы Broken Link Checker. Небольшое неудобство заключается в том, что текст настроек не полностью  русифицирован, но это не является большой проблемой. Дам некоторые разъяснения:

• Вы можете посмотреть отладочную информацию, кликнув по соответствующей ссылке
• периодичность проверки ссылок
• Оповещение по e-mail при обнаружении битых ссылок. Если не желаете получать данные на почту, можете снять галочку
• Оповещение авторов о неработающих ссылках. Я так полагаю, тогда, когда у вас  есть статьи других авторов

Link tweaks:

• Apply custom formatting to broken link — применить пользовательское форматирование для битых ссылок. То есть  можно изменять вид битой ссылки, впоследствии она будет отличаться от других, в том числе редактируя CSS
• Apply custom formatting to removed links — применить пользовательское форматирование для удаленных ссылок

Думаю, для стандартного блога wordpress я бы оставил все по умолчанию, но вы можете поступить по-своему. Теперь посмотрим следующую вкладку «Look For Links In»:

«>

Здесь разумно оставить все как есть, по умолчанию. По крайней мере я так сделал у себя. Настройки содержат еще несколько вкладок: «Wich Links to Check» — можно указать ссылки с каких объектов будут проверяться плагином Broken Link Checker. На вкладке «Дополнительно» вы можете минимизировать нагрузку расширения на сервер, ограничив время поиска, также определив лимит загруженности сервера, при котором плагин прервет работу.

Но вообще-то для минимизации нагрузки можно вполне отключать плагин Broken Link Checker после сканирования блога, затем включать его только тогда, когда вы снова решите произвести проверку битых ссылок, скажем, раз за месяц проделывать эту операцию вполне достаточно. В следующей статье рассмотрим как удалить битые ссылки с помощью Broken Link Checker, для этого я намеренно проставил ссылку в одной из моих постов на несуществующий материал. А сегодня, пожалуй, все, до следующей встречи.

goldbusinessnet.com

Что делать с битыми ссылками на сайте?

1. Удалить ссылки, которые ведут на несуществующие страницы.
2. Заполнить “несуществующую” страницу контентом.
3. Если была переделка структуры, поставить 301 редирект на новые существующие страницы с соответствующим контентом.

 

Поиск битых ссылок на сайте

Есть несколько способов найти битые ссылки на сайте:

— поиск вручную;

— помощь специалиста;

— платный поиск битых ссылок на сайте;

— бесплатный поиск битых ссылок.

Сайт состоит из нескольких страниц — вы можете самостоятельно провести анализ битых ссылок, нажимая на каждую из них. Если переход произведен успешно — ссылка годна, если нет — подлежит замене или уничтожению.

Вы не в состоянии обслужить ресурс в ручную — обратитесь к специалисту, который точно знает, что делать с битыми ссылками. Возможно, это будет самое верное решение, так как нерадив поиск битых ссылок, неверное их уничтожение, может привести к гораздо худшим последствиям, чем само их существование.

Также вам может помочь платная программа поиска битых ссылок. Найти платные сервисы достаточно просто, но результат не всегда радует. Порой, заказчик получает список ссылок без указания страниц на которых они находятся… Будьте внимательны и посоветуйтесь, прежде чем тратить деньги.

Бесплатно проверить сайт также возможно, для этого есть программы, о которых я расскажу в отдельном блоке. 

 

Как удалить битые ссылки на сайте

Вопрос с поиском решен, необходимо провести удаление битых ссылок. Еще раз следует заметить, это дело лучше спорится в руках профи, именно они знают точно что делать с битыми ссылками. Например, картинки иногда подлежат восстановлению, поэтому, прежде чем удалить ссылку изображения, попытайтесь отметить ее как «Не битую» — Not broken, порой это помогает.

Так как убрать битые ссылки с сайта вручную достаточно просто, то при небольшом количестве можно воспользоваться функцией «Удалить ссылку» в плагине каждой. Но не все они поддаются простому удалению, некоторые придется перенаправить. Для того чтобы понять как исправлять битые ссылкина сайте, понадобиться больше усердия.

Чтобы описать способ -как удалить битые ссылки в вашем случае, необходимо разобраться каким образом вы их обнаружили. В различных ситуациях это могут быть разные решения. Если вы пользовались Free Broken Link Checker, то удалять проще через карту сайта. Если вы работаете в WordPress, установите плагин Broken Link Checker.

Как еще убрать битые ссылки с сайта

Можно просто:

 

Поиск и восстановление битых ссылок: программа для проверки битых ссылок на сайте

А как же найти битые ссылки, если у меня огромный проект? Не вручную же искать?

Конечно же, не вручную. Есть множество программ для поиска битых ссылок, но я использую Xenu. Скачать Хenu вы можете здесь.
Интерфейс в данной программе прост и интуитивно понятен:

Добавим новый проект

Жмем «ок» и ждем, пока программа просмотрит весь сайт, осуществит поиск и вы сможете заняться восстановлением битых ссылок. Для примера я взял сайт одной довольно популярной компании. Как видим, у всех бывают ошибки:

Рассмотрим подробно:

С помощью этого инструмента вы можете легко удалить битые ссылки на сайте. Напомню, что удаление битых ссылок даст вам +1 балл в табель, по которой определяются места в выдаче.

Советую провести эту работу, недолгую и полезную. Спасибо за внимание.

semantica.in