Мониторинг изменений на сайте


В рамках SEO и PPC мы часто сталкиваемся с тем, что клиент обновляет сайт и не говорит нам об этом. Конечно, он вроде бы должен поставить нас в известность, но с другой стороны — все, мол, уже на сайте, — иди и смотри. И здесь возникает вопрос: как мгновенно узнавать об изменениях на сайтах сразу всех своих проектов? К счастью, есть простое решение.

Начать стоит с понимания, что именно мы хотим отслеживать: это может быть прайс-лист, который обновляется в режиме онлайн, как только добавлен новый товар, или это просто список категорий, чтобы быть в курсе появления новых разделов на сайте клиента, — что угодно. Для примера, возьмем любой магазин, который не относится к нашим клиентам, и у которого есть прайс-лист. Пускай это будет магазин детских товаров. Так же, как показано на примере ниже, вы можете выделить и настроить отслеживание изменений для списка категорий сайта, для товаров отдельного раздела, для обновления блога, для комментариев, и так далее.

Настраиваем email-уведомления об обновлениях на сайте с помощью Kimono

Следуем по пунктам:


  1. Установите приложение для Chrome — Kimono.
  2. Зайдите на страницу прайс-листа и кликните по иконке Kimono в правом верхнем углу браузера.
  3. Кликните по любому названию товара из списка. Дополнительно нажмите галочки на других товарах, чтобы выделить их все. Так как нам важно именно изменение списка товаров, цены можем не выделять.Кликните по любому названию товара из списка. Дополнительно нажмите галочки на других товарах, чтобы выделить их все 4. Прокрутите страницу вниз и проверьте, все ли поля выделены. Если нет — дополнительно выделите. Прокрутите страницу вниз и проверьте, все ли поля выделены 5. Нажмите «done» в правом верхнем углу.
    6. Введите название API и перейдите по ссылке. Для примера, назовем «PriceUpdate». Введите название API и перейдите по ссылке API создано 7. В интерфейсе Kimono перейдите на вкладку Crawl Setup и выберите частоту обновления API. Достаточно проверять изменения раз в день.

    В интерфейсе Kimono перейдите на вкладку Crawl Setup и выберите частоту обновления API 8. Настройте email-уведомления. Для этого перейдите на вкладку Use Data и кликните Email Alerts. Перейдите на вкладку Use Data и кликните Email Alerts 9. Введите email. Письмо придет только в том случае, если в прайсе что-то изменилось. Обратите внимание, что можно ввести несколько адресов электронной почты. К примеру, указать адреса электронной почты всех участников проекта, которые должны знать об изменениях на сайте. Можно ввести несколько адресов электронной почты. К примеру, указать адреса электронной почты всех участников проекта Письмо от Kimono будет выглядеть так: Письмо от Kimono Поздравляю! Теперь Kimono оповестит вас о том, что среди отслеживаемых элементов на сайте есть изменения. Если речь идет о сайте с пятью категориями и 20 товарами, вам может быть достаточно одного уведомления. Но если речь идет об интернет-магазине с огромным количеством товаров и категорий, здесь уже «на глаз» изменения не определить, и нужно автоматизировать сравнение данных.

Как определить, что именно изменилось на сайте: сравнение данных в Google SpreadSheets


Первое, что необходимо сделать — это установить дополнение Kimono для таблиц Google. Для этого нужно перейти в таблице на Дополнения → Установить дополнения и ввести в поле поиска «Kimono». Как установить дополнение Kimono для таблиц Google Kimono установили. Что дальше? Следуем: Дополнения → Kimono → Connect to Kimono и выбираем API. Следуем: Дополнения → Kimono → Connect to Kimono и выбираем API 2. Данные из API будут выгружены на отдельный лист. Создаем копию этого листа и переименовываем его, к примеру, на «0». Это наша точка отсчета — именно эти данные мы будем сравнивать с обновленными данными по сайту. Данные из API будут выгружены на отдельный лист 3. На первом листе располагаем формулу сравнения данных листа «0» и листа «Kimono_PriceUpdate_collection1». Здесь может быть три ситуации:

  • изменился URL, но название осталось прежним — к примеру, если возникла проблема с CMS сайта и к URL добавились ненужные GET-параметры;
  • изменилось название, но не URL — переименовали категорию или товар;
  • изменилось и то, и другое, — то есть это новый товар или новая категория.

Нам интересны все три ситуации, поэтому мы учтем их все в формуле сравнения товаров. Формула сравнения товаров Саму формулу и то, как все выглядит, можно посмотреть по ссылке. Чтобы иметь права редактирования документа, выберите Файл → Создать копию. Познакомиться с формулами для Google SpreadSheets можно здесь.

Пришло уведомление по email. Что дальше?

Если вы получили уведомление от Kimono о том, что на сайте обнаружены изменения, необходимо сравнить новый API со старыми данными. Для этого вы переходите в таблицу на лист данных от Кимоно (в нашем случае — на лист «Kimono_PriceUpdate_collection1», не на «0»!) и обновляете данные — вот так: Необходимо сравнить новый API со старыми данными Обновив данные на листе, вы переходите на «Лист 1» и видите, где именно были внесены изменения на сайте. Обновив данные на листе, вы переходите на «Лист 1» и видите, где именно были внесены изменения на сайте Имея развернутые данные по всем товарам, можно предпринимать необходимые действия — поставить ТЗ по исправлению URL, если появились ошибки в CMS, или расширить семантическое ядро для новых товаров или категорий, которые появились на сайте, или добавить новые товары в текущую рекламную кампанию. Главное, не забудьте скопировать измененные данные на лист «0», так как теперь именно они становятся точкой отсчета.


Метод Kimono удобен тем, что:

Надеемся, этот пост поможет вам быть в курсе последних событий. Задавайте вопросы в комментариях или расскажите о своем методе отслеживания изменений на сайте. P.S.: Спасибо Eagle за идею написать этот пост.

netpeak.net

Иногда бывает необходимо быть в курсе изменений некоторых WEB страниц произвольных сайтов. Но что делать если сайт не имеет RSS или других видов автоматизированного оповещения об изменениях сайта. В этом случае требуется инструмент который откроет сайт на нужной странице и посмотрит изменилась ли она с предыдущего посещения и если изменилась каким-то образом оповестить заинтересованное лицо.

На самом деле есть несколько разных видов такой услуги.

  1. Плагин для Firefox
  2. Программа которая запускается и отслеживание нужные сайты
  3. Онлайн сервисы которые дают возможность прописать эти страницы и условия контроля и получать оповещения при обнаружении каждого изменения.

1) Плагины FireFox


https://addons.mozilla.org/en-US/firefox/addon/alertbox/
AlertBox 0.4.6.20111013
by Ajit K
Add, manage and track changes in web pages. Get alerts for important changes.

https://addons.mozilla.org/ru/firefox/addon/update-scanner/
Update Scanner 3.1.10
автор sneakypete81
Следит за обновлениями web-страниц. Полезно для web-сайтов, которые не имеют лент новостей (Atom или RSS).

https://addons.mozilla.org/en-us/firefox/addon/sitedelta/
SiteDelta 0.13.1
by Andreas Schierl
Notifies when websites are changed and highlights the changes since last visit.

2) Список программ которые удалось нагуглить выглядит примерно так:
http://aignes.net/ Платный с триалом.
http://www.activeurls.com/ Платный с триалом.
http://www.eldos.org/timelyweb/timelyweb.html Бесплатный
http://www.eyeonweb.com/eowwin.html Платный с триалом.
http://www.cmcode.co.uk/webmon/ Бесплатный
http://www.right-soft.com/webmon/ Платный с триалом.
http://www.xemico.com/newswatch/ Бесплатный с регистрацией, но автор опубликовал код DC8AF-00029-AFAB0
http://www.ykwong.com/chk4new.html Бесплатный

3) WEB сервисы

http://www.ChangeDetection.com/monitor.html Бесплатный
http://feed43.com/ Бесплатный и платный расширенный варианты
http://www.rsspect.com/ Бесплатна урезанная версия.


Для пользователей Linux есть такие инструменты:
http://baruch.ev-en.org/proj/websec/ Бесплатный в исходниках
http://kwebwatch.sourceforge.net/
Базируется на предыдущем но написан на С++ и имеет GUI интерфейс (KDE)
http://www.antbear.org/urlchange/urlprj.html
Проверяет только время на странице а не реальное её содержимое, поэтому применима для немногих сайтов.
http://sourceforge.net/projects/wrep/ Фактически экстрактор интересующих частей страницы. Программа только экспортирует содержимое страницы используя регулярные выражения и не ищет изменения. Далее можно использовать diff. 🙂
http://lab.madscience.nl/wrep/
Язык для преобразования web страниц во что-то другое. Может быть использован для создания сводной страницы изменений на других сайтах.

youngblog.hoster-ok.com

В любой работе иногда бывают ситуации, когда надо отследить появление новой информации, сравнить и проанализировать версии чего-либо. Подобные нужды возникают у ИТ-специалистов, бухгалтеров, аудиторов, юристов, журналистов — и это далеко не полный список профессий. Конечно, можно выполнять эту работу вручную или автоматизировать процесс лишь частично, однако в современных условиях это равносильно пустой трате времени и сил.


Тотальный мониторинг

Чтобы избежать подобных ситуаций, уже давно разрабатываются и успешно используются самые различные программы для мониторинга и анализа данных. Многие компании создают такие утилиты под свои узкие задачи, существует некоторое количество свободных программ, написанных энтузиастами (к примеру, xStarter, Directory Monitor, SysTracer и пр.), ПО для контроля ИТ-архитектуры разрабатывается также известными вендорами, например, Netwrix. Однако все эти программы имеют один значимый минус: они анализируют лишь один источник данных.

Исключением из общего правила стал продукт компании embc — Websvodka. Изначально созданное для отслеживания потребностей потенциальных клиентов компании – негосударственных пенсионных фондов, решение постепенно «научилось» работать со страницами сайтов, с поисковыми системами, с размерами файлов и пр.

Как начиналась Websvodka

Проект начали планировать в 2011 г. Как уже упоминалось, изначально стояла задача оптимизировать трудозатраты на отслеживание тендеров, конкурсов, нормативных актов и просто новостей в сфере негосударственного пенсионного обеспечения. Поскольку все изменения сейчас анонсируются в интернете, то специалисты компании чуть ли не вручную мониторили информационные сайты и сайты пенсионных фондов. Но не всегда на это было время и много важного упускалось, что, конечно, отражалось на общем результате.


В результате было решено перейти на новый формат отслеживания с применением информационных технологий. «Именно для этого мы и начали разрабатывать продукт Websvodka, — рассказывает Дмитрий Кавыршин, руководитель проекта Websvodka. — В 2013 году мы начали использование продукта у себя внутри компании, отладив работу по нашему направлению. Это позволило нам значительно оптимизировать трудозатраты и при этом серьезно повысить качество по данному направлению — это было здорово!»

Пожалуй, наибольшие проблемы разработчику доставила реализация масштабирования работы сервиса. Поскольку изначально планировалось, что Websvodka будет работать с относительно небольшим числом ресурсов, то, когда было принято решение о ее выводе на рынок, пришлось менять архитектуру базы данных и серверное оборудование. Сейчас продукт автономен и все сервисы полностью резервированы. По словам г-на Кавыршина, без особых изменений программного кода сегодня можно масштабировать продукт не менее чем до 1 млн. отслеживаемых страниц, увеличивая лишь серверные мощности. «Конечно, были еще сложности с работой некоторых сайтов, поскольку не все написаны в единых стандартах программирования. Эти проблемы встречаются и сейчас. В каждом случае разбираемся отдельно, если есть такой запрос от пользователей», — продолжил спикер.

Что может Websvodka?

Может решение весьма многое. К примеру, оно отслеживает все изменения контента на конкретных страницах сайтов; появление или удаление на них словосочетаний, изменение структуры сайта, изменение его позиции в поисковой системе «Яндекс», а также изменения размеров файлов и даты этих событий.


В компании существуют четыре режима работы с пользователями решения Websvodka.

Во-первых, конечно, демоверсия, которая позволяет ознакомиться с возможностями сервиса. В ней доступен полный функционал продукта, однако внесенные изменения (объекты, поставленные на контроль) не будут сохранены после окончания сессии.
Пользователь получает мониторинг 50 страниц, 20 сайтов, 5 поисковых запросов и 50 файлов.

Второй вариант работы — это бесплатный режим, который позволяет одновременно отслеживать до трех объектов каждого типа (страницы, сайты, поисковые запросы, файлы) с частотой автоматической проверки раз в сутки или реже. Клиент может мониторить 3 страницы, 3 сайта; 3 поисковых запроса и 3 файла.

Режим расширенных возможностей позволяет отслеживать наибольшее количество объектов с частотой проверки до одного раза в час — за исключением поисковых запросов. По поисковым запросам максимальная частота автоматической проверки — 1 раз в сутки.

Стоимость такого варианта использования решения — 240 руб. за три месяца. Пользователь получает мониторинг 50 страниц, 5 сайтов, 5 поисковых запросов, 15 файлов.

Наконец, компания работает по индивидуальным запросам пользователей, которым необходимо отслеживать большие объемы информации и которым для анализа требуются дополнительные отчеты. «Тут мы учитываем запросы и пожелания конкретного пользователя», — резюмировал Дмитрий Кавыршин.

Весь рынок

Основная возможность применения решения — это предоставление пользователю инструмента для автоматического мониторинга изменений интернет-контента. При этом всю работу делает программа, а пользователь получает уведомления об изменениях на почту.

«Целевая аудитория нашего продукта — по сути, весь сегодняшний рынок, — рассказывает г-н Кавыршин. — Ведь интернет с начала 2000-х гг. очень сильно трансформировался, и сегодня любую, даже небольшую, компанию трудно представить без сайта, где описаны услуги или вид деятельности.»

Задача проекта — помочь компаниям оптимизировать свои трудозатраты и повысить качество работы, к примеру, по обновлению продуктовой линейки. Ведь при проработке тех или иных продуктов маркетологу важно учитывать мнение клиентов. С помощью сервиса Websvodka пользователь может мониторить множество интернет-ресурсов на предмет появления важной информации и быть всегда в курсе изменений без особых трудозатрат.

Это могут быть и примеры работы с сервисом, которые приводит компания-разработчик: отслеживание изменений продуктов на сайтах конкурентов, изменений в разделах вакансий на сайтах потенциальных работодателей и заказчиков. Новостные порталы также могут пользоваться Websvodka, ведь им важно понимать, кто из конкурентов опубликовал новость первым. Можно отслеживать новостные ленты конкурентов по регионам, тогда пользователю не придется каждый раз тратить время на просмотр сайта конкурента — сервис автоматически известит пользователя о появлении новой информации.

Готовым кейсом использования решения поделился и г-н Кавыршин: «Мы готовим еженедельно обзорные статьи по страховым компаниям с информацией по изменениям в новостной ленте, продуктовой ленте. Мы охватываем все страховые компании, интересующие Заказчика, и предоставляем ему на основании нашего сервиса полный обзор новых продуктов и изменений в новостной ленте у конкурентов».

Ориентация на пользователя

Если говорить о планах по развитию решения, то по большей части они опираются на потребности пользователей. При этом продукт оптимизируется, сервис становится стабильнее, функциональность — шире. В планах реализовать проектное отображение контролируемых объектов, чтобы пользователь имел возможность разбивать их по конкретной тематике.

Также готовится англоязычная версия продукта.

www.cnews.ru

А для чего ещё нужен мониторинг изменений в файлах?

Эта функция будет полезна также и владельцам сайтов, доступ к файлам которых имеют несколько человек. Вы будете знать, когда и какие файлы поменяли, добавили или удалили. Это позволит вам всегда быть в курсе всего, что происходит с файлами вашего сайта.


Поставить свой сайт на мониторинг и контроль над файлами →

Бесплатный тестовый период — проверьте качество наших услуг!

Поставить свой сайт на мониторинг и контроль над файлами:

Добавить на проверку →

Бесплатный тестовый период — проверьте качество наших услуг!

monitorus.ru

Веб-сервис, позволяющий отслеживать изменения на сайтах: ответ сервера, изменение тегов Title/Description, H1, rel=canonical, ответ сервера, robots.txt и так далее. Чем раньше SEO-специалист отследит подобные изменения (если они нежелательны), тем больше шансов, что они будут исправлены до того, как страницы переиндексируются поисковыми ботами. Сервис присылает ежедневный отчет об изменениях на email. Возможна проверка по требованию пользователя, помимо ежедневного обхода.

Стоимость. Есть бесплатная версия и платные (от 500 руб. в месяц) с расширенными лимитами по количеству страниц и доменов.

Seosan.png

Самая известная функция сервиса – мониторинг позиций. Также он позволяет отслеживать изменения на сайте в важных для SEO участках кода: Title/Description и т.п. (раздел «Радар» – ). Есть возможность выбрать способ уведомления (на сайте или по email) и частоту проверок (каждый день, каждую неделю), а также интересующее время обхода.

Стоимость. Рассчитывается исходя из количества различных проверок (позиции, кластеризация), платные тарифы начинаются от 999 руб. в месяц.

Topvisor.png

Один из старейших простых сервисов для мониторинга изменений на сайтах. Есть возможность добавить свой URL и посмотреть на изменение контента на странице, настроить частоту уведомлений (раз в день/неделю/месяц), указать дополнительные опции – например, уведомлять, если изменилось что-то значимое, а не просто даты на странице.

Стоимость. Сервис бесплатный, но не позволяет отслеживать изменение отдельных HTML-элементов на странице.

changedetection.png

Сервис позволяет отслеживать изменения на страницах (в тексте или коде) и появление новых страниц на сайте. Одна из возможностей– мониторинг появления новых страниц в поисковой выдаче по интересующим запросам. Также возможно отслеживание появления или исчезновения определенного слова или словосочетания.

Стоимость. Для платных тарифов есть возможность мониторить страницы раз в 15 минут (5 сайтов x 50 страниц). Стоимость – 240 руб. за 3 месяца.

websvodka.png

Сервис позволяет отслеживать такие параметры, как:

  • Срок действия SSL-сертификата и домена.
  • Наличие вирусов.
  • Регулярная проверка SEO-ссылок (noindex, nofollow, robots.txt и т.д.).
  • Мониторинг определенного фрагмента текста на проверяемой странице.
  • Проверка наличия домена и IP в черных списках Роскомнадзора, Spamhaus.

Стоимость. Тарификация здесь основывается не на абонентской плате, а на количестве реально используемых запросов: например, проверка срока действия SSL-сертификата (стоимость за сутки) – 0,01 $.

Ping-Admin.png

Testomato позволяет завести страницы сайта и правильное (по мнению вебмастера) значение параметра – например, ожидаемый ответ сервера (200 OK, 301 Moved Permanently с нужным Location) и отслеживать изменения.

На некоторых тарифах есть доступ через API и поддержка страниц, для доступа к которым требуется авторизация на сайте.

У сервиса есть датацентры в США, Европе и Азии.

Проверки запускаются раз в 15 минут, а аптайм сервера проверяется каждые 15 секунд.

Стоимость: Тарифы начинаются от 15$ в месяц (3 сайта по 25 URL’ов).

Testomato.png

А какими инструментами для данных задач пользуетесь вы? Поделитесь, пожалуйста, в комментариях.

www.seonews.ru

Хотите знать, когда будет падение цен на торговых сайтах? Когда кто-то прислал новое сообщение в форуме? Когда ваш любимый сайт обновления не предлагает канал? Все эти сценарии использования и многое другое крик о программах, которые могут контролировать изменения веб-сайтов.

Программа, которая контролирует обновления сайта ? Она, очевидно, должна проверять сайт в интервалах определённого времени и сравнивать активное состояние с предыдущим состоянием на сайте. Обновления сайта должны быть посланы на компьютер пользователя.Приятно иметь возможности для мониторинга сайта,выделения изменений на веб-сайтах, способности игнорировать незначительные изменения сайта (например, дату и время, которые меняются каждую минуту) или регистрация функциональности.
Ниже приводится список пяти инструментов для мониторинга веб-сайтов. Три из этих инструментов дополнения Firefox, один сервис онлайн-и последнее программное обеспечение для операционной системы Windows.

Check4Change дополнение Firefox изменение поведения сайта. Вероятно, это самые основные инструменты для мониторинга сайтов, которые рассматриваются в этой статье. Пользователь может выбрать текст на веб-сайтах и открыть   контекстное меню Check 4 Change по щелчку правой кнопкой мыши. Именно там можно определить интервал для мониторинга изменений веб-сайтов. Обновления сайтов будут отображаться в закладке сайта, который находится под контролем. Это одна из самых больших слабостей этого дополнения. Сайт должен быть открыт для контроля Firefox дополнения. Предоставляются несколько вариантов дополнения. Можно изменить интервалы и настроить несколько параметров, которые включают уведомление воспроизведения звуков, всплывающие окна или окно на передний план. Дополнение лучше всего использовать для мониторинга сайтов, которые требуют проверки подлинности.Например, дополнение может быть интересным для мониторинга веб-счетов по электронной почте.
Update Scanner

Мониторинг изменений на сайте

Update Scanner использует иной подход, чем Check 4 Change.Программа автоматически отслеживает полный веб-сайт для изменения с возможностью игнорировать номера и незначительные изменения. Другая выгода от использования этого мониторинга сайта является то, что сайты, которые контролируются не должны быть открыты для того, чтобы выполнить обновление проверки.
Интервал проверки для изменений сайта имеет значение один раз в день по умолчанию. Это значение может быть изменено на минимум каждые 5 минут .Дополнение имеет иконку в строке состояния Firefox. Щёлкните левой кнопкой мыши на этот значок открывается боковая панель, которая отображает все сайты, которые контролируются дополнением.Боковая панель содержит кнопки для выполнения ручной проверки, открыть один из мониторингов веб-сайтов и доступ к предпочтениям дополнения, которые позволяют пользователю настроить уведомления.

Мониторинг изменений на сайте

Доступные звуки и всплывающие уведомления.

Site Delta

Мониторинг изменений на сайте

SiteDelta третье(и последнее) дополнение Firefox для мониторинга веб-сайтов. Дополнение сначала покажется немного запутанным, так как не существует очевидного способа добавить сайты, которые должны быть проверены.Дополнение начинает мониторинг изменения веб-сайтов, если пользователь нажимает иконку в строке состояния Firefox. Активные URL затем будут добавлены в список страниц, которые контролируются дополнением. Значок будет светиться зеленым цветом, если активный сайт контролируется ею. Щёлкните правой кнопкой мыши открывается контекстное меню, которое можно использовать для настройки мониторинга в деталях.
Пользователи могут настроить параметры сканирования в двух вкладках. Дополнение по умолчанию будет проверять на текстовые и графические изменения.Кроме того, можно игнорировать регистр или номера и создать резервную копию страницы, когда изменения признаются.

Мониторинг изменений на сайте

Когда для сканирования используется вкладка для настройки интервалов сканирования. Можно установить определенную частоту сканирования или пусть дополнения само выбирает частоту. Дополнение использует алгоритм, который проверяет контролируемый сайт на частоту обновления.

Change Detection

Мониторинг изменений на сайте ChangeDetection это бесплатный онлайн сервис, который может контролировать изменения веб-сайтов. URL веб-сайта и адрес электронной почты предоставляются на первом этапе этого процесса. Служба будет стараться сканировать веб-сайт. Если сканирование успешно  отображается шаг 2.

На втором этапе настраиваются уведомления и тип изменений.Уведомления будут при условии, отправки письма на электронный счет или путем предоставления канала, который обновляется с изменением сайта. Сервис онлайн-мониторинга,можно настроить только посылать уведомления, если произошли значительные изменения при мониторинге веб-сайтов. Кроме того, можно определить текст, который должен вызывать уведомления (либо, если они добавлены или удалены со страницы, которые могут быть интересны для целей построения ссылок).
WebMon

Мониторинг изменений на сайте

WebMon является единственным программным обеспечением в данном обзоре, которая может быть использована для мониторинга веб-сайтов. Программное обеспечение мониторинга веб-сайтов имеет несколько преимуществ по сравнению с дополнениями Firefox.Программа может работать в фоновом режиме, даже если все окна веб-браузера закрыты. Firefox надстройки могут выполнять проверку обновления сайтов, если веб-браузер работает.
Программа поставляется с простым в использовании интерфейсом. Работу она начинает с добавления URL в программу. Любой URL, который в настоящее время находится в буфере обмена Windows, будет автоматически вставлен в форму прямо сейчас. Это даёт возможность настроить интервалы проверки использования минуты, часы и дни в интерфейсе. Процесс полной проверки всего на странице которая должна быть проверена. Пользователи, которые хотят задать определенный текст или элементы на веб-сайте могут сделать это так, нажмите на кнопку «определить содержание для проверки» в окне конфигурации.

Это в основном позволяет пользователю указать диапазон контента на сайте, который должен быть включены в программу. Программное обеспечение  мониторинга веб-сайта уведомляет пользователя всплывающим оповещением или звуками. Программа может запуститься, если команда обновления не найдена.
Программное обеспечение мониторинга веб-сайта имеет много дополнительных опций при условии, что включена поддержка прокси сервера, регистрация или импорт и экспорт списка отслеживаемых сайтов.
Вердикт
Программное обеспечение для мониторинга веб-сайтов, дополнения или услуги сильно зависит от сценария использования. Пользователи, которые работают в веб-браузере Firefox всё время, возможно, предпочтут дополнения для мониторинга изменения веб-сайтов. Сервис онлайн с другой стороны будет контролировать удалённо сайты так, что компьютерная система пользователя не нужна включенной всегда, чтобы следить за изменениями (можно даже  отправить уведомления на смартфон,например).
Программное обеспечение мониторинга веб-сайтов, с другой стороны является наиболее гибким инструментом, который предоставляет возможности для выполнения команд, если изменения были обнаружены.
А что предпочитаете вы ?

kompkimi.ru

Хабрахабр, привет!

Возникала ли у вас когда-нибудь потребность отслеживать появление какой-нибудь информации на сайте, особенно если там нет рассылки новостей и RSS-канала!? Приходилось ли ожидать, когда опубликуют результаты экзамена, новые вакансии, тендеры, обновят прайс.

В нашей компании, занимающейся большую часть времени пенсионно-страховым консалтингом, такая потребность возникает постоянно. При этом тратить время на регулярное посещение сайтов грустно, а найти подходящий инструмент, которому можно было бы поручить такого рода задачу не получалось: либо надо было устанавливать отдельную программу, либо не устраивало отображение результата. Поэтому было решено создать сервис, который бы позволял отслеживать все изменения на сайтах. И не просто отслеживать и получать уведомления об изменениях, но и видеть сами изменения прямо на сайте.

Результатом разработки стал сервис Websvodka.ru, о котором здесь кратко расскажу. Возможно, вам он тоже сможет пригодиться.

image

Основные функции Websvodka.ru:
— Отслеживание и отображение изменений на веб-страницах.
— Контроль добавления и удаления страниц сайтов (отслеживаются гиперссылки на существующих страницах).
— Оповещение об изменениях результатов по поисковым запросам.
— Отслеживание размеров размещенных в интернете файлов.

1. Изменения на странице
После постановки страницы на контроль можно видеть все происходящие с ней изменения. На скриншоте ниже добавленная фраза выделена зелёным, а удалённая – красным. Контролируемая страница rbc.ru:

image

Изменения на habrahabr.ru/posts/software/:

image

Кроме того, сервису можно поручить отслеживать случаи появления или исчезновения на странице отдельных слов и словосочетаний.

2. Наблюдение за сайтом
А так выглядит отчет о добавлении и удалении страниц на сайте ixbt.com:

image

Заинтересовавшие страницы можно открыть в новой вкладке, кликнув изображение глаза, или добавить в список контролируемых, нажав на флажок. Они автоматически появятся в соответствующем разделе.

3. Поисковые запросы
Нажимается кнопка «Добавить», вводится интересующий запрос, и сервис будет показывать выбывшие и новые результаты поиска, а также изменения их позиций в выдаче.

image

4. Размеры файлов
Добавлять файлы для мониторинга и получать результаты отслеживания можно точно так же, как и для остальных типов контента. Задается ссылка на файл, и сервис будет информировать об изменениях его размера, даты изменений фиксируются.

Рассмотренные четыре возможности по отслеживанию изменений контента сайтов отражают основной имеющийся функционал сервиса Websvodka.ru. Для повышения надежности и скорости работы модули загрузки контента, анализа страниц и хранения результатов функционируют параллельно и размещены на разных серверах. Работа над расширением возможностей продолжается.

Будем рады, если сервис поможет в решении ваших задач!

P.S. Как это работает:
После регистрации на Websvodka.ru и входа в систему (для простого ознакомления с функционалом можно и не регистрироваться, а выбрать режим «Демоверсия», но тогда ваши действия на сайте не будут сохраняться), переходим в раздел «Рабочий стол», выбираем нужную категорию, нажимаем кнопку «Добавить» и вводим адрес того, за чем надо понаблюдать. Далее Websvodka.ru регулярно проверяет интересующий объект и уведомляет вас о его изменениях (можно настроить уведомления по e-mail). Использование основного функционала бесплатно. Сами изменения можно увидеть, войдя в нужную категорию раздела «Рабочий стол».

habr.com

Привет всем! В этой публикации мы хотим кратко рассказать о веб-сервисе для мониторинга сайтов SORGE. Сразу оговоримся, это рекламный текст, но мы будем рады любым пожеланиям по совершенствованию этого продукта и с радостью ответим на ваши вопросы.

Проект SORGE (www.sorge.pro) назван в честь разведчика Рихарда Зорге. Задача сервиса отслеживать изменения на сайтах. Главным образом он ориентирован на слежение за сайтами конкурентов и партнёров, однако многие успешно используют его для отслеживания изменений и на своих Интернет-ресурсах. Для начала работы с сервисом достаточно указать ссылку на нужный сайт, SORGE автоматически проиндексирует его. Далее сервис будет раз в 24 часа отслеживать изменения на нём.

Интерфейс списка проектов

Сервис работает со следующими типами информации:

1) Структура сайта — выстраивает точную структуру сайта и выявляет новые и пропавшие страницы. Есть множество полезных настроек для управления индексацией структуры сайта. Например, можно отключить обнаружение страниц, в адресах которых содержатся переменные «?» и «#». Доступна блокировка не нужных страниц, изменение глубины индексации сайта и многое другое.

Мониторинг структуры сайта

Пример использования: на сайте банка за прошедший день появляется несколько страниц с адресами банкоматов в Екатеринбурге, и пропала одна страница с описанием вакансии. Аналитик на основе этой информации делает вывод о скорости и типе экспансии банка в регионы и закрытии позиций в кадровой службе.

2) Контент — обнаруживает, на каких страницах и как изменился текст. Доступен как общий список веб-страниц, в которых произошли изменения, так и детальная информация с отображением пропавшего и появившегося текста. Ниже приведён скриншот, в котором показан пример отображения изменений. Красным цветом подсвечен пропавший текст, зелёным — появившийся.

Изменения в тексте сайта

Бывает, что незначительные изменения текста на одной из страниц сайта влекут за собой изменения и на других страницах (например, изменение названия раздела меню). Для таких случаев в SORGE реализована возможность создания «шаблона». По сути, это расстановка специальных html-тегов, которые подсказывают сервису, какие области веб-страницы следует отслеживать, а какие игнорировать. Чтобы не создавать шаблон с правилами для каждой из страниц отслеживаемого сайта, достаточно создать несколько ключевых шаблонов и автоматически растиражировать их на необходимое число страниц (простое действие в пару кликов мышкой).

Примеров полезного использования такой информации великое множество. Приведём лишь самые очевидные: отслеживание изменений цен в интернет-магазинах, условий сотрудничества, правил проведения акций, контактов, вакансий и т. д.

3) Заголовки — выявляет изменения в мета-тегах страниц, в частности, Title, Keywords, Description. Принцип работы аналогичен модулю Контент, но без создания шаблонов.

Пример использования: возможность узнать о распределении мета-тегов на структуре сайта и выявить факт их изменений (что является одним из признаков проведения внутренней оптимизации сайта).

4) Пеленгация — собирает информацию о времени неработы сайта. Сервис в определённый промежуток времени отправляет отслеживаемому сайту запрос, и если в ответ получает ошибку (404, 502 и т. д.), то время до следующего запроса обозначается как период неработы сайта.

Пример использования: определение времени, когда сайт конкурента не работал, для сравнения этого периода с посещаемостью вашего сайта. Это помогает объяснить странные «всплески» притока новых пользователей.

Кстати, мы тестировали SORGE на множестве сайтов крупных компаний и с удивлением обнаружили, что сбой в работе на пару часов в месяц является обычной практикой. Особенно грустно это выглядит, когда промо-сайты известных брендов не работают сутками, в то время как рекламодатель продолжает привлекать на них трафик.

5) Домен — выявление изменений в WHOIS информации о домене с отдельным обозначением срока до его освобождения.

Пример использования: определение факта переезда сайта на другой хостинг, перерегистрации домена на другую компанию или потери домена за неуплату.

Настоящая мощь сервиса раскрывается при слежении за крупными Интернет-ресурсами или за множеством сайтов одновременно. Поскольку информация на сайтах изменяется часто, для удобства работы с ней сервис регулярно посылает отчёт об изменениях за прошедшие сутки. Собранные SORGE данные можно фильтровать и сопоставлять по временным периодам.

Использование сервиса платное, однако цены весьма демократичные. Доступна пробная версия на 14 дней.

Безусловно, наличие сервиса не заменяет маркетолога или специалиста по продвижению в вопросе мониторинга сайта конкурента, поскольку собранные данные нужно ещё правильно толковать, но SORGE является хорошим помощником для сбора и анализа огромного массива информации. Вот почему мы предлагаем попробовать наш продукт.

Сайт проекта: www.sorge.pro


P.S.

Пользуясь случаем, благодарим наших пользователей, которые наверняка есть среди читателей Cossa.ru.

Автор: Команда проекта SORGE

www.cossa.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.