Нетпик спайдер

Каждому вебмастеру приходится постоянно решать повседневные проблемы, касающиеся SEO-оптимизации и продвижения сайта. И одним из лучших инструментов, позволяющих это сделать, является программа Netpeak Spider. Благодаря ей можно сканировать и анализировать веб-ресурсы, сделав этот процесс простым и удобным.

Установка Нетпик Спайдер

Скачать программу можно на официальном сайте разработчика по ссылке https://netpeaksoftware.com/spider. Но перед этим необходимо зарегистрироваться, а также купить платную версию или запустить триал на 14 дней. После регистрации у вас появится возможность скачать установочный файл Нетпик Спайдер. Сам процесс инсталляции интуитивно понятен, и с ним справится даже начинающий вебмастер.

Установленный пакет содержит 2 программы – сам Netpeak Spider, и Netpeak Checker – сервис для массового Сео-анализа. Каждую из программ придется установить отдельно.

Возможности этой программы для seo анализа

С помощью Netpeak Spider Вы сможете:

• отследить свыше 50 главных характеристик, связанных с оптимизацией ресурса;

• получить перечень ссылок, как внешних, так и внутренних;

• обнаружить, есть на ли вашем сайте нерабочие линки и редиректы;

• узнать, содержит ли ресурс дубли страничек и мета-тегов title, description, h1;

• проверить, соответствуют ли файлы robots.txt и использованные теги canonical рекомендациям популярных поисковиков;

• рассчитать внутренний Page Rank страничек, чтобы сделать перелинковку страниц максимально эффективной;

• проверить как весь ресурс, так и его часть;

• сохранить или экспортировать информацию, чтобы работать с ней на другом устройстве.

Инструкция по использованию Нетпик Спайдер

Первое, что стоит сделать, это сменить язык программы для seo анализа с английского на русский. После этого работать с ней становится еще легче.

Чтобы запустить сканер, нужно ввести URL сайта в специальное поле ввода, и нажать кнопку «Старт». Программа выдаст перечень ошибок и проблем, которые при желании можно отфильтровать. Нажмите на любую из категорий для просмотра всех ошибок, входящих в нее.

Во вкладке «Инструменты» можно проанализировать исходный код ресурса, рассчитать внутренний Page Rank страниц, а также сгенерировать карту сайта – Sitemap.

Для получения списка проблем другого ресурса придется создать новый проект. Сделать это можно во вкладке «Проект». Здесь же можно сохранить результаты сканирования или открыть полученные ранее.

azbuka-seo.ru

Что умеет Netpeak Spider

Если вы не первый день развиваете сайты, то слышали про крупнейшее агентство интернет-маркетинга Netpeak, у которого несколько тысяч проектов.

В Netpeak Group входит компания Netpeak Software, которая занимается созданием инструментов для интернет-маркетологов. Сегодня seo-специалисты и вебмастера могут воспользоваться такими приложениями как Netpeak Spider и Netpeak Checker, о последнем я расскажу в следующих статьях, а сейчас на интересует аудит и оптимизация сайта.

Netpeak Spider — это программа сканер-сайтов, просканирует любую площадку с открытым доступом и выявит все seo ошибки, которые могут оказать влияние как на работу, так и ранжирование площадки в поисковой выдаче.

Сразу отмечу, что данный софт поддерживает работу на ОС Windows и MAC OS, а вот Linux пока еще находится в разработке.

Список задач, которые решает Нетпик Спайдер:

• Проверка SEO-параметров.
• Определение ошибок внутренней оптимизации.
• Анализ ссылочной массы (входящие и исходящие внутренние линки).
• Поиск битые ссылок и редиректов.
• Поиск дублей страниц, заголовков title и h1, метаданных, описания.
• Расчет PageRank для внутренних страниц.
• Настойка правил сканирования сайта.
• Экспорт всех данных.

Заявлено, что программа при анализе учитывает 54 параметра и может выявить до 62 ошибок, вот это мы сейчас и проверим.

Как сделать аудит сайта и найти все ошибки

Первое что надо сделать, это установить данный софт на свой ПК. Делается это просто, вот только надо сперва пройти регистрации и только потом скачать Launcher.

Переходим на официальный сайт Netpeak Software и выбираем нужный продукт, либо же делаем это по указанной ссылке netpeaksoftware.com/ru/spider после этого жмем кнопку «Начать» дабы воспользоваться программой бесплатно.

Обратите внимание! Netpeak Spider в течение 14 дней позволяет использовать всем возможности данного продукта бесплатно, при этом вы ничем не будите ограничены.

После этого заполняем стандартные поля формы регистрации или используем социальные сети Facebook или Google+.

На следующем этапе после регистрации переходим в панель управления и скачиваем и устанавливаем приложение.

Для синхронизации программы с ПК введите ваш логин и пароль от учетной записи созданного ранее аккаунта.

Итак, с установкой разобрались теперь переходим к самому интересному — анализ сайта.

Для этого запускаем софт и видим окно, в котором все разделено по категориям. Сразу понятно, куда надо прописывать сайт, где будет представлен отчет и по каким параметрам будет проходить анализ.

Лично мне хватает дефолтных настроек, но если у вас очень медленный интернет, слабое железо или сайт размещен на дешевом хостинге, тогда можно уменьшить количество поток.

Думаю, вы прекрасно понимаете, что чем их больше, тем больше идет запросов к серверу, где размещен сайт и он просто может «лечь».

Если вы хотите собрать более полную картину по сайту, тогда отключите галочку Canonical, чтобы проанализировать все имеющиеся URL.

Новой функцией является виртуальный robots.txt, где можно протестировать файл, который вы еще не загрузили в сеть, чтобы понять, как он будет влиять на сканирование площадки роботами поисковых систем.

Здесь же можно добавить правила и ограничения, формат экспорта файлов, прокси и много других настроек.

Однако на первом этапе пользования программой не вижу смысла вникать во все тонкости, поэтому давайте перейдем непосредственно к сканированию проекта.

Достаточно ввести его URL адрес в специальное поле, нажать «Старт» и подождать, когда будет окончен сбор данных.

На сканирование сайта, у которого почти 1000 страниц в индексе Яндекс, при 10 потоках понадобилось 14 минут. Для тех, кто будет анализировать не один сайт, лучше количество потоков увеличить.

Как вариант перед анализом можно отключить ненужные вам параметры, чтобы Netpeak Spider на это не тратила время, а вы на них не отвлекались в отчетах.

Все приходит с опытом, лично мне 52 параметра не надо, а в будущем оставлю для себя десяток наиболее важных.

Кстати, в любой момент вы можете поставить сканирование на паузу и продолжить его в любой другой момент с того места, где была произведена остановка.

После окончания парсинга или постановки его на паузу во вкладке «Дашборд» отображается общее число просканированных адресов с графиками и диаграммами.

Можно не переходить к вкладке «Результаты» и с ходу понять сколько ошибок имеется на сайте, есть ли проблемы с сервером, индексируемостью.

Дашборд показал, что на сканируемом сайте из тысяч страниц, для индексации поисковиками открыты только 995, вместе с главной.

Если перейти в админ панель движка сайта, то это значение совпадает с теми страницами и записями, которые действительно опубликованы.

Хороший показатель того, что на сайте правильно настроен robots.txt, .htaccess и добавлены условия для файла function.php, которые запрещают поисковым машинам пускать в индекс дублирующий контент.

Теперь можем перейти к изучению всей картины сканирования, для этого жмем следующую вкладку «Все результаты», где анализ будет отображен в табличном виде для каждого анализируемого URL.

С данными по каждому из тех параметров, которые вы отмечали перед анализом или в его ходе.

• Код ответа сервера
• Ошибки
• Время загрузки страниц
• Глубина
• Редиректы
• Входящие ссылки
• Исходящие ссылки
• Title
• Description
• Пагинация
• Разметка
• Длина H1 и многие другие

Чтобы немного упростить отчет, можно удалить те параметры, которые были отмечены по ошибки или вам просто эти данные не нужны.

Кликаем правой кнопкой мыши по ячейкам с названием параметров и из выпадающего списка снимаем галочки с ненужных пунктов.

Результаты у нас есть, теперь очень важный момент, это поиск ошибок, думаю 90% вебмастеров и оптимизаторов для этого и будут использовать данный «Паук».

Искать ошибки очень просто, можно это сделать несколькими путями:

Первое. Перейти через диаграмму «Критичность ошибок», предварительно выбрав их важность.

Второе. Через меню «Отчеты», где все имеющиеся ошибки будут представлены в виде дерева.

Мне нравится использовать второй вариант, так как здесь сразу видно, какие именно проблемы на сайте, на каком количестве страниц и в каком процентном соотношении от их общего числа.

Плюс если выбрать одну из ошибок, в окне слева сразу же будут отфильтрованы результаты по страницам, с конкретным пояснением, что здесь за проблема.

Как видно на анализируемом сайта нашлось 2 страницы, которые имеют одинаковый заголовок.

Аналогичным образом нашлось 4 страницы у которых были одинаковые описания и 12 страницы, у которых тег description вообще не заполнен.

Единственное с чем здесь не согласен так это с ошибками PageRank, так как программа умеет рассчитывать внутренний вес страниц, и она нашла на сайте страницы, на которые ведут ссылки с других постов, а на самих страницах ссылок нет, из-за чего нарушается распределение ссылочного веса.

Только непонятно почему Netpeak Spider придрался к страницам пагинации категорий 2-го уровня?

А так в большей степени нашлись самые распространенные ошибки:

• Дублирующийся Title, H1, Description
• Битые ссылки
• Отсутствующий или незаполненный Description
• Незаполненный атрибут alt у картинок
• Длинные Title и H1
• Большой вес изображений
• Большое время ответа сервера

Стоит отметить, что любой из параметров вы можете изменить, то есть указать свои значения, для чего перейдите в настройки «Ограничения».

Например, я считаю, что заголовок у сайта может превышать 70 символов, поэтому данное значение подкорректировал в настройках, чтобы в следующий раз было меньше ошибок.

Еще были ошибки, касающиеся защищенного протокола HTTPS, но это дело каждого переводить на него свои проекты или нет. Лично я все собираюсь это сделать и думаю в ближайшие годы поисковые системы всех заставят если захочешь быть в ТОПе, а пока у меня как всегда руки не доходят. ))

По итогу анализа можно все данные выгрузить в формат .xlsx через кнопку «Экспорт» и продолжить с ними работать вне программы, что тоже удобно.

Полезные инструменты

Как вы поняли функций и решаемых задач у Нетпик Спайдер много, но кроме всего прочего софт обладает еще встроенными инструментами:

1. Анализ исходного кода и HTTP-заголовков
2. Расчет внутреннего PageRank
3. Валидатор XML-Sitemap
4. Генератор Sitemap

Найти их легко, достаточно выбрать соответствующий раздел в верхнем меню.

HTML-код страницы. Здесь чего-то революционного вы не увидите, удобно посмотреть исходный код любой страницы сайта, не покидая программу.

Лично я больше привык это делать через встроенные функции браузера.

PageRank. А вот этот инструмент мне понравился куда больше, с его помощью можно наглядно увидеть, как на сайте распределяется ссылочный вес, чтобы в будущем его правильно перераспределять и понимать, какие страницы лучше продвигать в поиске.

Благодаря этому на сайте были найдены страницы категорий, которые хоть и имели хороший PageRank, но были закрыты от индексации поисковыми алгоритмами. В будущем имеет смысл привести их в порядок и пустить в индекс, дабы получать еще больше трафика.

Валидатор Sitemap. Пригодится тем, кто хочет проанализировать существующую карту сайта, с целью выявить ошибки разного уровня критичности. Здесь же можно отправить ping поисковым система, чтобы они проиндексировали ее последнюю версию.

Генератор Sitemap. А для тех, кто только создал сайт и еще не позаботился о файле sitemap можно воспользоваться этим генератором и программ сама все реализует согласно вашим настройкам и правилам поисковиков.

seoslim.ru

WildShark SEO Spider Tool

Официальный сайт: https://wildshark.co.uk/spider-tool/

Скачивание доступно после заполнения пары полей (подтверждния регистрации не требуется). Программа работает под Windows.

Имеет довольно приятный интерфейс на простом английском языке, разобраться несложно.

После завершения анализа выводится ряд рекомендаций и указаний на ошибки:

По клику на блок получаем детальную информацию. Цвет плашки с рекомендацией отражает уровень проблемы (зеленый – все в порядке).

(Замечу, что создатели не избежали типичного заблуждения насчет длины tilte).

В целом программа простая и удобная. Базовые вещи с ее помощью отследить можно, а подсказки делают ее особенно полезной для начинающих оптимизаторов и неспециалистов.

Из относительно редких возможностей отмечу отслеживание разметки, влияющей на сниппеты.

Visual SEO Studio, Professional SEO Audit Tool

Официальный сайт: http://visual-seo.com/

Вообще-то это платная программа (стоит 149 евро + ежегодные платежи). Однако есть длительный пробный период (30 дней), так что можно спокойно протестировать не один сайт. О наличии пробного периода в данный момент не говорится на сайте, однако он дается (это подтвердил разработчик в переписке со мной).

Главное ограничение бесплатного варианта – лимит в 500 url, доступных для краулинга. Не очень интересно. Но и в бесплатной версии есть ряд плюшек, позволяющих с успехом использовать для небольших сайтов:

• Постоянное развитие, регулярно выходят новые версии. Разработчик следит за стабильностью работы и качеством результатов.
• Присутствует русскоязычный интерфейс.
• Удобное дерево сайта:

BeamUsUp SEO Crawling Spider

Официальный сайт: http://beamusup.com/

Программа под основные десктоп-платформы (Windows, Mac, Linux).

У меня почему-то не получилось скачать с сайта разработчика, нашел на стороннем софто-хранилище.

Интерфейс не слишком дружелюбный:

Также не понравилось, что программа сигнализирует о дублях страниц и title, хотя видит на них общий rel canonical. Наконец, смущает, что софт давно не обновлялся.

Majento “SiteAnalyzer”

http://www.majento.ru/index.php?page=majento-site-analyzer

Единственная отечественная разработка в этом обзоре. Софт совсем новый, поэтому страдает детскими болезнями, например:

Интерфейс достаточно хаотичный, ориентироваться не очень удобно. Уведомлений об ошибках также пока нет. Однако богатство собираемых о каждой странице данных (см. на скриншоте справа) говорит о больших планах автора. Будем надеяться, что они будут реализованы.

Еще мне понравилось, что недавно сканированные сайты собираются слева в колонку “Проекты” и между ними можно переключаться в один клик, не мучаясь с поиском на диске файла с данными о сканировании.

Итак, чем бесплатно делать технический аудит?

Для Windows выбор довольно широк. Лично мне больше всего нравится WildShark SEO Spider Tool. Этот анализатор имеет меньшие возможности по сравнению с платными решениями, но основные функции выполняет добросовестно; юзабилити на хорошем уровне. Для небольших сайтов неплохо подойдет Visual SEO Studio.

Если же вы работаете на Mac или Linux – остается только BeamUsUp. Впрочем, обладателям Маков вполне по карману платный софт, ну а тру-линуксоиды могут и свой краулер написать ?

alexeytrudov.com

Получение учетной записи в Netpeak Software

Итак, чтобы скачать и установить программу Нетпик Спайдер, для начала зарегистрируйтесь на соответствующей странице сервиса Netpeak Software, где необходимо в форму ввести свое имя, фамилию, адрес электронной почты и в заключение придумать пароль посложнее:

«>

Как видите, вход в аккаунт можно немедленно осуществить используя свои персональные данные социальных сетей Facebook и Google+ посредством специального приложения. Если вы выбрали традиционный вариант регистрации, то после нажатия кнопки «Sign Up» окажетесь в своем аккаунте. Интерфейс мне понравился. Единственный минус — он на английском языке:

«>

Исходя из этого, пожалуй, побуду немного гидом и сразу дам общие разъяснения касательно всех вкладок и разделов, которые здесь присутствуют. Итак, меню слева:

Dashboard — интуитивно понятная основная панель, где присутствуют все базовые ссылки и пошаговые инструкции по использованию продуктов, в частности, Netpeak Spider.

Subscriptions (подписки) — здесь вы можете следить за состоянием своих подписок, плановых платежей и управлять автоматической активацией лицензий.

Licenses — раздел управления лицензиями на продукты Netpeak, включая Спайдер. Можете привязать любую лицензию к своей учетной записи, поделиться ею с другим пользователем ПО, а также добавить новую.

Loyalty Program — сведения о существующей гибкой тарифной политике сервиса Netpeak (более подробная информация о стоимости лицензии и действующих тарифах в первом разделе настоящей публикации) и о ваших текущих скидках.

Affiliate Program — партнерская программа с двойной выгодой, к которой вполне можете присоединиться и вы. Условия достаточно выгодные, судите сами: вы имеете возможность получать 25% от суммы, потраченной приглашенными вами пользователями, а также предоставлять им скидку 5% за участие в партнерке. Тут же находится ваша реферальная ссылка и промокод, которые вы сразу можете использовать себе во благо:

«>

Payment Cards — В этом разделе вы можете управлять своими платежными карточками: добавлять новые, редактировать или удалять их. Обратите внимание, что автоматическое продление подписки по умолчанию будет производиться с использованием платежной карты.

Email Preferences — настройки электронной почты. Вы можете изменить адрес почтового ящика, который указали при регистрации. Думаю, есть смысл оставить здесь по умолчанию галочки, активирующие опции, которые предполагают предупреждение по e-mail о сроках окончания периода бесплатного тестирования и подписки.

Device Management — этот раздел предназначен для управления вашими устройствами, которые будут применяться для использования продуктов Netpeak Software. Устройство автоматически добавляется после входа в систему с помощью Netpeak Launcher, о котором речь пойдет ниже.

Как скачать и установить приложения Launcher и Netpeak Spider

Это приложение необходимо для синхронизации сервера, где расположен основной сервис, с вашим компьютером. Именно через Лаунчер будет происходить установка программного обеспечения, включая Netpeak Spider. Вы сможете использовать его также для входа в свой аккаунт.

Таким образом, чтобы воспользоваться функционалом Спайдера в полной мере, вам необходимо сначала скачать приложение Лаунчер, через которое будет осуществляться управление программным обеспечением. Для этого жмите кнопку «Download Launcher» (смотрите второй скриншот вверх отсюда). После загрузки запускающего файла на компьютер следует установить приложение по обычной схеме для десктопных устройств.

После установки Launcher воспользуйтесь данными авторизации (логином в виде адреса электронной почты и паролем, указанными вами при регистрации на Netpeak Software) для входа:

«>

После того, как авторизуетесь, вам будет предоставлена информация о текущей версии Netpeak Spider, о том, когда истекает срок периода тестирования программы, а также даны ссылки на различные полезные разделы, в том числе на страницы панели управления, профиля, подписок и лицензий (вкладка «Аккаунт») вашей учетной записи Netpeak Software:

«>

Отсюда же и следует установить Netpeak Spider, кликнув по соответствующей кнопке. Положительным моментом является тот факт, что Лаунчер имеет русскоязычный интерфейс. Для того, чтобы русский язык был и в Спайдере, во время инсталляции программы выберите его из выпадающего меню (по умолчанию он должен уже быть указан), которое предложит установочный менеджер.

Сколько стоит лицензия и как можно ее оплатить?

Сразу скажу, что если даже вы не планируете сразу вложиться в приобретение программы, вы все равно можете протестировать ее возможности в полном объеме, воспользовавшись 14-дневным бесплатным тестовым периодом, который установлен по умолчанию. А теперь посмотрим на линейку, которая включает 4 тарифных плана (на 1, 3, 6 и 12 месяцев):

«>

Как видите, самой выгодной является годовая лицензия, ее логичнее всего приобрести. Если уж вы приняли окончательное решение воспользоваться данным SEO-инструментом, расставшись со своими кровными, не думаю, что он понадобиться вам меньше, чем на год. Покупка разрешения на 12 месяцев позволит сэкономить 30% по сравнению с самым младшим тарифом ($9.80 в месяц против $14). При этом годовая экономия составит более 50 долларов:

«>

Ежели вам понадобиться больше одной лицензии для использования Netpeak Spider на нескольких устройствах одновременно, то передвигайте ползунок вправо до тех пор, пока не получите нужное их число с указанием величины скидки в процентах (при этом в блоках с тарифами произойдут изменения, и вы получите соответствующую количеству лицензий цену):

«>

Важно отметить следующее. Если вы захотите эксплуатировать программу Спайдер на нескольких устройствах, но не будете делать это одновременно, то дополнительных лицензий приобретать не нужно, достаточно будет одной.

Идем дальше. На сервисе Netpeak Software предусмотрено несколько видов оплаты (можно выбрать наиболее удобный для вас):

1. Посредством карт (Visa, MasterCard, American Express, Discover, JCB);
2. С помощью платежной системы PayPal;
3. Банковским переводом (для получения более полной информации необходимо связаться с администрацией на странице контактов «CONTACT US», ссылка на которую присутствует на каждой из страниц сервиса, включая ваш аккаунт, который вы получите после регистрации);
4. Бонусами, полученными от участия в партнерской программе, о которой я еще скажу ниже.

Вот, пожалуй, основная информация, касающаяся стоимости лицензии, а также условий и способов оплаты. Прочитав этот раздел, думаю, вы уже примете окончательное решение в отношении целесообразности тестирования и дальнейшей покупки программы. Тех, кого софт заинтересовал, приглашаю к дальнейшему и более близкому знакомству с ним.

Разбор функционала программы Нетпик Спайдер

Сама установка не занимает много времени и по ее завершении появится окно с перечнем всех обновлений, которые были сделаны в актуальной на данный момент версии (например, программа способна теперь автоматически определять 60+ ошибок по 50+ параметрам):

«>

После просмотра сообщения можете сразу открыть приложение. В дальнейшем для активации Спайдера нажимайте на иконку, которая автоматически будет выведена на рабочий стол. Либо используйте для его открытия Launcher (после инсталляции Netpeak Spider ссылка «Установить» там будет заменена на «Запустить»), его значок тоже будет присутствовать на рабочем столе.

Кроме того, можно настроить отображение символа Лаунчера в трее, откуда он будет активироваться двойным кликом мышкой. Окно Netpeak Spider’а выглядит так:

«>

Для проведения SEO анализа нужно, прежде всего, ввести URL главной страницы вебсайта, который вы желаете препарировать. Если хотите проанализировать абсолютно все его страницы, то оставляете в быстрых настройках опцию «Весь сайт» (слева от введенного урла):

«>

В противном случае выбираете нужный пункт из выпадающего меню. Здесь же можно указать максимальное количество URL, которые вы хотите проверить, и глубину сканирования.

Как и в большинстве случаев, настройки программы по умолчанию весьма взвешены и подходят для большинства стандартных сайтов, страницы которых будут анализироваться. Для более углубленного анализа есть «продвинутые» настройки сканирования:

«>

В любом случае вы всегда можете подстроить программу под конкретные цели внутреннего аудита.

Анализ результатов сканирования Спайдером

После того, как вы определились с настройками, нажимаете кнопку «Старт» для активации операции SEO анализа сайта (третий отсюда скриншот вверх). После окончания сканирования получаете результат (программа сообщит об этом):

«>

По окончании сканирования вы можете экспортировать полученную таблицу, сохранив файл в выбранную папку на компьютере. Есть и опция повторной проверки (кнопка «Рестарт&#187). Кроме того, вы в силах удалить результаты последнего сканирования, нажав на значок урны:

«>

Также существует возможность сохранить результаты анализа сайта, инициировать новое сканирование и открыть информацию уже сохраненного ранее проекта:

«>

В левом окне Netpeak Spider дана таблица, где в каждой строке предоставлен URL соответствующей вебстраницы и значения параметров, по которым была произведена проверка. В столбцах даны наименования этих параметров (всего их 35): «Код ответа сервера», «Content-Type», «Ошибки», «Время ответа сервера», «Время загрузки контента», «Внутренний PageRank» и т.д.

В силу немалой ширины таблицы для ее просмотра лучше развернуть окно программы и воспользоваться горизонтальной прокруткой.

Теперь посмотрим, какие данные представлены в правом окошке. Вкладка «Ошибки», как вы понимаете, наиболее интересна для нас, поскольку в ней находятся та самая информация, на основании которой мы можем исправить «косяки», которые препятствуют SEO продвижению сайта.

Причем, все ошибки распределены по степени их критичности (красным выделены те, которые оказывают наиболее сильное негативное влияние, желтым — со среднем уровнем, зеленым — наименее опасные).

Взгляните еще раз на третий скриншот, расположенный выше по тексту. Я уже упоминал, что Netpeak Spider способен выявить более чем 60 типов ошибок. После проверки в этой вкладке появляется их количество для испытуемого веб-ресурса (в нашем примере 19).

В самом низу есть довольно информативные две строки. В одной из них присутствует число ошибок, не обнаруженных в ходе сканирования (45). Информация об отключенных ошибках (0) показывает, что при настройке были включены все параметры, которые позволяют их выявить.

Еще один небольшой плюс функционала Спайдера заключается в том, что при подводе курсора к конкретному типу ошибки, появляется всплывающая подсказка с информативным описанием:

«>

Заметьте, что можно скопировать как весь список ошибок, так и только выбранные. Выбирать их можно обычным способом, кликая левой кнопки мышки с одновременным нажатием клавиши Ctrl (для выделения одной строки) либо Shift (для выделения группы). Затем используете фильтрацию, нажав на значок воронки. В результате в окне слева активируется вкладка, где будут отображены URL страничек с отфильтрованными ошибками (одной или несколькими):

«>

Точно также можно фильтровать полученные результаты и во вкладке «Сводка», в которой представлена аналитическая информация, тоже важная с точки зрения СЕО оптимизации.

Вновь обратимся к общему скриншоту, где отображена общая картина результатов сканирования. Там есть выпадающий список «Сводка по текущей таблице», в котором находятся ссылки на разделы с анализом основных параметров:

«>

Заметьте, что слева от сводки дана панелька со значками (полностью дублирующая содержание выпадающего меню), при подводе курсора к каждому из которых также появляется выплывающая подсказка, что позволяет, не раскрывая списка, увидеть его содержание. Тут же находится пункт «Информация об ошибках». Если щелкнуть по нему, то откроется другое окно программы. Тут тоже можно как угодно фильтровать результаты (еще один плюс Спайдеру):

«>

В этом примере я составил табличку с параметрами и соответствующими ошибками для всех страничек с адресами (URL), содержащими слово «wordpress». Надеюсь, предоставленная мною информация поможет вам быстро сориентироваться в понимании механизма фильтрации, да и разобраться во всем многообразии функционала программы тоже.

Да, чуть не забыл. В арсенале Netpeak Spider отдельно размещены три очень нужных инструмента, которые позволяют произвести анализ исходного кода и HTTP-заголовков, осуществить расчет внутреннего PageRank для страниц, а также сгенерировать карту сайта Sitemap:

«>

Резюме — что полезного вам может дать Спайдер? Каковы его плюсы и минусы?

Ну вот, осталось лишь подвести итоги и дать какую-то оценку программе Спайдер, призванной предоставить всю необходимые данные, касающиеся как основных параметров, несущих познавательную информацию (например, содержание тега title или description), так и типов ошибок, а также их количества для каждой вебстраницы сайта (скажем, длина тайтла и дескрипшина превышает рекомендуемое значение).

Если говорить о преимуществах Спайдера и сервиса Netpeak Software (а они, что ни говорите, связаны) в общем, то они оставили приятное впечатление. Ну а если конкретизировать, то отмечу следующие плюсы, некоторые из которых уже отмечал в статье:

1. Весьма современный, комфортный и интуитивно понятный интерфейс. Это касается как онлайн сервиса, так и софта Netpeak Spider.
2. Очень богатый функционал у Спайдера, я в этом убедился при тестировании. Осуществляется анализ практически по всем важнейшим SEO параметрам.
3. Чрезвычайно удобно представлены ошибки с указанием их типа и количества, которые распределены и подсвечены по степени критичности, что сразу бросается в глаза после окончания сканирования.
4. Несмотря на то, что результаты анализа страниц включают огромное количество самой разнообразной информации, доступ к ней осуществляется очень легко благодаря системе фильтрации данных.
5. Наличие возможности сохранять сколь угодно много проектов, причем они могут быть для одного и того же сайта, но с разными настройками;
6. Сканирование совершенно не напрягает компьютер и потребляет немного ресурсов, по крайней мере, это справедливо в отношении сайтов небольшого и среднего объема. Я специально тестировал Netpeak Spider на ПК с невысокими характеристиками и оперативкой в 1 Мб.
7. Операция анализа не занимает много времени (это связано и с предыдущим пунктом). Например, проверка моего сайта заняла ровно 5 минут. Делайте выводы.
8. Еще хотелось бы акцентировать ваше внимание на гибкость тарифной линейки, что позволяет оптимизировать свои расходы при приобретении лицензии.

Конечно, ради создания объективной картины следует отметить и немногочисленные недостатки, хотя, по моему мнению, их можно считать таковыми с немалыми оговорками:

1. Интерфейс в аккаунте сервиса на английском. Это, конечно, не отпугнет опытных оптимизаторов и вебмастеров, которым, в принципе, софт и предназначен, но тем не менее…
2. Программа платная. Для большинства начинающих пользователей это минус;
3. Возможно, для тестирования Спайдера следует немного увеличить период бесплатного использования.

Хотя я и отметил в списке недостатков то, что программа Netpeak Spider платная, сделал это я скорее по той причине, что это принято считать минусом. На самом деле лично я так не считаю, по крайней мере, ситуация здесь неоднозначная. Ведь тот факт, что пользователи платят за софт, наоборот, должно мобилизовать разработчиков и стимулировать их к созданию качественного продукта.

Исхожу в своих рассуждениях в том числе из тех отзывов, которые удалось найти в интернете касательно Спайдера еще со времен, когда он был бесплатным (ранее я сам им не пользовался).

Уже тогда его функционал устраивал многих, хотя летели и критические стрелы в отношении некоторых аспектов, например, потребления большого количества ресурсов. Если это и правда, то платная версия убедила, что многие из недостатков канули в лету.

>>Регистрируйтесь на Netpeak Software и установите Netpeak Spider<<

goldbusinessnet.com

Быстрый переход
Мой кабинетЛичные сообщенияПодпискиКто на форумеПоиск по форумуГлавная страница форума Поисковые системы etc    Яндекс        Апдейты        Сервисы Яндекса    Google    Mail.ru, Rambler и другие    Другие поисковики    Каталоги сайтов        ODP — Открытый каталог    Агрегаторы и доски объявлений Практика оптимизации    Общие вопросы оптимизации    Частные вопросы — ранжирование, индексация, бан    Сервисы и программы для работы с SE        Биржи ссылок    Любые вопросы от новичков по оптимизации    Ссылочные и пользовательские факторы    Поисковые технологии    Doorways, Hallways, Metatags&Cloaking… Реклама сайтов    Поисковая и контекстная реклама        Яндекс.Директ        Google Adwords    Тизерная и баннерная реклама    Общие вопросы рекламы Монетизация сайтов    Партнерские программы в Интернете    Контекстная реклама        Google AdSense        Рекламная Сеть Яндекса        Youtube    Заработок на размещении тизерной и баннерной рекламы    Общие вопросы заработка на сайтах Сайтостроение    Веб-строительство    Статистика сайта и веб-аналитика    Доменные имена    Администрирование серверов    Хостинг    Безопасность    Usability и удержание посетителей    Копирайтинг Общение профессионалов    Social media маркетинг    Семинары и конференции    Интернет-магазины и электронная коммерция    Телефония и коммуникации для бизнеса    Деловые вопросы    Финансы        Профессиональный счет в Яндекс.Деньгах    Криптовалюты        Новости криптовалют    Инвестиции    Экономика    Правовые вопросы Биржа оптимизатора ($)    Финансовые объявления    Работа на постоянной основе    Продажа цифровых товаров        Сайты — покупка, продажа        Соцсети: страницы, группы, приложения        Сайты без доменов        Трафик, тизерная и баннерная реклама        Продажа, оценка, регистрация доменов        Ссылки — обмен, покупка, продажа        Программы и скрипты        Размещение статей        Инфопродукты        Прочие цифровые товары Работа и услуги для вебмастера ($)    Оптимизация, продвижение и аудит    Ведение рекламных кампаний    Услуги в области SMM    Программирование    Администрирование серверов и сайтов    Прокси, ВПН, анонимайзеры, IP    Платное обучение, вебинары    Регистрация в каталогах    Копирайтинг, переводы    Дизайн    Usability: консультации и аудит    Изготовление сайтов    Наполнение сайтов    Прочие услуги Не про работу    Курилка    Автомобили, автомобили…    Дом, сад, огород    Встречи и сходки    Hardware&Software    Политика, экономика, управление, общество    Духовная пища    Спорт    Путешествия    Барахолка Прочие    О сайте и форуме    Самое разное

searchengines.guru

Каждый вебмастер или SEO оптимизатор сталкивается с вопросом: «Как спарсить сайт», какие программы наиболее эффективные и доступные. Программа Нетпик Спайдер от компании Naetpeak один из фаворитов как начинающих, так и продвинутых вебмастеров. С ее помощью можно спарсить сайт целиком, получить исчерпывающую информацию, провести полный технический аудит.

Программа Нетпик Спайдер от Neatpeak до лета 2016 года была бесплатной. Сегодня компания предлагает бесплатный тестовый период 14 дней, во время которого вебмастер сможет попробовать работать с программой и убедиться, что она необходима ему в дальнейшей работе. Netpeak Spider доступна только на английском языке.

Нетпик Спайдер способен:

• Анализировать основные параметры внутренней оптимизации сайта;
• Анализировать входящие и исходящие внутренние ссылки;
• Находить битые ссылки и редиректы;
• Обнаруживать дублирующийся контент;
• Вычислять внутренний PageRank страниц;
• Сохранять и экспортировать полученные данные для дальнейшей работы.

 

Программа гибкая, она позволяет настраивать область парсинга по необходимости. Можно спасрсить сайт целиком или его определенную часть.

Для начала работы зарегистрируйтесь на сайте.

Регистрация возможна по e-mail или посредством социальных сетей.

Выберите удобный вариант.

Если вы регистрируетесь c указанием e-mail, система попросит вас указать свое имя и фамилию.

При регистрации посредством социальных сетей вам надо придумать и внести пароль для Нетпик Спайдера.

После этих простых действий необходимо установить программу на компьютер, кликаем на «Download Launcher for Windows» и проводим стандартную процедуру инсталляции ПО.

После окончания установки программы на компьютере, необходимо авторизироваться еще раз.

После всех рутинных процедур, можно начинать работать. Введите URL сайта, который хотите спарсить.

После нескольких минут ожидания, программа выдаст результат работы.

 

1. В правой части экрана расположена панель «Issues». Все проблемы сайта, которые были обнаружены во время сканирования располагаются именно здесь. При клике на строчку с описанием конкретной проблемы выпадает дополнительное окно с детализацией этой информации.
2. В нижней части экрана находится информация о ненайденных ошибках «Not Detected Issues» и про ошибки, определение, которых отключено «Disabled Issues».
3. Экспортировать все данные в таблицы Excel можно при помощи кнопки «Export Current Table».
4. В верхней части можно выбрать с какими показателями вы хотите иметь дело именно сейчас. Кликаете на соответствующую иконку и работаете в новом выпадающем окне.
5. Для удобства работы и систематизации данных программа позволяет настроить собственные фильтры. Кликайте на кнопку «Filter» и задавайте необходимые параметры по своему усмотрению.

Обратите внимание, все ссылки с сайта, где обнаружены ошибки выделены розовым и желтым цветом.

Если вы не хотите спарсить весь сайт целиком, то воспользуйтесь кнопкой «Сrawling Setting».

Отметьте галочками в выпавшем окне те параметры, которые необходимо анализировать и нажмите кнопку «ОК».

Программа Netpeak Spider – это удобный инструмент. Если для работы необходимо спарсить сайт, то эта программа значительно сэкономит время. Так вся информация по техническому аудиту сайта представлена компактно, сам анализ сайта занимает несколько минут.

После бесплатного тестового периода, для дальнейшей работы, необходимо оплатить программу.

Чтобы спарсить сайты в течении года при помощи Нетпик Спайдер придется заплатить 117 долларов. Оплатить можно при помощи Visa, MasterCard, AmericanExpress, Discover, JCB.

Программа Netpeak Spider облегчит работу над рутинными задачами SEO оптимизатора, поможет понять какие проблемы тянут сайт вниз и эффективно их решить.

 

www.netor.ru

Что такое Netpeak Spider и зачем его использовать

Netpeak Spider — программа для ПК, с помощью которой можно просканировать любой сайт с открытым доступом. Также инструмент сканирует закрытые сайты. Для этого нужен доступ к ресурсу с правами администратора. То есть Netpeak Spider можно использовать для проверки ресурсов на стадии разработки.

Программа собирает с сайта данные о технической оптимизации к требованиям поисковых систем. Netpeak Spider быстро добывает практически всю информацию, которая нужна для оценки SEO ресурса. Например, инструмент собирает данные о битых ссылках, некорректно заполненных метатегах, времени загрузки страниц и так далее.

Информацию о внутренней оптимизации сайта можно получить и без Netpeak Spider. Часть данных можно найти в Search Console и «Яндекс.Вебмастер». Часть можно собрать вручную, анализируя сайт через админку или даже без доступа к административной консоли. Но Netpeak Spider экономит время и обеспечивает доступ к комплексной информации в одном интерфейсе.

Перед обзором возможностей Netpeak Spider нужно подчеркнуть важный момент. Это инструмент для квалифицированных пользователей. Полученные данные нужно уметь интерпретировать и использовать. Некоторые функции Netpeak Spider однозначно полезные. Но есть здесь и олдскульно-сеошные инструменты, которыми нужно уметь правильно пользоваться.

То есть результат использования Netpeak Spider практически полностью зависит от того, в чьих руках этот инструмент.

Как работать с Netpeak Spider

Зарегистрируйтесь на сайте проекта и установите Netpeak Launcher. Это программа, которая загрузит и установит на ваш ПК Netpeak Spider. Активируйте тестовый период и пользуйтесь всеми возможностями программы в течение 14 дней.

Чтобы просканировать сайт, запустите программу. Укажите URL и нажмите кнопку «Старт». Для первого сканирования подойдут дефолтные настройки.

Netpeak Spider одинаково быстро сканирует сайты разных размеров. На обработку сайта «Текстерры» ушло 3 минуты. После завершения сканирования в левой части окна программы открывается дашборд с результатами, а в правой части — отчет в виде списка ошибок.

Какие данные доступны на дашборде

На дашборде отображаются ссылки на отфильтрованные результаты: просканированные URL, внутренние URL, URL с важными ошибками и индексируемые URL. По ссылке «Просканированные URL» доступны все страницы сайта, которые обошел робот Netpeak Spider.

Перейдите по ссылке, чтобы увидеть список просканированных URL. На экране откроется таблица со ссылками и данными по каждой странице. URL с критичными ошибками выделены красным маркером, с ошибками средней и низкой критичности — желтым и синим маркером соответственно. URL без ошибок маркером не выделяются.

В таблице есть данные о каждой странице: код ответа сервера, количество ошибок, время ответа сервера, внутренний PageRank, Title, Description и другая информация.

Чтобы просмотреть результаты сканирования конкретного URL, кликните по нему. В окне «Информация» появятся сводные данные.

Ошибки на странице выделены красным, желтым или голубым маркером. На выбранной странице робот нашел четыре ошибки: некорректный URL, некорректную директиву robots.txt, медленный ответ сервера и указание на канонический URL.

С помощью ссылок можно быстро перейти к другим отфильтрованным результатам. Например, по ссылке «URL с важными ошибками» откроется список соответствующих страниц.

На дашборде открывается список страниц с ошибками с высокой и средней критичностью. Чтобы просмотреть список ошибок на конкретной странице, кликните по ней.

Netpeak Spider нашел на странице несколько ошибок: незаполненный метатег description, большое количество внутренних и внешних ссылок, большое количество изображений, низкое соотношение текста к HTML.

Кроме ссылок на отфильтрованные результаты, на дашборде отображаются диаграммы с важными результатами сканирования. Доступны такие данные:

• Индексируемость URL. На диаграмме представлено соотношение индексируемых, неиндексируемых и non-HTML ссылок.
• Критичность ошибок. Соотношение ошибок с высокой, средней и низкой критичностью.
• Причины неиндексируемости URL. На диаграмме указаны основные причины отсутствия URL в индексе, например, запрет в robots.txt. неканонический URL и так далее.
• Время ответа сервера. На диаграмме можно оценить соотношение страниц с разным временем ответа сервера.
• Код ответа сервера.
• Глубина URL.
• Статус индексации.
• Тип контента.

Диаграммы кликабельные. Чтобы просмотреть список страниц с ошибками среднего уровня критичности, нажмите на соответствующий сегмент на диаграмме.

С помощью кнопки «Настроить сегменты» можно получить данные только по определенным URL сайта. Например, можно включить в отчет только публикации в блоге «Текстерры».

Для этого в настройках сегмента создайте фильтр с условием URL содержит. Укажите нужный URL и сохраните фильтр.

После этого на дашборде и в отчетах отобразятся результаты сканирования страниц блога.

Какую информацию найдете в отчетах

Отчеты доступны в правой части окна программы. Данные сгруппированы на разных вкладках.

На вкладке «Ошибки» представлены соответствующие сведения. В верхней части списка находятся критичные ошибки, а в нижней некритичные. Пункты в списке ошибок кликабельные. Например, если нажать на ошибку «Битые ссылки», программа выдает список недоступных страниц сайта.

В отфильтрованных результатах можно выбрать конкретный URL и просмотреть данные по нему.

На вкладке «Сводка» сгруппированы данные по статусу и типу страниц, протоколу соединения, хосту, коду ответа сервера и другим параметрам. Например, вы можете выбрать все страницы со статусом Disallowed. В отфильтрованных результатах можно просмотреть данные по конкретной странице, которая закрыта от индексации.

На вкладке «Структура сайта» отображается соответствующая информация. Здесь можно выбрать группу страниц, например, все публикации в блоге. В отфильтрованных результатах доступны данные по отдельным страницам.

На вкладке «Парсинг» отображаются данные пользовательского парсинга. О настройках этого инструмента пойдет речь ниже.

Данные отчетов можно экспортировать с помощью функции «Расширенное копирование». Для этого выберите отчет и нажмите кнопку «Расширенное копирование».

Откройте таблицу и вставьте в нее данные.

Также данные выбранного отчета можно сохранить в таблице с помощью функции «Экспорт – Результаты в текущей таблице».

Программа сохраняет таблицу с отчетом на жестком диске ПК.

Результаты сканирования можно сохранить в программе. Для этого выберите меню «Проект – Сохранить». При следующем запуске программы вы сможете сразу открыть результаты индексирования, а не тратить время на повторное сканирование сайта.

Как настроить сканирование сайта

С помощью настроек сканирования можно менять данные, которые собирает Netpeak Spider. Настройки доступны в соответствующем меню программы.

В основных настройках можно выбрать шаблон сканирования, язык программы и скорость сканирования. В базовых настройках сканирования можно включить индексирование раздела. В этом случае, если вы сканируете URL /blog/, робот обойдет только публикации в блоге. Также в базовых настройках можно выбрать тип контента, который индексирует Netpeak Spider.

В продвинутых настройках можно настроить индексирование с учетом инструкций для поисковых систем. Netpeak Spider распознает директивы в robots.txt, атрибут rel=canonical, редиректы с задержкой, X-robots-tag, Meta Robots и атрибут rel=nofollow. То есть если нужно просканировать сайт с учетом реальных директив в файле robots.txt, отметьте галочкой соответствующую опцию.

В разделе «Сканировать ссылки из тега link» можно отключить индексирование ссылок на предыдущую и следующую страницу или публикацию, ссылок на ускоренные страницы и на другие ссылки.

Также в расширенных настройках можно выбрать условия приостановки сканирования. Netpeak Spider может приостанавливать сканирование на неопределенное время, если сервер возвращает ошибку 429. В этом случае вы можете возобновить сканирование в любой момент. Также программа приостанавливает сканирование на 30 секунд, если время ожидания сервера превышено.

В расширенных настройках можно разрешить cookies и сканирование страниц с ошибкой 4xx. Первая настройка позволяет обходить страницы, которые недоступны без кукис. Вторая позволяет получить доступные данные для страниц, которые возвращают ошибку.

В разделе «Виртуальный robots.txt» можно настроить сканирование с учетом директив виртуального, а не реального файла robots.txt. С помощью этой функции можно проверить корректность файла до его публикации на сайте.

В разделе парсинг можно настроить сбор пользовательских данных. Netpeak Spider поддерживает до 15 шаблонов парсинга одновременно. Парсинг включает четыре способа поиска:

• RegExp. Поиск по регулярным выражениям. Чтобы настроить поиск, нужно владеть синтаксисом конструктора RegExp.
• Содержит. Самый простой вид поиска. Определяет количество заданных элементов на странице.
• CSS-селектор. Поиск по CSS-селектору HTML-документа. Чтобы настроить этот вид поиска, нужно владеть HTML и CSS.
• XPath. Ищет HTML-документы по XPath. Чтобы настроить поиск, нужно владеть синтаксисом XPath.

В зависимости от выбранного способа можно настроить область поиска.

Настройку парсинга стоит рассмотреть на примере. Представьте, что на сайте нужно найти страницы, на которых упоминается какой-то термин. Укажите название шаблона парсинга. С помощью выпадающего меню выберите способ «Содержит». Укажите термин, который нужно искать. С помощью выпадающего меню выберите область поиска «Только текст».

По CSS-селектору можно найти страницы с любыми элементами. Например, с помощью селектора a можно найти страницы со ссылками.

В разделе User Agent можно выбрать шаблон сканирования. По умолчанию включен User Agent Googlebot для десктопов. В контексте тестирования Mobile-First индекса имеет смысл посмотреть на сайт глазами мобильного бота Google. Для этого включите соответствующий шаблон.

При необходимости используйте других ботов.

В разделе «Ограничения» при необходимости измените параметры. Внимания заслуживает опция «Размер контента». По умолчанию Netpeak Spider считает ошибкой контент короче 500 и длиннее 50 000 символов. Уменьшите минимальное значение до 100, а максимально до 500 000, чтобы не тратить время на ложные ошибки. Остальные настройки можно не менять.

В разделе «Правила» настройте правила сканирования. Доступны два типа фильтров: дефолтный с логикой «или» и продвинутый с логикой «и». Первый срабатывает, когда совпадает хотя бы одно из условий фильтра. Второй предназначен для создания сложных правил, в которых совпадает два и более условий.

Например, с помощью правила можно настроить исключения для страниц из раздела «Портфолио» на сайте нашего агентства. Можно добавить в исключения три разные страницы по очереди: «Клиенты», «Отзывы» и «Работы». А можно сэкономить время и исключить все страницы из раздела с помощью одного правила «URL содержит».

Все страницы из раздела «Портфолио» начинаются с URL /progress/, поэтому после настройки фильтра программа будет их игнорировать.

В разделе «Экспорт» при необходимости поменяйте дефолтные настройки экспорта данных. В разделе «Аутентификация» добавьте данные доступа к закрытому сайту. В разделе «Прокси» при необходимости укажите прокси-сервера.

Как пользоваться дополнительными инструментами Netpeak Spider

Инструменты доступны в соответствующем разделе меню.

С помощью инструмента «Анализ исходного кода и HTPP-заголовков» можно извлечь и проанализировать соответствующие данные с любой страницы.

Исходный код страницы можно сохранить на жесткий диск. Также инструмент извлекает текст страницы.

Отдельного внимания заслуживает инструмент «Расчет внутреннего PageRank». Согласно терминологии разработчиков Netpeak Spider, PageRank — относительный ссылочный вес страницы. Расчет внутреннего PageRank нужен, чтобы понимать, «как именно распределяется ссылочный вес по сайту и где он концентрируется».

Результат анализа внутреннего PageRank выглядит так (см. иллюстрацию).

По умолчанию страницы сгруппированы по внутреннему PageRank от большего к меньшему. В столбце «Статус ссылки» указаны разные значения:

• Ok. С этими URL все в порядке.
• Висячий узел. Это страницы, на которые ведут входящие ссылки, но с которых нет исходящих ссылок.
• Перенаправление. URL с перенаправлениями или указанием на каноническую страницу.
• Несвязный узел. URL, которые не имеют входящих ссылок.

Например, Netpeak Spider определил в качестве висячего узла страницу услуги «Разработка контент-стратегии».

Это посадочная страница, в тексте которой действительно нет исходящих ссылок. Это сделано специально, чтобы пользователи не ушли со страницы и заполнили конверсионную форму внизу.

Не мешает ли отсутствие исходящих ссылок в тексте страницы распределяться так называемому ссылочному соку? Внимание на иллюстрацию.

Инструмент «Анализ внутреннего PageRank» нужно использовать аккуратно. Он формирует сеошное отношение к внутренней перелинковке. У неопытного вебмастера может появиться желание добавить на «висячие узлы» ссылки не ради удобства пользователей, а ради полумифического перетекания ссылочного сока. Из-за этого может пострадать юзабилити и конверсия. Пример с отсутствием исходящих ссылок на лендинге это подтверждает.

С помощью валидатора XML Sitemap можно проанализировать карту сайта. Для этого укажите соответствующий URL и нажмите кнопку «Старт».

Чтобы просмотреть информацию об ошибках, нажмите на соответствующие ссылки в правой части экрана программы.

Инструмент «Генератор Sitemap» создает карту сайта для выбранного сайта. Дефолтные настройки корректные, но при необходимости их можно менять. Например, для больших сайтов имеет смысл разделить карту сайта на сегменты по 100 или 1000 URL. Для экономии трафика можно заархивировать карту сайта.

В разделе меню «Анализ» можно получить данные о дубликатах, входящих ссылках и цепочках канонических URL. В меню «Базы данных» можно вызвать сводку по парсингу, перейти к общим результатам сканирования и к таблице заголовков URL.

Мини-кейс: как Netpeak Spider помог устранить ошибки на сайте

Для мини-кейса использовал свою экспериментальную площадку, так как здесь не боюсь что-нибудь сломать. Перед началом работы с Netpeak Spider восстановил настройки по умолчанию.

Указал URL ресурса и запустил сканирование.

В течение минуты получил результат сканирования. В первую очередь интересуюсь ошибками с высоким уровнем критичности.

Начал с простого: добавляю дескрипшен на две страницы.

В админке сайта увидел, что описания действительно нет. Исправил ошибку на двух страницах.

Кстати, в Search Console Google уведомления об отсутствующих description нет.

Справедливости ради, в «Вебмастере» в разделе возможных ошибок висит уведомление об отсутствии description.

Анализирую критические ошибки «Битые ссылки». Первую ошибку игнорировал, так как доступ к xmlrpc.php закрыл сам из-за параноидального стремления обезопасить сайт от взломщиков.

Остальные битые ссылки указывают на виртуальный каталог REST API. Такие ссылки желательно закрывать от индексации. Например, это можно сделать через robots.txt.

Ошибки Client Error также связаны с xmlrpc.php и каталогом wp-json для REST API. Ссылки уже закрыты от индексации поисковыми системами, поэтому их можно игнорировать.

С помощью кнопки «Рестарт» повторил сканирование, чтобы увидеть реакцию программы на исправленные ошибки. На иллюстрации видно, что предупреждения об отсутствующих description исчезли. Статус битых ссылок на каталог wp-json изменился с Not Found на Not Found и Disallowed. То есть проблемные служебные ссылки закрыты от индексации поисковиками.

После устранения критичных ошибок проанализировал проблемы средней критичности.

Часть предупреждений не требует внимания, это не ошибки:

• Отсутствует заголовок H1. Я специально так настроил главную страницу блога.
• Редиректы 301. Они связаны с перенаправлением пользователей на ЧПУ.
• Заблокировано в robots.txt. Здесь действительно заблокированы служебные ссылки, которые не должны индексировать поисковики.
• Заблокировано в Meta Robots. Здесь с помощью плагина All in One SEO Pack заблокированы для ПС страницы категорий.
• Заблокировано в X-Robots Tag. Блокируем служебные ссылки.
• PageRank: перенаправление. Программа включает в этот пункт страницы пагинации. На моем сайте пагинация настроена корректно, ошибок там нет.

Другие ошибки требуют внимания. Например, ошибку «Изображения без атрибута Alt» надо исправлять. С помощью кнопки «Отчет по ошибке» я получил список страниц, на которых есть фото без атрибута Alt. Фронт работы понятен.

Также требуют исправления ошибки:

• Максимальный размер изображения. Фото можно оптимизировать с помощью сервиса Tiny PNG или плагина Compress JPEG & PNG images для WordPress.
• Большое время ответа сервера. Это тема для отдельного серьезного разговора.

После анализа ошибок со средним уровнем критичности уделил внимание некритичным ошибкам. Они не требуют немедленного исправления. Этими ошибками займусь, если будут чесаться руки.

Например, Netpeak Spider включает в ошибку «PageRank: отсутствуют связи» все ускоренные страницы сайта.

Уведомляю Google о наличии ускоренной версии страниц с помощью атрибута rel=»amphtml». Не считаю нужным уведомлять об AMP-версии сайта пользователей, которые попали на полную версию. Google сам направляет пользователей на AMP, если считает нужным. То есть ошибки нет.

Пытаюсь достать из результатов сканирования полезные данные, которые помогут работать над сайтом. На дашборде вижу, что время ответа сервера для 2 % страниц сайта превышает 2 секунды.

Ради интереса рассчитываю внутренние PageRank. Программа ранжирует страницы по ссылочному весу и присваивает им статусы Ok, «Перенаправление» или «Несвязный узел». Несвязными узлами Netpeak Spider называет AMP, на которые нет ссылок. Перелинковка на моем сайте настроена корректно и с заботой о пользователе, поэтому практически полезной информации в расчете внутреннего PageRank не вижу.

Что в итоге: с помощью Netpeak Spider нашел несколько важных ошибок. Это отсутствие description на двух страницах, индексируемые ссылки на каталог wp-json, отсутствие атрибута alt у некоторых фото и медленный ответ сервера для 2 % страниц сайта. Часть ошибок, например, отсутствующие метатеги и атрибуты alt, можно исправить быстро. Над другими, в частности, над скоростью загрузки страниц и временем ответа сервера, придется работать дольше.

При необходимости могу извлечь из результатов сканирования другие полезные данные, о которых шла речь в описании функциональности программы.

Эффективность Netpeak Spider зависит от квалификации пользователя

Netpeak Spider — инструмент для квалифицированных пользователей. Программа мгновенно собирает информацию о сайте. От владельца сайта зависит реальная польза полученных сведений.

Netpeak Spider находит серьезные ошибки, которые не видит Search Console. Также с помощью программы можно получить данные о структуре сайта, идеи для навигации и перелинковки.

Благодаря пользовательскому парсингу возможности Netpeak Spider практически безграничны. С помощью этого инструмента можно получить любые данные с публичного сайта. Это может быть список страниц с использованием определенного термина, элемента, фрагмента кода.

Неквалифицированные пользователи должны пользоваться Netpeak Spider аккуратно. В лучшем случае работа с программой грозит ламеру потерей времени. А в худшем пользователь может неверно трактовать собранную информацию и допустить ошибки в работе с сайтом. Впрочем, это справедливо в отношении любого инструмента. Про топор в руках известного литературного героя говорили выше.

Делитесь опытом использования Netpeak Spider в комментариях. Как вы используете полученные с помощью программы данные для улучшения своего сайта или конкурентного анализа? Какие функции программы нравятся, а какие кажутся непонятными или бесполезными?

chto-umeet-netpeak-spider-moshchnyy-instrument-seo-analiza-sayta

texterra.ru