Настройка key collector

В основе успешного продвижения интернет-ресурса лежит грамотно составленное семантическое ядро. На этапе составления ядра следует продемонстрировать всю ответственность, тщательно выбрать ключевые слова, увеличивающие впоследствии количество посетителей. Существует масса программных продуктов, помогающих разработчикам решить этот вопрос. Но среди такого многообразия сервисов для составления семантического ядра особенно выделяется уникальный специализированный комплекс Key Collector. Несмотря на то что за пользование возможностями программы придется заплатить, каждая потраченная копейка в дальнейшем принесет свои плоды.

Рассмотрим пример составления семантического ядра в Key Collector для сайта по продаже элитного китайского чая в Москве. Узнаем, как правильно настроить и эффективно пользоваться кей коллектором.

Создание проекта

Открываем программу, нажимаем «Создать новый проект». Далее внизу выбираем регион, в котором продвигаем сайт. Вверху кликаем на выделенный значок и заходим в настройки проекта.

Как настроить Key Collector

Перед началом работы важно грамотно выполнить настройку параметров, используемых при работе системы.

Сбор статистических данных с Яндекса настроен в программе по умолчанию. Но для получения более верных результатов следует внести небольшие корректировки. Ниже показаны примерные настройки для проекта.

Также во вкладке Yandex.Direct необходимо настроить один или несколько аккаунтов Яндекса для сбора частотностей ключевых слов.

Парсинг данных

Левой кнопкой мыши кликаем на иконку, ответственную за сбор статистических данных с Яндекс.Вордстат. Вводим список ключевых запросов, наилучшим образом подходящих для продвигаемого ресурса или страницы. В этом случае не будет лишним проявить немного фантазии и составить список из запросов, максимально корректно характеризующих суть сайта. Подумайте, по каким словам посетители будут искать ресурс.

Выбираете пункт «Начать сбор», ожидаете результата. В итоге у нас получилось 1299 слов с общей частотностью.

Убираем ненужные запросы

Теперь нужно удалить неподходящие слова, это:

информационные запросы,
сорта чая, которых нет в продаже,
недорого,
кружки и т.д.

Можно удалять вручную каждый запрос или воспользоваться списком стоп-слов.

Добавляем список, отмечаем выбранные фразы в таблице и удаляем.

В итоге получилось 119 слов. Теперь необходимо проверить запросы на геозависимость. Это важно делать, если ваш сайт продвигается по определенному региону.

Для семантическое ядра выбираем геозависимые запросы плюс запросы с городом («купить чай в москве»), которые геонезависимы сами по себе.

После этого уточним частотность «» для отбора наиболее эффективных слов.

После того, как сбор частотностей закончен, удалим те слова, у которых частотность равна нулю. Для этого зайдем в настройки фильтрации (1), и установим необходимые параметры (3). После этого можно для наглядности упорядочить слова по убыванию или возрастанию показателя частотности (2).

Вот теперь у нас готов список ключевых слов. Теперь распределяем слова по посадочным страницам. Это можно сделать и в Excel, и в кей коллекторе. Заходим в Анализ групп (1), пишем слово (например для страницы «зеленый чай»), и отмечаем выбранные фразы в основном списке (3).

Далее отмеченные слова добавляем в соответствующую группу.

В итоге получилось несколько групп, соответствующих посадочным страницам на сайте.

Теперь экспортируем данные на компьютер.

И в итоге получаем готовое семантическое ядро для сайта (ниже указан фрагмент).

Кстати, у нас полно статей-инструкций, в которых много практических советов с историей многолетней практики. Чтобы получать все это богатство как можно быстрее и надежнее, советую подписаться на нашу группу, куда мы сразу расшариваем новые статьи, как только они появляются в блоге.

semantica.in

О программе

Официальный сайт: www.key-collector.ru
Стоимость: 1 лицензия 1800 рублей (актуальные цены тут: www.key-collector.ru/price.php)

Бесплатные аналоги: СловоЁб. Скачать можно с официального сайта: seom.info/2012/05/04/slovoeb-2-0/

Настройка Кей Коллектора

Первым делом нам необходимо настроить Key Collector. Все настройки есть на скриншоте, просто используйте аналогичные. Это лишь рекомендуемые мною настройки, при необходимости, Вы можете задать свои. Заходим в «Файл» — «Настройки»:

Настройки — Парсинг — Общие

Настройки — Парсинг — Yandex.Wordstat

Настройки — Парсинг — Yandex.Direct

Обязательно необходимо добавить аккаунты Яндекса для парсинга. Важно: не рекомендуется использовать основной аккаунт, так как он может быть заблокирован.

Настройки — Парсинг — Google.Adwords

Рекомендуется использовать строго одну учетную запись.

Настройки — Парсинг — Rambler.Adstat

Оставляем все настройки стандартными, все работает хорошо. Если необходима частотность запросов в Рамблере — добавляем аккаунт.

Настройки — Парсинг — Поисковая выдача

Настройки — Парсинг — Подсказки

Функционал Key Collector

Интерфейс программы понятный. Окно можно разделить на:

Область управления;
Рабочая область и окно управления группами;
Окно уведомлений.

На скриншоте я выделил последние две области. Все, что не выделено — это область управления.

Я разберу лишь основной функционал, который нам понадобится. С остальным можно разобраться уже по аналогии.

Управление процессом и прочее

Кнопка «Остановка процессов» — используется для полной остановки процесса, без возможности его восстановления. Т.е. при запуске любой процесс начнется с самого начала;
Кнопка «Приостановки процессов» — используется для паузы. Вы всегда сможете продолжить процесс;

Кнопка «Добавить фразы» — используется для добавления ключевых фраз вручную или из файла;
Кнопка «Удалить фразы»- используется для удаления выделенных строк в рабочей области. Для восстановления фраз используйте комбинацию «ctrl+z» или кнопку «отмена последнего действия»;
Кнопка «Перенос фраз в другую группу» — позволяет копировать и переносить выделенные строки в разные группы. При копировании — строки остаются в исходной группе, а при переносе — удаляются из исходной;
Кнопка «Стоп-слова» — позволяет быстро выделять строки, которые содержат слова из списка стоп-слов. Позволяет фильтровать большой объем данных достаточно быстро и эффективно.
- Можно выделять строки с полным и частичным вхождением, а также задать полное соответствие со стоп-фразой;
- Интересным тут является то, что можно сразу парсить wordstat с использованием стоп-слов;
- Можно не учитывать порядок слов, спец. символы и знаки препинания;
- Можно создать условное деление на желательные и нежелательные списки;
- Фильтрация поиском по сниппетам — позволяет отметить фразы, в сниппете которых есть вхождения указанных слов;
Кнопка «Инвертирование отметки» — производит замену «отметки»: есть на нет, нет на есть;

Сбор ключевых слов и статистики

Данный блок позволяет спарсить ключевые слова и получить статистику по ним.

Кнопка «Пакетный сбор слов из левой колонки Yandex.Wordstat» — производит сбор ключевых слов по заданным маскам.

Ключевые слова можно сразу распределять для удобства в разные группы. Если группы уже созданы, выбираем пункт «новые фразы: распределять по группам». Если же групп нет, то в нижней части есть кнопка, которая создаст под каждую маску новую группу.

При сборе фраз для одного сайта в разные группы, обязательно следите за тем, чтобы одинаковые ключевые слова не добавлялись в две и более групп одновременно. Для этого используйте настройки:

Созданные фразы можно скопировать и для других источников.

Пакетный сбор фраз из правой колонки из Yandex.Wordstat — этот инструмент используется уже реже, так как получается много мусорных фраз. Функционал аналогичный предыдущему;
Пакетный сбор фраз из Google.Adwords. Регион для сбора задается в настройках аккаунта.
Пакетный сбор поисковых подсказок позволяет собрать данные из Yandex, Google, Mail (который быстро блокирует за активность), YouTube и т.д. Пример поисковых подсказок ниже:

Пакетный сбор похожих поисковых запросов из поисковой выдачи. Ниже скриншот из Яндекса для понимания, что мы будем собирать:

Кнопка «Сбор частот из сервиса Yandex.Wordstat» — позволяет получить все виды частот. Без прокси данный инструмент собирает достаточно долго, поэтому лучше использовать кнопку «Сбор статистики Yandex.Direct». Разница между ними в том, что последний не позволяет собирать частоту с учетом порядка слов.

Кнопка «SERP» — «Поиск конкурентов» — позволяет получить список настоящих конкурентов на основе видимости сайта в поисковой выдаче.

Рел. страницы, позиции и анализ сайта

Данный блок позволяет собрать статистическую информацию о сайте. Для этого необходимо в поле URL вбить адрес Вашего сайта. Что можно сделать?

Собрать позиции сайта в Yandex и Google;
Экспортировать историю позиций, если по проекту шел несколько раз съем;
Получить релевантные страницы;
Провести эффективно перелинковку сайта на основе релевантных страниц;

Данные: анализ

Анализ неявных дублей позволяет отфильтровать дубли на основе частотности по Wordstat с учетом порядка слов или других источников;
Анализ групп — разбивает все фразы на группы по словам. Позволяет ускорить очистку.

Составление семантического ядра

Составление семантического ядра начинается с определения наглядной структуры сайта — необходимо придумать, какие разделы и подразделы будут на сайте и какая информация на них размещена. Это позволит нам определить исходный список запросов (масок), который в дальнейшем сможем расширить. Например, у нас есть наглядная структура для магазина подарков:

Получаем список исходных слов:

подарки
игрушки
куклы
браслеты
кольца
часы
бинокли

Важно также помнить о разных синонимах и словоформах (каждый из которых нужно добавлять отдельно), например:

детские игрушки = игрушки для детей;
продвижение сайта = раскрутка сайта;
seo продвижение = поисковое продвижение = seo оптимизация;

Полнота семантического ядра при работе с wordstat.yandex.ru

Вордстат показывает ограниченное количество результатов для запроса. Например, для запроса «подарки» нам доступна 41 страница, но при этом общая частота последнего 918:

Понятно, что существуют еще какие-либо слова, которые необходимы для полноты семантического ядра. Что можно сделать в этом случае:

ограничить по региону/городу;
задать дополнительно слова:
- подарки купить;
- подарки цена;
- подарки для детей, детские подарки..;
- подарки для женщин, женские подарки ..;
- и т.д.
задать минус-слова;
получить все двух-, трех- и т.д. словные ключевые слова.

Для последнего пункта нам лишь необходимо спарсить wordstat следующим образом:

Таким образом получим больший охват запросов:

Если и этих данных недостаточно, можно перебрать все формы:

Работа с сезонными тематиками и запросами

Сезонные запросы — это те поисковые запросы, которые зависят от времени года или определенного дня. Например, ключевые слова связанные с праздниками: Новый год, 8 марта, 14 февраля и т.д.

Если мы подготавливаем структуру для сайта заранее, т.е. собираем запросы для сайта с новогодними подарками, например, летом — то мы упустим большое количество запросов, которые за последний месяц были непопулярны. Что делать? Необходимо снимать все виды частотностей за год и дальше работать с ними.

Нюансы: достаточно много странных запросов, у которых общая и точная частотность одинакова. Их лучше удалить.

Группировка поисковых запросов

В программе есть возможность производить группировку ключевых слов. Будет полезно, если:

Вы производите чистку семантического ядра — удалять группы запросов намного легче, чем просматривать каждый;
Составляете структуру сайта на основе поисковой выдачи (кластеризация запросов). Но не стоит забывать про полноту групп и возможность продвижения одних запросов с другими в рамках одной группы (обычно для этой задачи я использую другие инструменты).

Для группировки переходим во вкладку «Данные» и выбираем пункт «Анализ групп»:

В открывшемся окне выбираем нужный способ автоматической группировки запросов:

Какие способы существуют и в чем разница?

по отдельным словам — все запросы разбиваются по отдельным словам, входящих в них. Удобно производить первоначальную чистку;
по составу фраз — все запросы разбиваются на группы по количеству совпадений слов между ними. Кол-во совпадений пользователь задает сам;
по поисковой выдаче — все запросы разбиваются на группы по количеству совпадений ссылок в поисковой выдаче;
по составу фраз и SERP — комбинация предыдущих двух методов.

***
В основном я использую Key Collector для сбора и чистки семантического ядра, но функционал программы гораздо шире. Можно получать данные из поисковой выдачи, отслеживать позиции с историей и многое другое. Если остались вопросы — пишите в комментариях.

albakoff.ru

Настройка для парсинга без прокси

Запустите программу, зайдите в настройки, активируйте вкладку «парсинг». Рекомендуется установить следующие критические значения, необходимые для сбора данных.

Раздел «настройки загрузки страниц»:

Кол-во повторных попыток загрузки страниц — 30.
Таймаут ожидания ответа от сервиса — 30000 мс.

Раздел «режим сбора»:

Строки с неполученными данными.

Перейдите на вкладку «Yandex Woradstat», установите опции, имитирующие естественные запросы к поисковой системе и не вызывающие у нее подозрений:

Задержки между запросами — от 5000 до 15000 мс.
Кол-во потоков — 1.
Использовать основой айпи-адрес — включить.
Таймаут ожидания ответа от сервиса — 35000 мс.
Задержка после авторизации — от 15000 до 20000 мс.

Перейдите во вкладку Yandex Direct. Здесь следует добавить почтовый аккаунт Yandex. Для этого нажмите «добавить из буфера» и введите логин и пароль от почтового ящика как показано на картинке.

Обратите внимание, что формат ввода несколько отличается от привычного, когда указывается логин@имя.домен. В нашем случае, указывается логин и через двоеточие — пароль.

Проверьте, чтобы напротив введенного ящика стояла галочка, а сам аккаунт был выделен зеленым фоном.

Это означает, что он может использоваться системой. Желательно иметь в наличии несколько аккаунтов Yandex, потому что каптча все равно будет поступать от поисковика. Чтобы минимизировать затраты времени на распознавание и ввод каптчи, надо подключить какой-нибудь сервис, помогающий решить эту проблему за деньги.

Надо отметить — чисто символические (для сервиса ruCaptcha.ru — до 50 руб за 1000 капч). Для этого заходим во вкладку «Антикапча». Выбираем сервис и регистрируемся на нем.

После ввода ключа, полученного после регистрации на одном из ресурсов вкладки «Антикапча», не забудьте нажать кнопку «сохранить».

Парсинг без proxy

Для теста скопируем рандомные ключевые фразы из Вордстата и поставим на парсинг. В нашем случае, это 60 фраз на выбранную тему. На самом деле, количество и тема слов не принципиальна. Нам важно это знать, чтобы ощутить порядок ускорения сбора информации при использовании прокси. Напоминаем, что установки сделаны такие, как описано выше.

Нажимаем парсинг, вставляем все наши тестовые запросы и жмем кнопку «начать сбор».

В журнале событий можем отследить успешность протекания процесса сбора информации по каждому запросу в отдельности.

За 2 минуты у собрано 508 фраз.

Настройка для парсинга с прокси

Теперь оценим объем собранных фраз с использованием прокси. Для начала нужно разобраться с тем, как настроить прокси в Key Collector. Итак, зайдите в закладку «сеть», отметьте галочкой «использовать прокси» и выберите протокол работы. Какой протокол использовать — абсолютно неважно. Главное, чтобы он соответствовал внутренним установкам самого прокси. Эти установки вы узнаете там, где решите купить прокси для Key Collector. Например, как показано на картинке ниже.

Копируем весь список купленных прокси, ставим протокол их работы, жмем «добавить из буфера», вставляем. И надо их подредактировать по тем правилам, которые нам указывает Кей Коллектор.

В нашем случае, необходимо указать IP-адрес: через двоеточие номер порта и через собачку логин и пароль для доступа к прокси.

Теперь надо проверить, хорошие ли это прокси, не блокирует ли их Яндекс Вордстат, не находятся ли они в черном списке. Для этого нам нужно выбрать «количество потоков», поставить «1» и нажать «проверить в Yandex Wordstat».

Система все проверила, пометила их зеленым, так как на всех серверах не встретилась ни одна каптча.

Если на каких-то серверах встретилась каптча, рекомендуем убрать эти сервера, чтобы ускорить процесс. Покупайте лучше другие и проверяйте, чтобы все сервера были незакапченные.

На заключительной стадии надо отметить опцию «отключать в настройках отброшенные при парсинге прокси сервера».

Дальше, нужно настроить для выбранных прокси-серверов аккаунты. Так как их в данном случае девять, то, соответственно, как минимум девять профилей должно присутствовать. Заходим в закладку Яндекс Директ, жмем «добавить из буфера» и прописываем почтовые ящики Яндекс, которые вы предварительно должны были зарегистрировать.

Далее, нам нужно задать число потоков. Прокручиваем вниз. Количество потоков для Яндекс Директа задаем девять штук. И убираем галочку «использовать основной айпи адрес», чтобы ваш айпи не был заблокирован.

Далее, вы переходите в закладку Яндекс Вордстат. Здесь тоже нужно задать число потоков. Оно должно равняться количеству ваших proxy. Это очень важно. Тоже убираем галочку «использовать основной айпи адрес» и сохраняем.

Парсинг с прокси

Теперь, наступила очередь проведения эксперимента по парсингу того же набора ключевых слов и за тот же промежуток времени, что и в первой части материала. Нажимаем «парсить с вордстата», вставляем и временно убираем галочку с пункта «не добавлять фразу, если она уже есть в любой другой группе» для чистоты эксперимента.

Сравним. Во второй раз за 2 минуты времени спарсено 3467 фраз.

Стоит учесть, что при постоянном парсинге через 1 IP (без прокси), будет увеличиваться процент показа капчи и, в итоге, он достигнет 100%, что значительно замедлит парсинг на заспамленном такими запросами IP. Это обстоятельство автоматически увеличит расходы на сервис распознавания капчи.

Обычно используют 5-10 качественных персональных прокси, которые, например, можно арендовать здесь: https://proxy-sale.com. Следует учитывать, что на один аккаунт Яндекс Директ должно приходиться не более пяти прокси, каждый из которых отвечает за один поток.

pingoblog.ru

Key Collector: что это такое?

Если вкратце, то данная программа предназначена для парсинга ключевых слов и составления на их основе семантических ядер сайтов. Кроме того, она может быть очень полезна в разработке успешной стратегии конкурентной борьбы. Результаты работы утилиты Кей Коллектор могут помочь в планировании и формировании актуального и востребованного контента, поскольку приложение собирает данные с успешных сайтов, завоевавших авторитет и популярность.

Из-за усилившейся конкуренции на рынке информационных услуг в интернет и возросшей потребности сео-специалистов в сборе разного рода информации, поисковые системы ввели ограничения по количеству запросов за единицу времени. При наличии большого количества запросов с одного ip-адреса, Яндекс и Гугл начинают выдавать бесконечные капчи для проверки реальности пользователя или полностью блокируют ip-адрес. В результате этого продуктивность труда квалифицированного сео-специалиста может падать.

Для обхода подобных ограничений придумали прокси. Без наличия узкоспециальных знаний по администрированию работы с программой, довольно сложно без помощи специалиста понять: как это делать? Для этого существуют разного рода инструкции, справочники и книги, помогающие понять тонкости использования Кей Коллектор.

Купить прокси для Key Collector сейчас!

Явные преимущества

Разработчики программы оптимизировали работу приложения с прокси-серверами, чтобы удовлетворить все потребности своих клиентов. Настройки Кей Коллектор позволяют:

проверять proxy-серверы на доступность;
устанавливать необходимое число потоков;
удалять некачественные серверы;
временно деактивировать сервер, через который была обнаружена капча;
поддержка количества активных потоков при разъединении плохих серверов и Кей Коллектора;
устанавливать оптимальный таймаут ожидания.

Чтобы ощутить все преимущества работы связки «proxy-Key Collector», необходимо умело настроить программу иначе добавленные сервера не пройдут проверку и будут недоступны для сопряжения. Для этого предлагаем воспользоваться подробной инструкцией, которая поможет вам без проблем настроить прокси, а также ответит на большинство часто возникающих вопросов.

Подробная инструкция для Кей Коллектор при настройке прокси

Прежде всего, если прокси не проходят проверку в Key Collector, убедитесь, что вами введены правильные исходные данные: IP адрес, логин и пароль. Добавьте список аккаунтов с паролями в "Yandex.Direct":

Когда вы выполнили все необходимые действия, переходим к следующему шагу — добавляем proxy-сервера во вкладке Сеть:

Не забудьте поставить галочку “использовать proxy-серверы” и выбрать в пункте необходимый протокол его работы!

И нажать “Проверить в Яндекс Вордстат”:

На следующем шаге обязательно нужно проверить журнал (в нем не должно быть ошибок).

Удалите все старые и закапченные аккаунты (даже если они отображаются зеленым цветом, они могут быть забаненны);Если после осуществления настройки по инструкции Кей Коллектор ошибки остались, то:

Перед каждым парсингом чистите куки и кеш с помощью программ для очистки "мусора" с компьютера;
Откажитесь от использования большого количества потоков с одного прокси-сервера;
Проверьте повторно настройки прокси Кей Коллектор по инструкции;
Обратитесь в техническую поддержку, если ничего не помогло (в обращении укажите, какие прокси или аккаунты не проходят проверку).

Для работы с Кей Коллектор мы рекомендуем использовать порт http/https!

Пожалуй, наибольшим недостатком приложения Кей Коллектор является платный доступ, однако ни одного профессионала в области SEO это досадное обстоятельство не останавливает, поскольку данное приложение существенно облегчает труд, давая существенно больше дивидентов, чем величина первоначальных затрат.

Кроме того, используя наши российские прокси, вы всегда сможете ускорить свою работу в два, а то и в три раза! Надеемся, что наша инструкция Кей Коллектор по настройке proxy-серверов поможет вам начать использовать эту замечательную программу с большей пользой и удовольствием!

proxy-sale.com

Прокси: что это и для чего нужны?

Поисковые системы уже давно ввели ограничения на автоматический парсинг, а именно – на количество запросов за единицу времени. Если оно превышает определенное значение, Яндекс и Google либо блокируют ваш IP, либо выдают бесконечные капчи, чтобы проверить, кто работает – реальный пользователь или специализированное ПО, которое перегружает систему. Поэтому для продуктивного сбора ключевых запросов с помощью программы Key Collector нужно применять прокси.

Key Collector разработан с учетом всех потребностей SEO-специалистов, поэтому ПО имеет специальные настройки для работы с прокси-серверами:

Проверка доступности анонимных IP-адресов.
Установка необходимого количества потоков.
Временная деактивация серверов, при работе через которые была обнаружена капча.
Поддержание числа активных потоков при разъединении плохих прокси и программы.
Удаление некачественных серверов из списка.
Установка оптимального таймаута ожидания.

Но чтобы добавленные прокси прошли проверку и были доступны для сопряжения, нужно правильно настроить Key Collector.

Где взять прокси?

Начнем с того, что они бывают платные и бесплатные. Для парсинга лучше всего купить хорошие индивидуальные прокси. Бесплатные IP-адреса для Key Collector крайне не рекомендованы, поскольку они работают нестабильно, с низкой скоростью, имеют ограниченные настройки и, вероятнее всего, уже «закапчены».

При покупке необходимого количества прокси вы получаете список доступных к использованию сетевых адресов с данными для их настройки. Например:

IP – 94.181.34.64;
порт – 8080;
логин – login;
пароль – fd78ruf1.

Эти данные нужно сохранить в Блокноте (файл с расширением .txt). Если вы будете самостоятельно формировать список IP для загрузки в Key Collector, делать это нужно в таком формате «сервер:порт@логин:пароль». Например:

94.181.34.64:8080@login:fd78ruf1

В личном кабинете primeproxy.net уже реализован функционал автоматической выгрузки прокси под Key Collector.

Пошаговая инструкция по настройке

Настройка прокси в Key Collector осуществляется в таком порядке:

Заходим в меню настроек программы (шестеренка в правом верхнем углу). Во вкладке «Парсинг» кликаем на «Yandex.Direct» и убираем в этом поле галочки напротив выделенных ниже пунктов.

Переходим на вкладку «Сеть». В этом поле должна обязательно стоять галочка напротив пункта «Использовать прокси-серверы».

Загружаем IP-адреса, которые мы ранее сохраняли в файле txt, в Key Collector. Для этого нажимаем на кнопку «Загрузить из файла…».

В открывшемся меню находим наш файл с прокси-серверами и нажимаем «Открыть», после чего в программе отобразится список всех IP из него.

Проставляем галочки напротив всех IP-адресов, которые будем использовать, для их активации. Строка должна быть зеленого цвета.

Перед активацией загруженные сервера можно дополнительно проверить – нажимаем «Проверить в Yandex.Wordstat», или в ПС Yandex, Google. Иногда мы сталкиваемся с такой проблемой что прокси не проходят «проверку», лучше попробовать в ручную проставить галочки и запустить тестовый сбор парсинга. В этот момент и можно будет понять, работают прокси или нет.

Что делать при обнаружении ошибок?

Если вы делали все в соответствии с инструкцией, но после настройки обнаружили ошибки, попробуйте выполнить следующее:

Удалить все старые и закапченные прокси – они могут быть забанены, даже если помечены зеленым цветом.
Чистить файлы cookie и кэш перед каждым парсингом – это выполняется с помощью специального софта.
Не использовать большое количество потоков с одного сервера.
Еще раз проверить правильность настройки согласно инструкции.

Если вышеперечисленные рекомендации вам не помогли, обратитесь в техподдержку. А в комментарии укажите, какие именно прокси-сервера дают сбой при проверке.

Мы постарались максимально подробно описать процесс настройки прокси-серверов в Key Collector. Надеемся, что наша статья поможет вам в разы увеличить производительность парсинга с помощью данной программы.

primeproxy.net

Начнем с подготовки необходимых аккаунтов

IP-адрес

Уточните, какой у Вас IP адрес – динамический или статический. При парсинге периодически может блокироваться IP. С динамическим «лечится» все просто – перезагрузкой модема. Статический – хуже, если не использовать специальные сервисы, блокировка может продлиться несколько дней.

Проверить IP можно при помощи сервиса “Интернетометр”. Запишите свой адрес, потом перезагрузите модем и зайдите повторно. Не забудьте очистить кэш браузера. Если цифры отличаются – все в порядке, если они одинаковые – IP статический. В этом случае я рекомендую использовать сервис VPN.

В последнее время Яндекс начал банить по подсетям. В этом случае не срабатывает и перезагрузка динамического адреса. Тут все от провайдера зависит, — какой адрес он Вам будет выдавать. Так что и на динамическом иногда приходится прибегать к услугам этого сервиса.

Аккаунты в Яндекс Директе

Зарегистрируйте 10 (рекомендую это количество) аккаунтов в Яндекс Директ. Регистрируйтесь именно по ссылке https://direct.yandex.ru. Выбираете логин, пароль, упрощенный интерфейс и обязательно нажимаете кнопку «начать пользоваться сервисом». Потом разлогиниваетесь и логинитесь повторно!!!! Появится предупреждение об отсутствующем телефоне. Жмите «продолжить», потом опять выберите страну и нажмите кнопку «Начать пользоваться сервисом». Потом разлогиниваетесь и регистрируете следующий аккаунт. Я регистрировал все аккаунты сразу, адрес не менял, куки не чистил. Все работает, как часы.

Довольно часто свежие аккаунты в Директе не запускаются с первого раза! Не надо паниковать, все можно поправить. Смотрите «журнал событий» в нижней части программы. Когда запустите парсинг частотностей вордстата через Директ, должны последовательно появиться надписи об авторизации в каждом из аккаунтов. Если это не происходит, а появляются записи, что не удалось авторизоваться – делаем так:

Останавливаем парсинг, идем в настройки→парсинг→Яндекс Директ и нажимаем большую кнопку «принудительно очистить данные об авторизации». Потом вручную, через браузер логинимся во всех зарегистрированных аккаунтах и опять жмем кнопку «начать пользоваться сервисом». Залогинились, нажали, разлогинились. И так во всех аккаунтах.
Потом опять запускаем сбор и смотрим – если запустились все аккаунты – ОК, работаем. Если этого опять не произошло – чистим данные об авторизации, логинимся вручную в браузере и создаем «фейковое» объявление. Вам все равно, пройдет оно модерацию или нет. Главное, чтобы при входе в аккаунт Вас отправляло не на страницу создания объявлений, а на страницу «мои объявления».

Антигейт

Обязательно нужен аккаунт в antigate.com. Оттуда берем свой ключ и вводим в соответствующее окно в настройках→Антикапча. В последнее время в Антигейт разделена статистика для русских и английских капчей. Работников с кириллицей не хватает, но администрация сервиса заверила, что увеличит количество таких сотрудников и ставки по кириллическим капчам пойдут вниз.

Настройки на вкладках программы

После запуска на верхней панели нажимаем этот значок и заходим в настройки.

Настройки

Парсинг→Общие

Парсинг→Общие

Ограничение по количеству слов целесообразно выставлять не более 7, более длинные могут вызвать ошибки в дальнейшей обработке. Таймаут не стесняемся задавать побольше от 30000-50000 мс. Режим сбора ставим “строки с неполученными данными”, чтобы заполнялись пустые таблицы и не перезаписывались уже имеющиеся данные. Это поможет сократить время сбора.

В фильтре символов можно расширить набор символов для замены на пробел. Ну тут, думаю, все понятно.

Парсинг→Вордстат

Парсинг→Вордстат

Остановимся на особо важных, назначение остальных вы можете прочитать, кликнув на значок вопроса в конце строки или на официальном сайте разработчика.

Глубина парсинга задается, если вы желаете собрать ключи и потом, по каждому из собранных, спарсить еще порцию. (Если глубина стоит 1, то парсится слово, потом оно добавляется в список фраз и парсится снова и так чем больше число глубины, тем больше кругов ада пройдет программа). Это колоссально замедляет работу программы, поэтому ставим глубину 0.
Следующий пункт «Добавлять в таблицу фразы с частотностью от»
Если вас не интересуют базовые частотности меньше определенного значения или хотите выбрать ключи в узком диапазоне, то эти значения задаются в этой строке. Я обычно выставляю от 20-50 минимальную и до бесконечности максимальную, но все зависит от тематики, иногда бывает необходимо собрать все ключи, вплоть до частотности 5, а ниже уже будут пустышки.
Если базовая частотность ниже заданного здесь порога, то при сборе фразовой("") и точной("!") такие слова будут пропускаться, что тоже ускоряет процесс работы.
Чтобы не добавлять в список исходных фраз пустышк, при глубине парсинга больше 0, можно установить здесь ограничение.
Ввиду ввода русской капчи, что делает ее разгадывание проблематичным для большинства сервисов, нужно не стесняясь ставить большие задержки, чтобы не пришлось доказывать яндексу, что Вы не робот и не схлопотать бан. Рекомендую выставлять значения в интервале от 5000-30000 мс.
С количеством потоков нужно быть осторожным, ибо ПС не любят многопоточные сборы и сразу их жестко пресекают со всеми вытекающими санкциями. Обычно я снимаю данные в один поток. Да, долго, но зато безопасно. Если же вы работаете через прокси, то целесообразно выставлять до 10 потоков сбора.
Таймауты ставим от 30-45 тыс. мс.

Частотности " " при анализе ключей я не использую. Если они Вам нужны, поставьте галочку на Собирать частотности вида " "

Парсинг→Google Adwords

Парсинг→Google Adwords

В Гугл Эдвордс используем только одну учетную запись.

При необходимости здесь так же можно задать глубину парсинга и задержки. Т.к. гугл очень щепетилен к парсерам и сразу отправляет все подозрительное в бан, то задержки рекомендую так же выставлять большие. Если работаете с основного IP, то от 10000-25000 мс.

Парсинг→Rambler Adstat

Парсинг→Rambler Adstat

С Рамблера статистику я снимаю редко, да и сама ПС относится к таким как я достаточно лояльно и рада любым посещениям, даже роботов. =) Здесь все работает без проблем, поэтому нет смысла задавать большие задержки и парсинг страниц больше 5 (есть реальная возможность при большем значении нахватать мусора).

Парсинг→Социальные сети

Парсинг→Социальные сети

Эта функция нужна для создания описания и названия групп ВК. При сборе ядра для сайтов ее я не использую.

Вкладки “Solomono”, “Рекомендации” и “Похожие поисковые запросы” оставим без изменений.

Парсинг→Поисковая выдача

Парсинг→Поисковая выдача

Вот эта функция сегодня самая проблемная.

Для начала разберемся, что такое Яндекс XML. Это специальный сервис, который дает возможность отправлять запросы к ПС и получать данные в формате XML. Для каждого сайта, в зависимости от количества траффика (в свете последних изменений) выдается определённый лимит этих запросов, который, можно при желании докупить на специальных биржах. Используя эту квоту, вы можете безболезненно заниматься парсингом, не опасаясь за бан.

По поводу капчи в Яндексе перепробовал кучу прокси сервисов – ничего не помогло. Единственный найденный мной выход – использование XML Яндекса. Если у Вас есть сайты, добавленные в панель вебмастера, вы можете узнать свой лимит тут: https://xml.yandex.ru/limit_info.xml.

Вот результаты парсинга:
Смотрите – колонки конкуренция в яндексе, количество главных в яндексе и вхождений в заголовки. Ключи одни и те же.

По yandex.com

yandex.com

По yandex.ru

yandex.ru

Как видите, отличие большое.

С Yandex.com есть фокус – если выбрать эту выдачу и нажать «Сохранить», Вы получите лимит в 10000 запросов. Впрочем, этот лимит можно использовать, например, в плагине Винка для проверки индексации страниц, но никак не для корректного анализа поисковой выдачи.

На странице настроек выбираем «русский (yandex.ru)».

Полученный ключ вводим в соответствующее окно настроек. Отмечаем «Не предлагать к распознаванию капчу XML». В этом случае в пределах лимита запросов скорость 1-2 запроса в секунду в один поток. Вполне хватает.

Единственная проблема с XML от яндекс.ру в том, что здесь лимиты зависят от сайтов в панели вебмастера. Если у Вас нет своих сайтов или недостаточно лимитов, их можно купить. Лимиты поступят на ваш яндекс-аккаунт через сутки после зачисления. 3-5 тысяч запросов «без головной боли» в день обойдутся рублей 500 в месяц.

Обращаю Ваше внимание, что количество потоков в этой таблице относится не только к съему позиций, но и к съему конкуренции KEI и подбору релевантных страниц.

Непосредственно для оценки позиций я программу не использую. В этом случае рекомендую создать проект в Megaindex и вручную добавить ключи. Удобство Мегаиндекса в том, что сервис самостоятельно обновляет позиции с каждым аппом выдачи и можно наглядно отслеживать изменение запроса.

По Гуглу – с одного айпи рекомендую работать в один поток. Тут или медленно, но работать, или быстро – через 100-200 запросов бан. Либо пользоваться прокси. Но и они будут отлетать достаточно быстро, одна за другой.

Парсинг→Подсказки

Парсинг→Подсказки

Обращаю внимание – есть настройка региона. Если регион не нужен – ставим «0». Если нужен – выбираем из списка регионов яндекса https://hmxblog.ya.ru/replies.xml?item_no=2780

Парсинг→Яндекс Директ

Парсинг→Яндекс Директ

Рекомендую тут вбить около 10 аккаунтов директа и поставить около 8 потоков. Скорость ощутите сразу.

Парсинг→Рейтинг Mail.ru

Парсинг→Рейтинг Mail.ru

Новая функция, с этими настройками все работает. Не забываем снимать с мэйла, т.к. хоть и не большой, но траффик идет оттуда.

Сеть

Сеть

Настройки прокси, если используются. Обращаю внимание, что практически во всех вкладках есть настройки для прокси серверов. Недостаточно их включить только на этой вкладке. Дополнительное включение делается на вкладке Яндекс-Директ и KEI. Кроме того, есть настройки отсева некачественных прокси и «использовать основной IP». При подключении прокси советую основной IP отключать.

Интерфейс→Экспорт

Интерфейс→Экспорт

Эти настройки нужны, если Вы будете выгружать результаты работы списком. Я часто выгружаю в CSV, в принципе здесь все интуитивно понять, если не удается – жмем на вопросики справа в строках =)

Интерфейс→Прочее

Интерфейс→Прочее

С «защитой от дурака», думаю, сами разберетесь.

Интерфейс→Заголовки таблиц

Интерфейс→Заголовки таблиц

Тут уже все настраиваем под свой вкус и цвет. Заголовки таблиц можно переписать под себя. По умолчанию они крайне неинформативны, поэтому и сделали возможность обозвать их по вашему желанию, да и клиенту будет проще понять, что за цифры в колонке.

Антикапча→Автораспознавание капчи

Антикапча→Автораспознавание капчи

Вбиваем ключ от антигейт. С последними обновлениями программа научилась работать с множеством сервисов антикапчи. Смотря, какой используете, тот ключ и вводите, выбрав кнопочку используемой ниже. Чтобы пробовать распознавать русские головоломки (в антигейте не только индусы работают), снимаем галочку с пункта, который ниже задатчика ограничений.

Антикапча→MegaIndex API

Антикапча→MegaIndex API

Можно использовать API Мегаиндекса. Но это достаточно дорогое удовольствие – 5000 запросов стоят 100 рублей.

KEI

KEI

Данные формулы помогаю определить уровень конкуренции на основе полученных данных из ПС Яндекс и ссылочных агрегаторов.

Здесь вводим формулы. Абсолютно все равно, в какую ячейку их вобьете. Просто результаты расчета надо будет смотреть в соответствующей колонке.

Для удобства – формулы в текстовом варианте, можете их скопировать и добавить в программу:

Для оценки сезонных ключей:

YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq +1 )
YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq + 0.0001 )

Для оценки конкуренции и пустышек:

AverageBudget/AverageTraffic + 0.0001
YandexWordstatBaseFreq / ( YandexWordstatQuotePointFreq + 0.0001 )

Вот и разобрались с настройками. В следующей статье поговорим об огромном функционале коллектора.

iwsm.ru

Настройки Key Kollector при работе с прокси (много потоков)

Те настройки, что не указаны — оставляем по умолчанию как есть.

Парсинг

В строку «Удалять символы» добавьте следующие символы: !-.+»@><^%:,?’|/

Настройки парсинга Яндекс Вордстат

Количество потоков ставим 5 т.к. используем 5 прокси. Снимаем галочку с «использовать основной ip адрес».

Настройки парсинга Яндекс Директ

Настройки парсинга Гугл Адвордс

Настройки парсинга поисковой выдачи

Для парсинга поисковой выдачи Яндекса я очень рекомендую использовать XML лимиты. Для этого можно купить их в сервисах типа seozoo.ru.

Подсказки

Настройки сети

Настройки Key Kollector без использования прокси

Если не использовать прокси, то во вкладке «Настройка — Сеть» ничего не указываем.

На вкладке «Парсинг — Яндекс Вордстат» указываем кол-во потоков 1 и ставим галочку на «Использовать основной ip».

На вкладке «Парсинг — Яндекс Директ» нужно указать как минимум 1 аккаунт, но можно до 5. Экспериментальным путем я выяснил, что если использовать 5 аккаунтов на 1 ip, то вполне нормально все парсится, скорость не увеличивается т.к. потоков то все равно 1, просто аккаунты переключаются между собой. Это стоит делать только если вы снимаете частотность на больших объемах ключей. Но вполне достаточно использовать и один аккаунт. Так-же не забываем выставить значение 1 поток и поставить галочку «использовать основной ip».

На вкладке «Парсинг — Поисковая выдача» ставим количество потоков 1 и галочку «использовать основной ip», но это если вы не используете XML лимиты. Если вы используете XML лимиты от сторонних сервисов — можно выставить много потоков, я ставлю 15. Но если пользуетесь своими лимитами — тут лучше ставить 1 поток.

Следующая статья: Составляем структуру сайта

nigilist.pro