Как узнать сколько запросов было в интернете, а точнее в Yandex, по определенной фразе ?
Все достаточно просто, под катом вы найдете описание, сопутствующий софт, видео с примером и разработанный мной небольшой скрипт для преобразования фраз для Wordstat.Yandex.ru.
Парсинг в Wordstat – достаточно понятная, и удобная, за одним исключением, чтобы искать точные вхождения нужно постоянно дописывать восклицательные знаки и кавычки. И это крайне неудобно. Поэтому я предлагаю простой и быстрый способ преобразования обычных строк в строки для поиска точных вхождений.
Wordstat парсеры –конечно же есть, но мне хочется для начала понять самому что я ищу и почему. Например у меня есть лицензии на KeyCollector и Semonitor, да и без того есть Ашманов, очень даже бесплатный.
Поэтому подбор слов в Yandex Wordstat я делаю из принципа пока ручками, но все же решил написать скрипт для автоматизации предобразования простого текста в фразы точного вхождения.
Например, хочу найти сколько раз спрашивалась фраза: Wordstat Yandex (странно подумать, вообще кто может спрашивать такую тупую фразу, ну да ладно)
Смотрим без кавычек:
yandex wordstat 6703
А теперь я нажиммаю F2 и мой скрипт работает, он преобразует фразу wordstat Yandex в фразу “!wordstat !yandex”.
И оказалось что по правде ищут-то фразу Wordstat Yandex всего 396 раз.
Вообщем я подумал может кому-то надо такой скриптик, написан он на AutoHotKey, скачайте его и можете использовать скрипт:
Замена простой строки для поиска точного вхождения для Wordstat.yandex.ru
#SingleInstance force
F2::
Send {LCtrl}
Send, ^a^c
cd = %clipboard%
clipboard=%cd%
clipboard := RegExReplace(cd, » «, » !»)
clipboard = «!%clipboard%»
Send, ^v
return
Вначале я нажимаю Левый Ctrl, это для того чтобы точно сделать английский язык по умолчанию, без этого придется руками переключаться на Английский, чтобы работало правильно.
Что я делаю дальше чтобы заменить фразу для Wordstat ?
1. Я написал простую фразу в строке Wordstat.yandex.ru
2. Курсор в той же строке и я нажимаю F2, в скрипте это легко видеть
3. Строка преобразуется и все, можно нажать Enter
Знал бы чем снять скринкаст, снял бы, может кто подскажет, а то столько писанины.
Часть 2. Доработка скрипта для Yandex Wordstat
Wordstat.yandex показал себя с хорошей стороны, и мой скрипт в wordstat работал на УРА, впрочем он от него не сильно и зависит. Но когда я пришел за другой компьютер, то выяснилась ужасная проблема. Дома все работало на УРА, а на другой машине преобразование русской фразы произошло коряво. Это видимо связано с тем что тут стоит Windows 7, других проблемм просто не вижу.
Копирование в Буфер cd = %clipboard% происходит ужасно.
Поэтому я переписал скрипт полностью, и к счастью мне это удалось, я решил фразу не копировать и не обрабатывать регуляркой, а прямо на месте отредактировать клавишами, на то он и AutoHotKey. В итоге я получил отличный преобразователь фраз для парсинга Wordstat Yandex.
Ну и показываю этот уникальный скрипт:
Замена простой строки для поиска точного вхождения для Wordstat.yandex.ru #SingleInstance force
F2::
Send {LCtrl}
Send {Home}»{End}»{Home}{Right}
Send +1{}^{Right}{Right}
Send +1{}^{Right}{Right}
Send +1{}^{Right}{Right}
Send +1{}^{Right}{Right}
Send +1{}^{Right}{Right}
Send {Ctrl down}{Shift down}{Left}{Right}{Ctrl up}{Right}{Del}{Shift up}
return
Как можно догадаться у этого исходника есть небольшое ограничение, он может обработать фразы не более чем из 5 слов, чтобы увеличить это значение, просто надо скопировать строчку
Send +1{}^{Right}{Right}
столько раз сколько вам нужно, вообще я тот еще писака на скриптах, но все же оптимизировал немного и получилось вот что:
Замена простой строки для поиска точного вхождения для Wordstat.yandex.ru #SingleInstance force
F2::
Send {LCtrl}
Send {Home}»{End}»{Home}{Right}
Loop 20
{
Send +1{}^{Right}{Right}
}
Send {Ctrl down}{Shift down}{Left}{Right}{Ctrl up}{Right}{Del}{Shift up}
return
Кто напишет меньше ?
А вот и видео о том как узнать сколько в месяц происходит запросов по нужной фразе, как это преобразование работает на практике:
Удачи
Обновление 30 января 2012
теперь я не пользуюсь AutoHotKey, потому что пользуюсь ComfortKeys, а там все делается в 1000 раз прощще. Это моя любимая программа для автоматизации разных действий. и конечно же я прилагаю вам скрипт для преобразования фразы в точное вхождение, т.е. добавление «!
<KEY Home>»!<KEY Ctrl+Right>!<KEY Ctrl+Right>!<KEY Ctrl+Right>!<KEY Ctrl+Right>!<KEY Ctrl+Right>!<KEY Ctrl+Shift+Left><KEY Ctrl+Shift+Right><KEY Del>»
Вот как все просто, меньше, красивее, удачнее. Кстати Почему я перешел еще на Comfort, потому что Chrome сменил алгоритм передвижения курсора в тексте и мой скрипт на AutoHotKey перестал работать корректно. В принципе его можно немного поменять и все, конечно же AHK намного гибче, но Comfort тоже не шиком лыт и умеет JavaScript !, поэтому я не люблю отдельные программки для каждых действий а делаю все в Комфорте. Кстати Много Хитростей я привожу на сайте http://goryachieklavishi.ru
jkeks.ru
Парсер Яндекс Wordstat
Один из наиболее популярных модулей в Rush Analytics – парсер Яндекс Вордстат, и это не случайно. При сборе семантического ядра необходимо точно знать частотность собранных запросов, чтобы правильно расставить приоритеты по продвижению и избавится от «мусорных» и нулевых запросов. Часто стоит задача пробить несколько десятков тысяч запросов на частотность в Яндексе, но это не совсем простая задача для самописных парсеров Вордстата и десктопных программ, и вот почему:
- Yandex Wordstat имеет хорошую защиту от парсинга, например бан IP-адресов с которых осуществляется парсинг и выбрасывание капчи в ответ на запросы от ботов. Чтобы эффективно собирать данные с Wordstat, нужен эффективный алгоритм подключения IP-адресов и другие хитрости
- Для парсинга большого количества данных с помощью десктопных программ понадобится много IP-адресов (прокси), которые Яндекс с легкостью банит при неоптимальном алгоритме подключения, а прокси – удовольствие недешевое
- Так же для парсинга понадобится автоматическое введение большого количества капчи (например подключение Antigate для этой задачи). Данный фактор, при неоптимальном алгоритме парсинга, может сделать сам парсинг нерентабельным, так как стоимость капчи будет чрезмерно высока
- Большинство десктопных программ не имеют защиты от потери данных при сборе. Так, например, собрав половину данных и потратив на это деньги, при сбое в парсере, вы рискуете не только не получить оставшиеся данные, но и потерять уже собранные
Парсинг Яндекс Вордстат в Rush Analytics
Учитывая все трудности которые могут возникнуть при парсинге Вордстата, мы сделали свой парсер Wordstat максимально быстрым, удобным и устойчивым к максимальному количеству проблем, связанных с парсингом:
- Никаких прокси и капчи! Вам больше не нужно думать о бане ваших прокси или огромном количестве капчи, которую выдает Яндекс. Просто создайте проект, загрузите ключевые слова и ждите готовый файл с результатом
- Высокая скорость парсинга. Наши алгоритмы используют оптимальную схему подключения IP-адресов и другие хитрости, чтобы сделать скорость парсинга феноменально высокой – вы и не заметите, как ваш проект будет выполнен!
- Сохранность данных. Создавая проект в нашем парсере, вы можете быть уверены, что он будет успешно завершен и доступен для скачивания в любое время и из любой точки мира – все данные хранятся в облаке!
- Поддержка всех регионов Яндекса. У многих пользователей есть потребность определять частотность запросов в Яндексе не только по региону «Москва» или «Россия», но и по другим, включая «Украину» и «Беларусь». В Rush Analytics вы сможете определить частотность запросов по любому региону, который поддерживает Яндекс на данный момент.
- Сбор всех частотностей. С помощью нашего парсера вы сможете собрать все частотности: поисковый запрос, «поисковый запрос», «!поисковый !запрос».
- Сбор левой колонки Wordstat. Помимо проверки частотности запросов, доступен сбор ключевых слов из левой колонки Wordstat с настройкой глубины парсинга от одной страницы до сбора всех имеющих в левой колонке страниц.
- Сбор правой колонки Wordstat. Доступен сбор ключевых слов из правой колонки Wordstat.
Если вам нужен скоростной сбор частотностей Яндекс Wordstat – Rush Analytics лучшее решение, особенно если вам нужно собирать большие объемы данных. Для пользователей с потребностью сбора боле 100 000 запросов в месяц предусмотрены индивидуальные условия, просто напишите в нашу поддержку на support@rush-analytics.ru
www.rush-analytics.ru
How it use
Install phantomjs [http://phantomjs.org/download.html]
<?php use RubtsovAVYandexWordstatParserParser; use RubtsovAVYandexWordstatParserQuery; use RubtsovAVYandexWordstatParserYandexUser; use RubtsovAVYandexWordstatParserCaptchaInterface; use RubtsovAVYandexWordstatParserBrowserReactPhantomJs; use RubtsovAVYandexWordstatParserProxyHttp as HttpProxy; $yandexUser = new YandexUser('test12345678902017', 'test1234567890', __DIR__ .
storage'); $proxy = new HttpProxy('1.179.198.17', 8080); $browser = new ReactPhantomJs(); $browser->setProxy($proxy); // optional $browser->setTimeout(60); // in seconds (120 by default) $browser->setCaptchaSolver(function($captcha) { $image = file_get_contents($captcha->getImageUri()); file_put_contents(__DIR__ . '/captcha.jpg', $image); file_put_contents(__DIR__ . '/captchaAnswer.txt', ''); echo "The captcha image was save to captcha.jpg. Write the answer in captchaAnswer.txtn"; $answer = ''; while (!$answer) { $answer = file_get_contents(__DIR__ . '/captchaAnswer.txt'); $answer = trim($answer); sleep(1); } echo "The captcha answer is '$answer'n"; $captcha->setAnswer($answer); return true; }); $parser = new Parser($browser, $yandexUser); $query = new Query('купить диван'); $result = $parser->query($query); print_r($result->toArray()); Output
Array ( [impressions] => 652525 [includingPhrases] => Array ( [0] => Array ( [impressions] => 652525 [words] => купить диван ) [1] => Array ( [impressions] => 105444 [words] => купить диван недорого ) [2] => Array ( [impressions] => 79061 [words] => купить угловой диван ) [3] => Array ( [impressions] => 70062 [words] => купить диван +в москве ) [4] => Array ( [impressions] => 45905 [words] => купить диван кровать ) [5] => Array ( [impressions] => 45824 [words] => купить диван +в спб ) [6] => Array ( [impressions] => 26833 [words] => купить диван +от производителя ) [7] => Array ( [impressions] => 25078 [words] => купить диван недорого +в москве ) [8] => Array ( [impressions] => 23786 [words] => купить диван дешево ) [9] => Array ( [impressions] => 21915 [words] => купить диван +в магазине ) [10] => Array ( [impressions] => 20965 [words] => где купить диван ) [11] => Array ( [impressions] => 20343 [words] => купить диван распродажа ) [12] => Array ( [impressions] => 20336 [words] => купить диван бу ) [13] => Array ( [impressions] =.
кордеон ) [19] => Array ( [impressions] => 16347 [words] => кресло диван купить ) [20] => Array ( [impressions] => 16131 [words] => купить диван +от производителя недорого ) [21] => Array ( [impressions] => 15518 [words] => купить диван б +у ) [22] => Array ( [impressions] => 14161 [words] => купить диван недорого распродажа ) [23] => Array ( [impressions] => 12859 [words] => купить диван со ) [24] => Array ( [impressions] => 11796 [words] => купить диван +в спб недорого ) [25] => Array ( [impressions] => 11736 [words] => купить детский диван ) [26] => Array ( [impressions] => 11686 [words] => купить угловой диван недорого ) [27] => Array ( [impressions] => 11598 [words] => купить спальный диван ) [28] => Array ( [impressions] => 11365 [words] => купить диван +в минске ) [29] => Array ( [impressions] => 11168 [words] => купить кожаный диван ) [30] => Array ( [impressions] => 10760 [words] => купить диван +в екатеринбурге ) [31] => Array ( [impressions] => 10721 [words] => диван книжка купить ) [32] => Array ( [impressions] => 10403 [words] => купить диван спальным местом ) [33] => Array ( [impressions] => 10176 [words] => купить диван еврокнижка ) [34] => Array ( [impressions] => 9771 [words] => мебель купить диван ) [35] => Array ( [impressions] => 9456 [words] => купить диван трансформер ) [36] => Array ( [impressions] => 9247 [words] => купить диван +в москве распродажа ) [37] => Array ( [impressions] => 8978 [words] => купить диван +на кухню ) [38] => Array ( [impressions] => 8954 [words] => купить диван +с доставкой ) [39] => Array ( [impressions] => 8781 [words] => диван недорого купить +в магазине ) [40] => Array ( [impressions] => 8726 [words] => купить ортопедический диван ) [41] => Array ( [impressions] => 8708 [words] => купить диван со спальным местом ) [42] => Array ( [impressions] => 8386 [words] => купить раскладной диван ) [43] => Array ( [impressions] => 8214 [words] => купить прямой диван ) [44] => Array ( [impressions] => 8160 [words] => купить диван распродажа производителя ) [45] => Array ( [impressions] => 8152 [words] => купить диван +в спб +от производителя ) [46] => Array ( [impressions] => 8129 [words] => купить диван недорого +в интернет ) [47] => Array ( [impressions] => 8002 [words] => купить диван +в интернет магазине недорого ) [48] => Array ( [impressions] => 7845 [words] => купить угловой диван +в москве ) [49] => Array ( [impressions] => 7814 [words] => купить кухонный диван ) ) [phrasesAssociations] => Array ( [0] => Array ( [impressions] => 166393 [words] => недорогой диван ) [1] => Array ( [impressions] => 334155 [words] => угловой диван ) [2] => Array ( [impressions] => 50658 [words] => дешевый диван ) [3] => Array ( [impressions] => 5583 [words] => диван hoff ) [4] => Array ( [impressions] => 38596 [words] => диван еврокнижка ) [5] => Array ( [impressions] => 70738 [words] => диван распродажа ) [6] => Array ( [impressions] => 261011 [words] => мягкий мебель ) [7] => Array ( [impressions] => 41784 [words] => диван прямой ) [8] => Array ( [impressions] => 170507 [words] => диван цена ) [9] => Array ( [impressions] => 61144 [words] => диван аккордеон ) [10] => Array ( [impressions] => 824487 [words] => шкаф купе ) [11] => Array ( [impressions] => 55671 [words] => диван производитель ) [12] => Array ( [impressions] => 650078 [words] => купить кровать ) [13] => Array ( [impressions] => 186016 [words] => диван кровать ) [14] => Array ( [impressions] => 474379 [words] => много мебель ) [15] => Array ( [impressions] => 19722 [words] => недорогой угловой диван ) [16] => Array ( [impressions] => 134886 [words] => диван москва ) [17] => Array ( [impressions] => 37230 [words] => диван книжка ) [18] => Array ( [impressions] => 140283 [words] => диван каталог ) [19] => Array ( [impressions] => 141 [words] => угловой ортопедический диван кровать ) ) [lastUpdate] => 1531094400 [nextPageExists] => 1 )
github.com
Как правильно парсить в Вордстат: обзор программ для анализа поисковой выдачи
Парсинг выдачи Яндекса – это процесс сбора поисковых запросов по заданной тематике (с помощью базовых маркеров). С Yandex Wordstat Assistant можно легко получить основную информацию для формирования семантического ядра – поисковые запросы, количество показов в месяц по каждой фразе, а также схожие по тематике слова, помогающие расширить охват целевой аудитории. Парсер Wordstat позволяет получить информацию по словам и по регионам, при этом система ориентируется именно на сайты.
Если хотите выполнить расширенный поиск, включающий не только Яндекс, но и социальные сети и другие поисковые системы, необходимо воспользоваться универсальными инструментами, например, A-Parser. Этот программный продукт отличается удобством в работе, но для эффективной работы с ним нужно купить прокси для парсинга.
В какой среде бы Вы ни работали, используйте универсальную схему сбора семантического ядра:
- формирование базового списка маркеров (запросов, однозначно релевантных сайту);
- сбор ключевых слов;
- удаление «мусора» — ненужных и случайно попавших в список запросов;
- кластеризация ключевиков по разделам сайта или тематикам.
Рассматриваем основной алгоритм работы с Вордстат и парсим Яндекс для сбора семантики на примере сайта агентства недвижимости. Допустим, нам нужно составить перечень релевантных ключевых запросов, соответствующих базовому маркеру «аренда квартир».
- Вводим базовый маркер в поисковую строку Яндекс Вордстат.
- При необходимости устанавливаем регион для более точного отбора запросов (например, Москва или Санкт-Петербург).
- В полученных результатах поиска используем значок «+» для выгрузки в таблицу Excel.
- Выгружаем полученные данные через буфер обмена (инструмент «A-Z»).
Совет! Обращайте внимание на подсказки типа «вместе с этим ищут» в соседнем поле выдачи результатов парсинга – это поможет вам охватить больше аудитории при составлении SEO-контента.
Чтобы облегчить себе задачу по ручному парсингу, используйте операторы Яндекс. Например, поставив в конце поисковой фразы знак «!», вы зафиксируете окончание поискового запроса, и система будет искать слова именно в этой словоформе. Оператор «-» (минус) позволит убрать лишние слова, а квадратные скобки «[ ]» — зафиксировать порядок слов в запросе.
Советы и рекомендации по использованию программ для парсинга
Специалисты советуют сочетать ручной и автоматический выбор запросов для составления семантического ядра, особенно для новичков. Пользуясь штатным инструментом Яндекс Вордстат Ассистент, вы нарабатываете навыки интуитивного подбора поисковых фраз, которые приводят на сайт целевых клиентов с помощью средне- и низкочастотных ключей. Высокочастотные фразы не всегда работают, особенно в конкурентной нише.
Если у вас нет времени на ручной парсинг в Яндекс Вордстат, используйте специальные инструменты. В интернете можно найти различное программное обеспечение, но большинство русскоязычных специалистов по SEO-оптимизации делают парсинг выдачи Яндекса с помощью Key Collector.
Это десктопный продукт, позволяющий создавать и хранить в локальной памяти компьютера проекты для каждого сайта, загружать и сохранять файлы и делать парсинг ключевых слов в соответствии с региональными настройками. Программа требует привязки к аккаунту. Для работы с ключевыми поисковыми запросами в Кей Коллекторе имеются пиктограммы основных поисковых систем в Рунете (в нашем случае это Yandex-парсер, хотя можно выбрать Google, Bing и другие).
Среди других полезных сервисов для SEO такие:
- Serpstat – многофункциональная платформа для профессионалов, имеющая триальную версию с ограниченным функционалом, а также платную подписку от 19 до 299$ в месяц;
- Ahrefs – веб-сервис с множеством полезных опций, включая мониторинг ниши, анализ конкурентов и улучшение индексации сайта. Для сбора семантического ядра предусмотрен инструмент Keywords Explorer. Протестировать его можно от 7$ в неделю;
- Semrush — аналог Ahrefs по части функционала, более дорогой по тарифам (от 99$ и выше).
Специалисты утверждают, что Кей Коллектор – это самая удобная и функциональная программа, позволяющая значительно облегчить жизнь оптимизатора. У нее есть множество полезных опций для точной настройки параметров парсера Yandex (например, глубины поиска, избирательного поиска запросов по базовой частотности и т.п.).
Но у программы есть нюанс – она платная. Стоимость лицензии составляет 1800-1900 рублей по электронному и безналичному расчету соответственно.
Совет! Если по какой-то причине вы не хотите пользоваться этим продуктом, можете попробовать его бесплатный аналог «Словоёб». Подойдет и более простой вариант — Букварикс – бесплатный сервис для сбора ключевых слов и формирования семантического ядра.
Парсинг Яндекс Вордстат можно делать самостоятельно и с помощью специальных программ. Ручной сбор посредством инструмента Wordstat Assistant оправдывает себя в том случае, если ваша ниша имеет узкую направленность и мало конкурентов, а перечень поисковых запросов относительно невелик. При больших объемах работ рекомендуется пользоваться специальными программами для парсинга и аналитики.
proxy-sale.com
// вбиваем ключевое слово, по которому хотим парсить $key = “бабло”; $key = urlencode($key); // открываем бесконечный цикл, когда слова кончатся мы его прервём for ($k = 0; $k > -1; $k = $k+50) { $url = “http://direct.yandex.ru/stat/wordsstat.pl?checkboxes=0 //перенёс строчку, сбивается разметка &key=&pg=$k®ions=&rpt=ppc&shw=1&text=$key&tm=”; sleep (2); // задержка в секундах, чтобы особо не палиться // дальше функции для работы с Curl, описывать не буду каждую // гугл в помощь $ch = curl_init (); curl_setopt ($ch , CURLOPT_URL , $url); curl_setopt ($ch , CURLOPT_USERAGENT , “Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU; rv:1.7.12) Gecko/20050919 Firefox/1.0.7″); curl_setopt ($ch , CURLOPT_RETURNTRANSFER , 1 ); $content = curl_exec($ch); // здесь загруженная страница curl_close($ch); // на всякий случай для правильной кодировки echo “<meta http-equiv=’Content-Type’ content=’text/html; charset=utf-8′ />”; // а вот тут самое интересное: если на странице нет точного “>следующая” // то значит у Яшки кончился словарный запас и он нам больше нафиг не нужен // выходим из цикла // а если нет вхождения, то парсим дальше if (!stristr($content,”>следующая”)) { // preg_match_all — используем регулярные выражения и выдираем нужное // Если не забьёте на это дело, то ОБЯЗАТЕЛЬНО разберитесь // как они работают // офигенно мощный и незаменимый инструмент // $matches[1][$i] — все ключи //$matches[2][$i] — частота слов preg_match_all(”/<td><a href=”.*”>(.*)</a></td>.*<td align=”right”>(.*)</td>/isU”, $content, $matches, PREG_PATTERN_ORDER); //выводим массив с ключами for ($i = 0; $i < count($matches[1]); $i++) { echo $matches[1][$i].”<br>”; } echo “Все, слова кончились и выходим”; break; } else { preg_match_all(”/<td><a href=”.*”>(.*)</a></td>.*<td align=”right”>(.*)</td>/isU”, $content, $matches, PREG_PATTERN_ORDER); for ($i = 0; $i < count($matches[1]); $i++) { echo $matches[1][$i].”<br>”; } } }
www.seoded.ru
Что такое Словоеб — пара слов для новичков
Настройка рекламы в интернете часто делается через так называемые «ключевые слова». Это запросы, которые пользователи вводят в поисковые системы, чтобы найти то, что им надо. И мы используем эти ключевые слова для того, чтобы показывать конкретным людям нашу конкретную рекламу.
Например, для настройки контекстной рекламы Яндекс-Директ нам надо подобрать запросы, по которым будет показываться наша реклама над результатами поисковой выдачи. Для SEO нам тоже надо правильно подобрать ключевой запрос, под который мы будем оптимизировать нашу статью, чтобы она вышла в ТОП Яндекса или Гугла.
Для подбора ключевых слов вы можете использовать общедоступный сервис Вордстат от Яндекса. Но там вся работа происходит вручную, и отнимает много времени и сил. Соответственно, умельцы придумали специальные программы — парсеры. Эти программы в автоматическом режиме посылают запросы к Яндекс-Вордстат и показывают вам результаты. Это называется парсинг.
При правильном обращении с такими программами, вы можете собрать тысячи ключевых слов буквально за 10-15 минут. Вручную вы бы потратили на это недели.
Самые известные программы парсеры на сегодняшний день — это КейКоллектор и Словоеб. Словоеб, кстати, был первым. Потом к нему добавили разные функции и начали продавать за деньги под именем «КейКоллектор». Но Словоеб остался, и вы можете его совершенно бесплатно скачать с официального сайта.
Кстати, сейчас это уже Словоеб 2.0 — улучшенный и дополненный. Его интерефейс практически ничем не отличается от КейКоллектора. Только у последнего больше настроек для SEO продвиженцев. Но для обычных смертных функций Словоеба хватает с избытком.
Как я уже писал выше, единственная сложность со Словоебом — это его настройка. И если вы уже скачали и установили программу — давайте сразу перейдем к настройке.
Быстрая настройка программы Словоеб
Существует огромное количество вариантов настройки программы Словоеб. Я лично видел только штук пять или шесть. Но вот что удивительно. Все эти настройки подразумевают покупку специальных «прокси-серверов», которые якобы призваны сделать работу программы быстрее и комфортнее.
Но в итоге все сводится к тому, что все сначала ищут рабочие прокси, потом ищут рабочие, но подешевле. Потом начинаются разборки, почему «рабочие» не работают. И все это вместо того, чтобы нормально работать.
В лучшем случае, после полной настройки через прокси, люди запускают программу работать, а сами уходят спать, потому что результат она им выдаст только часов через 5-6. Очень медленно.
Как и обещал, я вам здесь покажу свой вариант настройки, в котором вообще не надо использовать никаких прокси. Сам я этими программами пользуюсь уже лет пять, и ни разу никаких проблем не встречал. При этом программа даже сложные задачи выполняет очень быстро. То есть вы соберете несколько тысяч «ключей» буквально за 10-15 минут.
Общие настройки
Сначала давайте настроем общие параметры. Для этого зайдем в настройки программы.
У нас сразу открывается вкладка «Общие». И туда вам надо внести значения ТОЧНО ТАК, как показано у меня на скриншоте ниже.
Обратите внимание, у меня вкладки немного отличаются от того, что вы видите у себя в Словоебе. Это потому что я заскринил настройки из своего КейКоллектора. Но не переживайте, работают они совершенно одинаково, и настройки там одинаковые. Просто я не стал переписывать их в Словоеб.
А теперь давайте перейдем к настройке Вордстата.
Настройки парсинга Вордстат
Парсинг Яндекса-Вордстат — это главная функция этих программ. Поэтому тут надо быть особенно внимательными.
Открываем вкладку «Yandex.Wordstat» в настройках и начинаем вводить параметры, как показано у меня на скриншоте ниже. Параметров там много, и понимать их значение нам совсем не обязательно (у нас же «быстрая» настройка). У меня все настройки даже не влезли на один скриншот.
Однако, в Словоебе их меньше, поэтому просто пропускайте те настройки, которых у вас нет.
А вот вторая часть настроек. Кстати, если когда-нибудь решите прикупить КейКоллектор, то вам пригодится.
Теперь можно перейти к более интересным настройкам, а именно — к Яндекс-Директу.
Настройка парсинга Яндекс-Директ
Эта функция нам нужна для того, чтобы собирать частотности типа «» и «!» (точные соответствия). Еще она нам показывает конкурентность запросов, если мы хотим их использовать для своей рекламы в Яндекс.Директ.
И именно здесь нам надо сделать одну важную вещь — настроить несколько «фейковых» аккаунтов Яндекса. Мы будем работать через них, а не через прокси.
Яндекс довольно лояльно относится к различным парсерам, понимая, что с помощью этих программ мы хотим повысит качество нашей рекламы. А наш успех — это успех Яндекса (он так будет больше зарабатывать на нашей рекламе). Поэтому он сильно не сопротивляется.
Но тем ни менее, если вы будете использовать парсер через собственный аккаунт, то он вас забанит. Поэтому мы создаем 10 (не меньше!) новых аккаунтов в интерфейсе Яндекса и вводим настройки вот сюда.
Обратите внимание, мы вводим значения вот в таком формате — «вашлогин:вашпароль». Когда будете создавать новые аккаунты, старайтесь давать им человекоподобные названия. Потому что если вы в качестве имени пользователя введете что-то типа «ldshfldfjd», то Яндекс будет гораздо чаще показывать вам капчу, и работа будет идти гораздо медленнее.
Новые аккаунты создаются просто в почте Яндекса — вводите свое имя, пароль, и вперед.
А вот вторая часть настроек парсинга директа
Вводите все точно так, как показано у меня, и переходите к настройке антикапчи. Это очень интересная штука.
Настройка антикапчи
Как я уже писал выше, время от времени Яндекс будет показывать (а точнее вашему парсеру) так называемую капчу — полупрозрачные буковки и циферки, которые надо ввести в специальное поле, чтобы доказать, что вы — не робот.
Но мы и есть робот. И чтобы постоянно вручную не вводить все эти циферки, я настоятельно рекомендую вам зарегистрироваться в сервисе Анти-капча. Этот сервис будет автоматически распознавать капчи, и вам вообще не придется ничего делать.
Сервис этот не бесплатный, но очень недорогой. Лет пять назад я закинул на него 15 долларов, и у меня до сих пор осталось 6 долларов, хотя пользуюсь я КейКоллектором довольно часто.
После регистрации в сервисе и оплаты, вы получите свой уникальный ключ, который надо будет ввести вот сюда.
После этого ваша программа будет работать плавно и быстро. Встречаются как-то два робота — Яндекс и Словоеб. Яндекс спрашивает — «Ты не робот?» Словоеб отвечает — «Я не робот». И все опять идет нормально.
Последнее, что нам надо настроить — это вкладка экспорта.
Настройка экспорта
Тут настроек не так много, и они не такие интересные. Мы просто настраиваем программу так, чтобы она выводила полученные результаты в виде удобной таблицы excel.
Теперь наша программа полностью готова к работе. И давайте посмотрим, как правильно пользоваться Словоеб, чтобы получать наилучший результат.
Как правильно пользоваться Словоеб
Если вы не против, то я буду показывать процесс работы опять-таки с помощью скриншотов из КейКоллектора. Конечно же вы не против. И давайте тогда рассмотрим например, как собрать ключевые слова для настройки Яндекс-Директа.
Парсинг базового ключа
Первым делом нам надо распарсить наш базовый ключ. Допустим, мы настраиваем рекламу для доставки пиццы на дом. Нашим базовым ключом в этом случае будет «доставка пицца» или просто «пицца». Но ввести просто «пицца» — значит обречь себя на долгую ручную чистку списка ключей от всяких «рецептов пиццы в домашних условиях».
Поэтому давайте возьмем «доставка пицца». Создайте новый проект, и перед началом работы обязательно укажите регион, в котором вы собираетесь рекламироваться.
Если это вся Россия, то ничего не меняйте.
Теперь мы нажимаем на кнопочку парсинга Вордстат и вводим наш базовый ключ.
Программа начинает работать, а мы можем пока перекурить и оправиться.
Через некоторое время все процессы остановятся — значит парсинг завершен. И мы увидим список ключевых слов, которые нам подобрал Словоеб.
Но при этом он нам показывает только «базовую частотность». То есть мы видим не точное количество запросов в месяц того или иного ключа, а общее количество запросов основного ключа + хвост.
Например, в списке, выданном Словоебом есть основной ключ «Телефон доставки пиццы». И значение — 6560 запросов в месяц. Это значит 1000 запросов «телефон доставки пиццы» + еще 1000 запросов «телефон пицца доставка» + еще и еще.
А нам нужны точные значения, иначе мы никогда не сможем прогнозировать — какое количество трафика в месяц мы получим, и сколько мы с этого сможем заработать.
Поэтому переходим ко второй части парсинга — к Директу.
Узнаем точное количество запросов
Для того, чтобы узнать точное количество запросов к каждому ключу, мы нажимаем на синий значок Яндекс-Директа.
Обратите внимание на галочку «Целью запуска является сбор частотностей для колонок Вордстата». То есть в основном эта функция как раз и используется для того, чтобы узнать точные показатели запросов.
Конечно, он вам может показать еще стоимость клика по тому или иному запросу в Директе, но я никогда этим не пользуюсь. Слишком большая нагрузка на программу, и слишком неточные получаются результаты.
Если вам нужны данные по точной словоформе, то можно еще поставить галочку в поле «!». После этого нажимаем «Получить данные» и опять отправляемся пить кофе.
Вот что теперь мы имеем:
Как вы видите, наш такой перспективный ключ «телефон доставки пиццы» запрашивают на самом деле не шесть тысяч раз в месяц, а всего 22 раза в месяц. А мы-то уже губы раскатали.
Теперь, когда у нас есть объективные результаты, мы можем переходить к следующим этапам настройки. Это будет фильтр слов. То есть нам надо удалять те ключевые запросы, которые нам явно не подходят. Делать это можно прямо в интерфейсе Словоеба, или можете сначла выгрузить результаты в эксель и работать там. Давайте рассмотрим второй вариант.
Экспорт результатов
Для того, чтобы выгрузить полученные данные, нажмите на значок «эксель» в левом верхнем углу интерфейса, и укажите, куда надо сохранить файл.
Когда вы откроете файл, то увидите примерно вот такую картину:
Теперь вы можете спокойно удалять ненужные ключевые запросы, оставляя только те, по которым к вам точно придут клиенты. После этого вам еще надо будет создать рекламные объявления для каждого запроса. Об этом мы уже говорим подробнее в статье «Как самому настроить контекстную рекламу».
Заключение
С помощью программы Словоеб вы можете собрать тысячи ключевых слов буквально за 10 — 15 минут. Вручную вы бы потратили на это несколько дней, а может быть и недель.
Надеюсь, что эта статья поможет вам быстро совладать с этим парсером, и вы начнете сразу начнете делать профессиональные рекламные кампании самостоятельно.
Сохраняйте статью в закладки, чтобы не потерять, и делитесь с друзьями. Мне это будет приятно. Не забудьте скачать мою книгу «Автостопом к миллиону». Там я показываю вам самый быстрый путь с нуля до первого миллиона в интернете (выжимка из личного опыта за 10 лет = )
books.project-stroeva.ru
Понятно, что перед тем как продвигать сайт, нужно определиться с ключевиками. Подбор ключевых слов это не сложный, но кропотливый труд. Для того же чтоб найти что-то стоящее, нужно перелопатить кучу данных. Поэтому здесь не обойтись без средств автоматизации процесса. В данной заметке я хочу остановиться на создании PHP парсера данных с wordstat Яндекс.
И так. Основная проблема при парсинге данных с сервиса статистики ключевых слов wordstat Яндекс заключается в наличии капчи. Обойти ее не так уж и сложно. Достаточно передать в запросе куку fuid01, генерируемую при обработки капчи. Другими словами, вам понадобится зайти на сервис, сделать запрос, указав символы с картинки и получить содержание требуемой куки.
Как получить содержание куки fuid01 в браузере Firefox?
Т.к. я не собираюсь замахиваться на эпосы и прочие великие труды человечества, то опишу лишь процесс получения содержания куки fuid01 в браузере Firefox (использую версию 8.0). В общем, запускаем Firefox. Считаем, что запрос в wordstat уже сделан и кука создана. Жмем кнопку «Firefox» в левом верхнем углу окна браузера. В меню выбираем: Настройки > Настройки (я ничего не путаю).
В открывшемся окне «Настройки», переходим на вкладку «Приватность». Здесь нас интересует блок «История». Выбираем в списке Firefox «будет использовать ваши настройки хранения истории» и жмем появившуюся кнопку «Показать куки…».
В окне «Куки», в поле «Поиск» введите имя интересующей нас куки, т.е. «fuid01». В списке должно отобразиться найденное. Выберите одну из предложенных кук и в поле информации, выделите и скопируйте ее «Содержимое».
Как работать с PHP парсером wordstat Яндекс
Бесплатно скачать PHP парсер wordstat Яндекс можно здесь. Сразу скажу, что это лишь пример, работа которого заключается в парсинге ключевых слов и выводе их на экран, но все по порядку.
Первое, что вам надо понять – все данные представлены в кодировке UTF-8. Так что если что не забудьте сконвертировать данные. Более того, на некоторых серверах с этим может возникнуть проблема, подробней читайте тут. Следующий нюанс заключается в том, что для работы скрипта понадобится поддержка cURL. В остальном все достаточно просто.
Содержание куки fuid01 мы присваиваем переменной $fuid01. По сути, это значение задается в curl_setopt() через CURLOPT_COOKIE, но для удобства я вывел его отдельно. Далее нас интересует массив $params — это переменные, передаваемые в запросе к wordstat Яндекс. В качестве примера я ограничился простейшим вариантом, так что обошлось без динамики. В частности, парсится только первая страница выдачи: 'page' => 1, значение text получается через GET, ну а для региона выбрана Москва: 'geo' => 1.
Понятно, что идентификатор региона, в случае если нужен другой, придется уточнять. Для этого заходим на wordstat Яндекс, кликаем ссылку «Уточнить регион…» и выбираем требуемое.
Сделав запрос, в URL надо посмотреть значение требуемого параметра. Следует отметить, что если выбрано более одного региона, их идентификаторы будут перечислены через запятую.
Дальше идет запрос к сервису статистики и парсинг данных wordstat Яндекс. Последнее имеет один небольшой нюанс. Дело в том, что wordstat Яндекс выводит статистику в виде двух таблиц: «что искали со словом…» и «что еще искали люди, искавшие…» — я же использовал только первую. Впрочем, там нет ничего сложного. Регулярные выражения достаточно простые. Думаю, разберетесь. Удачи!
wmas.msk.ru
Парсинг Вордстат
Начинаем парсить вордстат. Жмем кнопки как на скрине, в поле добавляем список полученных запросов для парсинга. Обратите внимание, что в парсинг вордстата лучше добавлять предварительно составленные исходные слова со знаками плюс (+) перед предлогами. При парсинге остальных сервисов плюсы нужно убирать.
Парсинг Гугл Адвордс
Предварительно регистрируемся в Гугл Адвордс. При парсинге программа обращается к сервису https://adwords.google.com/ko/KeywordPlanner/
Вручную через интернет эксполрер открываете этот сервис, устанавливаете ваше местоположение.
При настройке парсинга выбираете либо «Не менять настройки аккаунта» — тогда будет учитываться местоположение. Либо выбираете «Без учета местоположения».
Я в основном использую «Без учета местоположения», после ненужные ключевые слова все равно отфильтровываются. В каких-то частных случаях можно использовать местоположение (возможно, при рассчете бюджетов на контекстную рекламу в регионе).
Поисковые подсказки
Очень много хороших запросов собирается через поисковые подсказки. Через них собираются запросы длиннее 7 слов (которые например в Яндекс Вордстат не отображаются). Встречаются очень траффиковые запросы длиннее 7 слов, поэтому я рекомендую собирать все.
В целом тут все просто, только не рекомендую собирать подсказки с Ютуба.
Сервис Sape.Wizard
Дает немного хороших ключей. Тут есть 2 интересующие нас функции — «Сбор расширений ключевых фраз» и «Анализ доменов».
В сбор расширений ключевых фраз пихаем начальный список запросов. Жмем «начать сбор».
После того как сбор закончится можно использовать «Анализ доменов» — берем топовые сайты в вашем регионе, вставляем, жмем «Начать сбор». Сервис подберет тематичные ключевые слова.
Сервис Rookee
Тут почти так же как с Wizard.Sape. Сначала включаем «Сбор расширений ключевых фраз».
Потом «Составление семантического ядра».
Остальные сервисы
Есть еще Рамблер Адстат (иногда не работает, дает мало ключей), Майл Ру — тоже дает мало ключей. Их тоже стоит использовать, думаю что не нужно отдельно пояснять как их парсить — вставляем исходные ключи, жмем «Начать сбор».
Платные сервисы — SpyWords, SEMRush, Мутаген и Серпстат. Их не буду рассматривать т.к. ключей они дают не намного больше и эта статья нацелена на то, чтоб с относительно небольшими затратами собрать побольше запросов.
Остальные источники запросов
Яндекс Метрика
Если у вас в аккаунте есть сайт нужной тематики — можно выгрузить оттуда ключевые слова.
Если делать вручную. Заходим в дашборд своего сайта. Жмем «Отчеты — Стандартные отчеты — Источники — Поисковые фразы». Выбираем побольше период. Если сайт моложе года, то просто жмем «Год». Если старше — вручную выбираем больший период.
Получаем табличку, из которой берем фразы и вручную добавляем список в Кей Коллектор.
Если через Кей Коллектор.
Жмем иконку. Нужно авторизоваться в Яндексе, затем выбираем площадку откуда хотим скачать ключевые фразы, выбираем период побольше, жмем «Получить данные».
Яндекс Вебмастер
Заходим в аккаунт, выбираем интересующий сайт. Жмем «Поисковые запросы», жмем «История запросов», жмем вкладку «Популярные запросы». Выбираем период дат побольше.
Внизу будет кнопка «Архив» — кликаем, скачивается архив запросов по которым сайт имел видимость за выбранный период.
Файл будет формата .csv. Если у кого-то через Эксель открываются кракозябры, то открываем файл через Notepad++, меняем кодировку файла на ANSI, открываем снова в Экселе — должно стать все нормально.
Чтоб выделить именно запросы без всякой левой информации в Экселе выбираем вкладку «Данные», там жмем иконку «Текст по столбцам» и разбиваем на столбцы с разделителем запятая. Получим отдельно столбик с фразами, которые добавляем в Кей Коллектор.
Google Search Console
Если вы добавляли сайт в Гугл, то там тоже можно скачать немного запросов. Идем сюда https://www.google.com/webmasters/tools/search-analytics, выбираем нужный сайт, ищем «Анализ поисковых запросов», выбираем период дат побольше. Внизу будет кнопка «Скачать».
Тоже возможны неудобства с кодировкой — делаем все как описано выше с ключами из Яндекс Вебмастера.
Базы ключевых слов
Еще один хороший источник поисковых запросов — базы ключевых слов. Самая крутая на мой взгляд из бесплатных — Букварикс. Из платных есть базы Пастухова, МОАБ, Амазин Кейвордс и другие.
nigilist.pro