Проверка сайта google

Сегодня на sitesnulya.ru мы изучим вопрос, как проверить какие страницы сайта проиндексированы поисковой системой Google, а какие нет и почему.

Напомним, сначала нужно зарегистрировать сайт в поисковых системах, чтобы они начали его индексировать. Можно этого не делать и со временем поисковики сами найдут ваш проект, но это будет не оправдано долго.

Процесс индексации нового ресурса происходит не мгновенно. Что бы ускорить — необходимо создать файл robots.txt для поискового робота, а также  xml карту сайта, и указать на них поисковой системе. В Гугл для этой цели используется панель вебмастера Google. Именно работая с ним, вы сможете повлиять на наличие определенных страничек своего сайта в поиске.

Какие страницы проиндексировал google

Для вебмастера есть несколько способов определить проиндексированные страницы в  Google.

Самый простой — это ввести в поисковую систему «site:ваш_сайт.ru». Здесь вам будут представлены все страницы, которые поисковый робот нашел на вашем сайте. Тут могут быть даже те, которые заблокированы файлом robots.txt.

Обратите внимание, что результатов поиска может быть гораздо больше, чем количество реальных ваших страниц на сайте. Сюда добавляются заблокированные страницы роботс.тхт, дубли страниц. В обычном состоянии они будут в так называемом «дополнительном индексе», то есть при поиске обычными пользователями, они не участвуют в выдаче.

Но нужно быть осторожными:

• во-первых, большое количество дублей и мусорных страниц могут дать сигнал Гуглу, что ваш ресурс не качественный, а значит существенно понизить в выдаче нормальные страницы;
• во-вторых, в дополнительный индекс могут угодить и хорошая страница в силу различных причин, а значит она не будет повышать вам релевантность и привлекать новых посетителей.

Есть и другой способ более подробно изучить «кухню» Google и узнать какие страницы им проиндексированы.

Проверка проиндексированных страниц сайта — панель инструментов вебмастера Гугл

Каждая поисковая система имеет свои специальные «кабинеты», где владельцы сайтов могут отслеживать ситуацию со своими сайтами, а также влиять на неё. Для Google — это Search Console. Мы уже рассматривали довольно подробно эту панель вебмастера Гугл, но сегодня обратим внимание конкретно, на то, что поможет нам узнать проиндексированные страницы, а также те, что были заблокированы.

Итак, когда вы входите в Панель инструментов, еще не выбирая конкретное меню, вам показывают общую короткую сводку по сайту.

Слева вы увидите проиндексированные страницы Google. Это те, которые системе показала xml карта сайта — sitemap.

 

Можно нажать на «Файлы Sitemap» и увидите график динамики индексации, а также предупреждения. У нас предупреждения связаны с тем, что две ссылки из sitemap запрещены к индексации в robotx.txt.

Далее вы можете более подробно посмотреть как Гугл видит каждую отдельную страницу, которую проиндексировал — «Вид в поиске» — «Структурные данные». Здесь также можно понять, какие ошибки поисковый робот находит на некоторых участках вашего ресурса. А следовательно и исправить.

Более интересный пункт меню «Индекс Google». Тут вам показывают сколько всего проиндексировано страниц, а если нажать на «Расширенные данные», то и сколько заблокировано файлом роботс.тхт.

Во вкладке меню «Заблокированные ресурсы» — смотрите что именно было блокировано. Если находите страницы, которые не нужно закрывать от индексации — нужно исправлять robots.txt.

Как вы поняли, именно этот файл и играет главную роль в определении, какие страницы будут индексироваться, а какие нет.

sitesnulya.ru

1. Проверьте индексацию в панели вебмастеров

Это базовый способ проверки для вебмастера или владельца сайта.

Google. Необходимо зайти в Search Console и на вкладке «Индекс Google» выбрать «Статус индексирования».

Yandex. Проходим авторизацию в Яндекс.Паспорт, заходим в Яндекс.Вебмастер и переходим по пути «Индексирование сайта» — «Страницы в поиске». Еще один вариант: «Индексирование сайта» — «История» — «Страницы в поиске». Здесь можно посмотреть динамику изменения количества страниц в поиске.

Чтобы использовать этот метод, у вас должен быть определенный уровень доступа в панель вебмастера. Пример хорошего индексирования сайта. Количество качественных страниц растет, и они добавляются в индекс. Проблемы с индексацией выглядят так:

На скриншоте — сайт, закрытый от индексации в файле robots.txt

Хотите узнать больше о поисковом продвижении? Подписывайтесь на рассылку:

Наши подписчики всегда получают больше.

2. Используйте операторы в поисковых запросах

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:[url вашего сайта]».

Иногда большая разница между результатами в Google и Яндекс свидетельствует о наличии проблем с сайтом.

Например, сайт cubing.com.ua находится под фильтром АГС.

Используя дополнительные инструменты поиска, можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

3. Используйте плагины и букмарклеты

Плагины и букмарклеты (небольшие javascript-программы, сохраняемые как браузерные закладки) — автоматизированный вариант проверки. В данном случае не надо открывать поисковик отдельно и вводить что-либо в поиск.

Это делают плагины и скрипты:

На скриншоте — плагин RDS bar для Google Chrome. Возможности RDS bar для Mozilla Firefox еще круче. С помощью плагина можно проверить индексацию текущей страницы и общий индекс всего сайта. Но в бесплатных вариантах капча не даст спокойно работать 🙂

Букмарклет «Проверка индексации». Перетащите ссылку из открытого файла на панель закладок. Дальше просто откройте нужный сайт и нажмите на эту закладку. Откроется новая вкладка с Google или Яндекс и нужными данными в выдаче.

4. Установите сервисы для проверки индексации

Это маленькие помощники SEO-специалистов. Их множество. Например, связка Netpeak Spider и Netpeak Checker.

Netpeak Spider позволяет просканировать весь сайт. Плюс в том, что вы получаете не только информацию о количестве страниц в индексе, но и список этих страниц, а также много дополнительных данных: каноникал, код ответа, название, заголовки, метаописания, мета роботс, robots.txt, редиректы, внутренние и внешние ссылки и другие. Также программа предупреждает об ошибках в этих данных.

Как только список всех URL сайта был получен, его можно загрузить в Netpeak Checker и уже проверить непосредственно на факт индексации поисковыми системами.

Почему не индексируется сайт?

1. Новый сайт. Иногда нужно просто подождать. Страницы в индекс не попадают все и сразу. Часто этот процесс растягивается на несколько месяцев.

2. Нет карты сайта (sitemap). Качественная карта сайта поможет поисковым роботам быстрее просканировать и проиндексировать ваш сайт. Ссылку на карту нужно добавить в панель вебмастеров.

3. Ошибки на сайте. Панели вебмастеров регулярно оповещают владельцев сайтов об ошибках. Заметили проблему в индексации? Смотрите, какие ошибки находит робот, и исправляйте их.

4. Ошибка с метатегом robots. Частая ошибка при несознательном изменении настроек CMS или хостинга. В коде страниц сайта появляется следующая строка:

5. Ошибка с robots.txt. Часто советуют закрывать в robots.txt всё ненужное. Особенность файла robots.txt в том, что один лишний символ может открытый для индексации сайт превратить в закрытый. Даже если вы правильно закрыли часть сайта, ненароком можно было зацепить нужные вещи, которые находятся глубже. Ваш сайт закрыт от индексации, если вы видите у себя в robots.txt эту конструкцию:

User-agent: * Disallow: /

Выводы

Цель владельца сайта — чтобы все страницы, открытые для индексации, были в индексе поисковой системы. Достичь этого сложно. К тому же важно следить за процессом занесения страниц в индекс: резкие изменения в положительную или отрицательную сторону — сигнал о проблеме. Мы описали четыре способа проверки индексации страниц сайта:

1. В панелях вебмастеров Google и Яндекс.
2. С помощью поискового оператора «site:».
3. С помощью плагинов, вроде RDS bar, и буркмарклетов.
4. В специальных сервисах, например, Netpeak Spider.

Часто дело не в индексации, а в подходе к оптимизации. Хотите индексироваться и ранжироваться — отвечайте на запрос пользователя лучше всех. В таком случае все описанное выше понадобится только для фиксации хорошего результата.

Держите таблицу, с помощью которой я работаю с индексацией сайтов. Как работать с таблицей?

1. Сделать копию.
2. Выбрать доменную зону.
3. Загрузить в столбец А список URL-адресов.
4. Подождать результатов (чем больше адресов, тем дольше надо ждать).

В итоге получаем приблизительно такую картину:

Затем можно выделить столбцы B, C и скопировать данные на соседние два столбца. Так вы сохраните результаты на текущую дату для сравнения с результатами индексации через определенное время. А вот еще одна таблица для фиксации результатов выдачи по оператору «site:» для Yandex. Инструкция проста:

1. Выбрать доменную зону.
2. Выбрать регион.
3. Ввести запрос (адрес сайта).
4. Поставить «1», если хотите получить адрес и заголовок.
5. Ввести количество страниц выдачи, которые вы хотите сохранить (от 1 до 100).

С помощью этой таблички я не раз находил проблемные Title или лишние страницы в индексе.

netpeak.net

Как скорость сайта влияет на ранжирование

Плохая скорость загрузки сайта образует комплекс проблем, где явные и скрытые аспекты оказывают существенное влияние на ранжирование ресурсов в выдаче. Среди очевидных причин потери позиций и невозможности эффективного продвижения значатся поведенческие факторы: время ответа сервера не всегда учитывается при анализе, но оно напрямую влияет на bounce rate (показатель отказов). Высокое время ожидания ведет к большому количеству покинувших сайт после просмотра 1 страницы, что принимается во внимание Яндексом.

Более тонко подошел к ситуации Гугл: в результате проведенного в 2009 году исследования выяснилось, что незначительное увеличение времени ожидания при поиске со 100 до 400 мс снижает количество запросов от одного пользователя на 0.2-0.6%. Данный губительный «эффект» сохраняется даже после восстановления исходных значений скорости. Вывод очевиден: при наличии в выдаче «медленных» сайтов Google теряет клиентов, что ведет к финансовым потерям компании. В этой связи с 2010 года поисковый гигант учитывает время загрузки сайтов при ранжировании.

Хорошая скорость загрузки – это сколько?

При оценке скорости загрузки страницы во внимание принимаются различные данные отклика страниц, скорости и времени самой загрузки при использовании ПК или мобильных устройств. На примере анализа топовых интернет-магазинов можно наглядно увидеть ключевые показатели:

На сегодняшний день скорость загрузки подразделяют на:

• Среднюю  –  2 секунды,
• Медленную  –  > 3-4 секунд,
• Нормальную  –     1 секунды.

Почему нельзя анализировать только главную страницу

Любой веб-сайт –  совокупность множества страниц и массив объединенных данных и файлов разных форматов. Восприятие ресурса и людьми, и поисковыми системами базируется на показателе общей скорости загрузки страниц, обеспечивающей комфортное использование сайта или препятствующей этому процессу.

Так же многие считают, что если главная загружается быстро — всё окей, забывая о том, что страницы каталогов может быть в разы тяжелее или отдельная страница может иметь несколько изображений по 1-2mb, что существенно снизит ее скорость загрузки. Потому рекомендую проверять ВСЕ страницы своего сайта.

Чтобы замерить скорость отдельных страниц или ресурса целиком, проще всего воспользоваться специальными сервисами, которые быстро проводят эффективный анализ.

ТОП сервисов для оценки скорости сайта

Существует большое количество инструментов, которые помогают проверить реальную скорость сайта. Полезные онлайн-сервисы обеспечивают выполнение глубокой проверки скорости загрузки сайта, где в ряде случаев в результате можно увидеть советы и практические рекомендации по снижению времени отрисовки страниц.

Google PageSpeed Insights

Адрес: developers.google.com/speed/pagespeed/insights
Инструмент для проверки скорости загрузки сайта от Гугл. Проводится анализ данных по «компьютерной» и мобильной версиям.  Отображаемая оценка по шкале от 0 до 100 отражает текущее состояние ресурса.

По результатам теста Google Page Speed предлагает внести корректировки и приводит конкретные способы:

Gtmetrix

Адрес: gtmetrix.com

Зарубежный сервис для проведения тестов скорости загрузки сайта. Отличается предоставлением большого объема сопутствующей информации, опцией хранения результатов для будущего тестирования и оценки проведенных работ.

В список рекомендаций попадают наставления по улучшению показателей от Google и Yahoo, сортируемые по значимости. Проверить ресурс предлагается с использованием тестового канадского сервера.

WhichLoadFaster

Адрес: whichloadsfaster.co

Инструмент, позволяющий сравнить скорость загрузки 2 сайтов в режиме реального времени. Результат отражается в виде секунд (миллисекунд), а на экран выводится победитель «дуэли». Удобный способ сравнения сайта с конкурентами.

Сервис дает возможность проверить два любых ресурса и даже устроить «гонку» между двумя группам по 3 URL в каждой.

Pingdom Tools

Адрес: tools.pingdom.com

Функциональная система позволяет оценить быстроту работы сайта с параллельным выбором тестового сервера. Выводится информация о количестве запросов к серверу и усредненное время загрузки.

Финальный отчет содержит данные о процентном соотношении разных типов контента и их «весе»:

Приводятся предметные сведения о запросах:

Web Page Performance Test

Адрес: webpagetest.org

Инструмент осуществляет проверку в три этапа, выявляя среднюю скорость загрузки страницы и проверяя степень организации кэширования. Для каждого этапа формируется понятный график-отчет со скриншотами ресурса.

Окончательный результат включает отображение индекса скорости и других ключевых параметров. Проверка проводится с американского сервера в Далласе.

Load Impact

Адрес: loadimpact.com

Сервис работает по принципу «атаки» проверяемого сайта большим числом запросов генерируемых пользователей. Проверка помогает определить среднюю скорость загрузки и кривую ее изменения при наплыве посетителей.

Доступен широкий выбор инструментов для точной оценки параметров.

PR-CY

Адрес: pr-cy.ru/speed_test

Легкий и простой русскоязычный сервис. По итогам быстрой проверки для мобильной или «компьютерной» платформы отображаются результаты и советы по улучшению ситуации.

WebPage Analyzer

Адрес: websiteoptimization.com/services/analyze

Незамысловатая и эффективная система с простым интерфейсом, позволяющая узнать скорость загрузки страниц, стилей и скриптов с выводом отчета.

Monitis Tools

Адрес: monitis.com/pageload

Система предлагает провести проверку скорости загрузки с анализом данных при запросах с разных мест (стран, континентов) Земли. Отчет содержит полноценные графические сведения.

SiteSpeed.me

Адрес: sitespeed.me

Аналог Monitis, посылающий запросы с более чем 25 разных дата-центров со всего мира. Отображает скорость работы сайта для каждого сервера (места нахождения – США, Россия, Великобритания и т.д.).

Яндекс.Метрика

Адрес: metrika.yandex.ru

Интерфейс Яндекс.Метрики предлагает сервис группы «Мониторинг» – «Время загрузки страниц».

В рамках проверки оценивается быстродействие при загрузке, точное время отрисовки страниц, временные потери на переадресацию. Отчет помогает определить проблемные места и даже оценить конверсию ресурса.

romanus.ru

1. Google PageSpeed Insights

Инструмент оценки скорости загрузки страниц от Google. Показывает значение от 0 до 100 как для компьютеров, так и для мобильных устройств. Тут же указывает на слабые места сайта и дает рекомендации по оптимизации скорости.

2. Pingdom Tools

Дает оценку по скорости, показывает количество обращений к серверу и среднее время загрузки. В сводной таблице подробно отображет данные по каждому запросу к серверу (стили, скрипты, изображения и др). Легко оценить, что именно на сайте замедляет загрузку.

3. WhichLoadFaster

Загружаете два сайта для сравнения (себя и конкурента), визуально наблюдаете, кто загружается быстрее (удобно демонстрировать клиентам). В конце загрузки отображается информация, какой сайт выиграл и во сколько раз быстрее он загрузился.

4. Web Page Performance Test

Загружает страницу два раза, сравнивает количество обращений – выявляет, насколько хорошо организовано кеширование, показывает подробную статистику по каждому из тестов. Сохраняет скриншоты, как сайт выглядит на каждой секунде загрузки. Также в удобной форме демонстрирует, какая группа запросов заняла больше всего времени. Сервер находится в Далласе (США).

5. GTmetrix

Еще один полезный инструмент для теста скорости сайта. Отображает много сводной информации, также хранит историю, чтобы можно было сравнить, насколько улучшилась или ухудшилась скорость загрузки. Подгружает рекомендации Yahoo и Google для оптимизации скорости, сортируя их по приоритету. Тестовый сервер находится в Ванкувере (Канада).

6. Load Impact

Сервис тестирует, насколько сайт выдерживает нагрузку (легкий DDOS). Эмулируется несколько десятков пользователей и более сотни активных соединений. Так как тест длится несколько минут, то в это время нагрузки можно использовать и другие инструменты для оценки скорости загрузки страниц в час пик. По окончанию теста можно посмотреть график, как меняется скорость загрузки от количества активных пользователей.

7. Monitis Tools

Анализирует загрузку сайта с разных участков Земли — серверы в США, Европе и Азии. Отображает сводную статистику по каждому тесту.

8. SiteSpeed.me

Посылает запросы к анализируемой страницы с разных датацентров (около 30 серверов) и определяет скорость для каждого из них. Подсвечивает лучшие, худшие и средние показатели по времени и скорости.

9. PR-CY

Массовая проверка скорости сайта. Можно задавать до 10 адресов – сравнивая таким образом время загрузки и размер документа для каждого из ресурсов.

devaka.ru

Разбор и проверка скорости в testmysite.withgoogle.com

Все очень просто и понятно интуитивно, заходим по ссылке testmysite.withgoogle.com, и видим вот такую картину. Вводим в поле имя вашего домена.

Далее идет процесс сканирования сайта, и выдаются вот такие три цифры.

Что они обозначают подписано. Далее у нас есть возможность на основании данных цифр заказать бесплатный отчет у самого гугла (круто правда), нажимаем на кнопку “получить бесплатный отчет”. Далее нас перебросит на всплывающее окно, где надо согласиться на подписку и вписать адрес своей электронной почты.

Дальше окошко, с сообщением, что отчет придет через сутки.

Ну думаю сейчас мой блог разложат по полочкам, и стал ждать. Письмо пришло на следующий день, и я радостный побежал его читать.Вот кусок из этого письма.

На картинке изображены мои сто процентов для мобильников, и ничего больше. Все остальное в том же духе, если что не так, то стоит желтая либо красная галочка, вообще без разъяснений, только ссылка на материал в книге знаний гугла.

Cоветую прочитать на данную тему, используем кеш браузера, так же удаляем js элементы из шапки, и удовлетворяем требованиям сжатия файлов по размеру.

Скорость загрузки сайта гугл от сервиса testmysite.withgoogle.com, только минусы.

1. Нет грамотного объяснения, что именно не так просто надпись в письме “Используйте кеш браузера” и тому подобное.
2. Нет исправленных и сжатых фалов как в pagespeed.
3. Я не вижу смысла в ожидании testmysite.withgoogle.com ради отчета, потому что на том сервисе все показано сразу же.
4. Новичок ничего не поймет когда будет пользоваться им.

Вывод.

Не знаю почему, но все в восторге от testmysite.withgoogle.com. Я как оптимизатор который ускорил не один уже сайт заявляю, что этот инструмент от гугла полная лажа не пользуйтесь им ибо есть тоже самое, но как минимум в 4 раза больше возможностей.

В данной статье вы узнали как проверить скорость загрузки гугл сервисом своего сайта, без лишних проблем, но мое мнение вы уже услышали, в общем за всей информацией обращайтесь в эту рубрику про само ускорение.

wpsovet.ru

Зачем мне это нужно?

Если у вас есть сайт, но вы не интересуетесь поисковой оптимизацией, и у вас нет специалиста, который занимается его продвижением, то иногда могут возникать вопросы наподобие:

Почему мой сайт ниже в поисковых выдаче, чем аналоги, хотя качество контента выше?

Скорее всего, на сайте есть какие-то технические проблемы, важные для поисковиков (битые ссылки, ошибки в html-коде). Найти такие проблемы поможет статья ниже.

В интернете есть множество блогов с советами по SEO, многие из которых давно устарели или изначально являлись фантазией автора. Занимаясь оптимизацией сайта, лучше ориентироваться на официальные гайдлайны для вебмастеров Search Engine Optimisation Starter Guide. Там четко прописано, какие технические особенности имеют реальное влияние на поисковую выдачу.

Если сайт содержит качественную и полезную информацию, а также соответсвует требованиям, прописанных в этих гайдлайнах, то с ростом поискового трафика должно быть все ОК. А вот подборка инструментов, которые помогут быстро найти на сайте (своем или чужом) незаметные на первый взгляд нюансы, негативно влияющие на отношение к нему поисковиков.

1. Есть ли «битые» ссылки?

Битые ссылки негативно воспринимаются пользователями, поэтому Google применяет санкции к страницам с их большим количеством. На deadlinkchecker.com можно получить полный список URL-адресов на странице и статусы их доступности.

Адрес сервиса: deadlinkchecker.com

2. Достаточно ли оптимизированы картинки?

На wepagetest.org можно получить список картинок с указанием их размера и примененных способов сжатия для каждой картинки. Там же можно почитать советы по оптимизации изображений для сайтов.

Адрес сервиса: webpagetest.org

3. Корректно ли составлен файл robots.txt?

Robots.txt — это файл, в котором владелец сайта указывает, какие разделы сайта индексировать поисковому роботу. Очень важно, чтобы в нем не было ошибок, так в случае их наличия Google может проиндексировать лишние страницы.

alterlinks.com/robots-txt-validator/

4. Валиден ли HTML-код?

Если html-код не содержит ошибок, то страница будет быстро загружаться и одинаково отображаться во всех браузерах. С помощью валидатора от консорциума w3 (организации, которая регулирует технологические стандарты в интернете) можно найти ошибки и получить рекомендации по их исправлению.

Адрес сервиса: validator.w3.org

5. Нет ли перебора с ключевыми словами?

Избыточная плотность ключевых слов иногда может влиять на ранг в поисковой выдаче хуже, чем их отсутствие/недостаток. На pr-cy.ru можно проверить число вхождения слов на страницу.

Адрес сервиса: pr-cy.ru/analysis_content/

6. Есть ли ссылки без анкоров и с атрибутом “nofollow”?

Анкор — это текст ссылки между тегами “” и ““. Google плохо относится к сайтам, которые делают ссылки картинками, с пустыми анкорами или анкорами без смысловой нагрузки («читайте тут», «смотреть здесь»). Также Google против указания в ссылках атрибута rel=”nofollow” (запрет роботы переходить на страницу), так как он мешает поисковику воплотить идею об индексации всего интернета. Подробнее об этом можно почитать в гайдлайнах, упомянутых в начале статьи. А pr-cy.ru можно проверить все ссылки на сайте на наличие анкоров и запретов на индексацию.

Адрес сервиса: pr-cy.ru/analysis_content/

7. Нет ли на сайте вирусов?

Обнаружив на сайте вредоносное ПО Google начинает ставить рядом с заголовком страницы надпись «Этот сайт может нанести вред вашему компьютеру», отбивая желание посетителей заходить на него. Если поисковый трафик внезапно снизился на порядок, то одной из самых вероятных причин может быть появление на сайте вредоносного контента.
Адрес сервиса: google.ru/transparencyreport/safebrowsing

8. Правильно ли настроен редирект?

Иногда, из-за такой мелочи, как неправильно настроенное перенаправление с одной страницы (которая уже есть в базе Google) на новую (которая пока неизвестна поисковому роботу), сайт может ощутимо потерять в трафике. Всегда стоит проверять этот момент.

Адрес сервиса: webconfs.com/redirect-check

9. Все ли в порядке с метатегами?

Здесь можно проверить указаны ли на странице заголовок и описание, а также оценить соответствие ключевых слов ее содержимому.

Адрес сервиса: metatagscheck.com

10. Как видит текст страницы поисковый робот?

Google не индексирует текст, созданные с помощью Flash, JavaScript и изображенный на картинках. Этот сервис поможет понять какой текст на странице учитывается поисковиком при ранжировании результатов, а какой нет.

Адрес сервиса: smallseotools.com/spider-simulator/

11. В каком состоянии была страница когда на нее последний раз приходил Googlebot?

Здесь можно узнать когда на странице последний раз был Googlebot и в каком виде она сохранена в кеше Google.

Адрес сервиса: smallseotools.com/google-cache-checker/

www.iphones.ru

Функциональность инструмента онлайн-проверки позиций

• Вывод текущих позиций по проверяемым запросам.

• Вывод релевантных запросам страниц сайта (в том числе за ТОП-100, в случае, когда позиция не отображается).

• Возможность указания региона.

• Возможность учета поддоменов сайта.

• Сводка по позициям в Google — количество запросов в ТОП-5 / 10 / 20 / 50.

• Возможность сортировки данных по любому столбцу.

• Возможность скачать результаты в виде CSV-файла для дальнейшей работы с данными.

• Хранение истории проверок.

tools.pixelplus.ru

Онлайн сервисы для измерения скорости загрузки сайта

Во всяком случае именно так я относился до недавних пор к тому, чтобы попытаться ускорить свой ресурс. Но мне пришло в голову, что лучше не дожидаться неприятных тенденций в статистике посещаемости своего сайта (а именно уменьшения трафика с поисковой системы Google.ru, ибо она более критично относится к скорости загрузки), а исправить очевидный недочет прямо сейчас.

Надо просто осознать, что скорость, с которой загружается ваш сайт, блог или форум, является очень важным показателем. Если у вашего проекта с этим показателем не все в порядке, то это может повлечь за собой довольно неприятные последствия. И самое важное из них то, что посетители могут отказаться от работы с вашим ресурсом, т.к. он очень долго подгружает страницы. Кроме этого поисковики, в особенности Гугл, учитывают ее при общей оценке полезности того или иного ресурса.

Для того, чтобы понять, а как быстро подгружаются страницы вашего ресурса, можно воспользоваться, например, возможностями такого расширения для браузера FireFox, как FireBug, подробно описанный в статье по приведенной ссылке. А можно воспользоваться услугами сервисов, которые предназначены для этого. Далее я приведу в качестве примера несколько таких.

1. Pingdom — здесь достаточно просто указать адрес страницы, скорость загрузки которой вы хотите измерить (это не обязательно должна быть главная страница, ибо скорость загрузки внутренних страниц не менее, а зачастую даже более важна).

   

   В результате будет представлена диаграмма времени закачки отдельных объектов вебстраницы, а также их Урл и вес. Чем меньше объектов будет загружаться и чем легче будет весить каждый из них, тем лучше. Например, я для этой цели:

   1. объединил некоторые картинки из темы оформления сайта в так называемые спрайты
   2. а также по возможности уменьшил путем объединения число подгружаемых файлов стилей (CSS) и скриптов
   3. кроме этого имеется смысл включить Gzip сжатие статики на сервере
   4. и оптимизировать все используемые на сайте картинки

   

   Собственно, некоторые проблемы и историю измерения скорости вашего сайта вы сможете отследить на соседних вкладках верхнего меню Pingdom.

   Во всплывающем окне вам предложат скопировать постоянную ссылку на проделанный тест, а также отправить его по E-mail или в Твитер. Также в нижней части окна можно подписаться на мониторинг сайта на предмет доступности. Если ваш ресурс упадет (станет недоступен для посетителей), то вам будет выслано сообщение на E-mail, либо SMS на сотовый. Но эта услуга является платной, хотя и имеется возможность бесплатного триала.

   Для измерения пинга для вашего сайта, а также для просмотра Traceroute, нужно будет выбрать в самом верху страницы вкладку «Ping and Traceroute». Вводите в предлагаемую форму Урл без http, ставите галочку в чекбокс «Traceroute» или «Ping» под этой формой, и жмете «Test now».

2. WebPageTest — как обычно, вводите Урл проверяемой страницы (не обязательно главной). Сервис некоторое время обсчитывает скорость загрузки всех элементов сайта, после чего выдает очень наглядную диаграмму (точнее даже две — за первый проход и за второй, когда уже часть элементов сайта загружаются из кеша браузера):

   

   На первой диаграмме уделяете внимание положению фиолетовой вертикальной линии — это будет время окончания отрисовки сайта. Вторая вертикальная линия (синяя) будет означать время полной загрузки. Хорошо, если первая линия находится на 1-1,5 секундах загрузки сайта, а вторая — раньше 4 секунд. Тогда следующие абзацы можно прочитать «для справки». Если сайт загружается дольше 4 секунд — то нужно озабачиваться исправлением этой ситуации.

3. Google PageSpeed Insights — это инструмент для разработчиков от самого Гугла. Он дает оценку скорости загрузки вашего сайта (а точнее оптимизации этой скорости) по стобальной шкале. 100 — это идеал, который недостижим, а вот 80-90 получить вполне реально, тем более, что сервис дает очень подробные рекомендации по исправлению выявленных недочетов.

   

   Как видно из приведенного скриншота, Google PageSpeed Insights дает комплексную оценку — для компьютерного браузера и для мобильного. Кроме этого, внизу будет приведена оценка удобства пользования вашим ресурсом на различных гаджетах. Если оптимизацией сайта под мобильные устройства вы еще не озаботились, то оценка там будет очень низкая (да и на приведенном справа скрине вашего сайта в окне смартфона все будет наглядно видно).

   Но самое главное то, что Google PageSpeed Insights дает рекомендации, как увеличить оценку вашего сайта, т.е. как его ускорить. Начинать нужно, естественно, с самого верха, ибо эти исправления внесут наибольший вклад в ускорение.

   У меня, например, была проблема с настройкой gzip сжатия и с заданием времени кеширования статики (картинок, css файлов и скриптов) в браузерах пользователей, ибо у меня Апач работает в связке с nginx, а с ним я работать не умею. Пришлось писать в техподдержку Инфобокса с просьбой все настроить — сделали, и даже денежек не взяли (спасибо им!). Кстати, изначально они мне поставили время хранения кеша в 1 час, но Google PageSpeed Insights по-прежнему ругался:

   

   Пришлось покопаться в инструкции к этому онлайн сервису и вычитать там, что минимум нужно ставить 1 день хранения статики в кеше. Я попросил техподдержку хостинга поставить с запасом 1 неделю, что они и сделали. Теперича оценка чуток повысилась и шибко важных претензий к моему ресурсу у Гугла в плане скорости загрузки не имеется, что есть хорошо.

4. Test my Site — новый сервис опять же от Гугла. В основном он делает акцент на оценку мобильной версии вашего сайта в том числе и по критерию его скорости загрузки:

   

   Простенько и со вкусом, что называется. Можно подписаться на рассылку изменений.

5. GTmetrix — опять таки «не мудрствуя лукаво» вводите Урл нужной страницы и чуток ждете окончания анализа. В результате вы получите отчет, сформированный на основе данных двух плагинов для браузеров — Page Speed (читайте о работе с ним ниже) и YSlow. Собственно, каким данным доверять и чьим рекомендациям следовать — решать вам.

   

   Про то, что еще хорошего есть в GTmetrix и как его использовать я уже довольно подробно писал и поэтому повторяться не буду, чтобы не загромождать и без того уже громоздкую статью (дочитаете до конца — можете считать себя героем).

6. Ping Admin — аналогичный онлайн ресурс для измерения время ответа сервера с разных уголков нашей огромной планеты.
   
7. Host Tracker — практически то же самое, только страны другие.
8. ByteCheck — позволяет измерить значение TTFB (Time To First Byte) для вашего сайта, на который часто обращают внимание при оптимизации. Это время получения первого байта данных браузером с сервера. Чем выше значение TTFB, тем медленнее обработка ресурсов сервером, что есть плохо. Читайте советы по оптимизации загрузки сайтов.
9. Load Impact — это не совсем про скорость, но тоже важный сервис. Он позволяет протестировать нагрузочную способность вашего сайта и то, падает ли при этом скорость загрузки страниц. Весьма полезная штука.
10. Web Page Speed — онлайн-сервис с дизайном начала девяностых, но вполне себе такой информативный, если приспособитесь к отсутствию юзабилити. Внизу даются общие рекомендации по исправлению ситуации.

Так ли важно отслеживать скорость загрузки страниц?

Но вернемся от измерения скорости к поиску возможностей ее увеличения. В Гугл Вебмастере, о котором я писал тут, раньше работала экспериментальная вкладка «Эффективность сайта», где давалась оценка скорости загрузки сайта.

В общем-то ничего криминального в указанной там скорости загрузки нет, но вот то, что мой блог KtoNaNovenkogo.ru загружался медленнее, чем 84 процента всех web ресурсов в интернете — это уже звоночек, на который следовало бы отреагировать. Но раз Гугл думает, что по скорости мой блог является аутсайдером, то стоит всерьез отнестись к этой проблеме и вплотную заняться решением вопроса — как ее увеличить.

Собственно, ничего особенно придумывать и не пришлось, ибо Google сам подсказывает наиболее оптимальное решение. Точнее, он предлагает воспользоваться инструментом, который в свою очередь поможет понять, что именно нужно предпринять для того, чтобы ваш сайт немного (или много) ускорить. Я говорю об онлайн-сервисе Page Speed (раньше были еще и одноименные расширения для браузера FireFox и Хром, которыми я в основном и пользовался).

Сразу оговорюсь, что этот инструмент оперирует достаточно сложными и не совсем понятными вещами рядовым вебмастерам, которые в основном связаны с тонкостями и нюансами работы Web сервера. Если вы никогда сервер не администрировали, но будет сложно.

Есть выход — напрячь вашего хостера на тему выполнения действий, которые предписывает Пейдж Спид. Согласится или нет — это уже другой вопрос. Нанимать для этой цели фрилансера я так и не решился, ибо стремно предоставлять доступ к серваку абы кому (вот такой вот я недоверчивый).

На главной странице PageSpeed даже предлагает установить модуль на свой сервер, если он работает под управлением Apache или Nginx (как раз мой случай):

Но я так и не понял, как это делается, ибо совсем не смыслю в администрировании серверов и никогда не работал с юникс подобными системами. Это намного сложнее, чем программу установить или плагин в WordPress залить. Другой уровень погружения. Хостера тоже не решился по этому поводу напрягать. В общем, сей модуль остался мною не испытан — возможно, что вы его уже попробовали и имеет место что сказать…

Вообще, в первый раз я использовал Page Speed в качестве расширения для браузера (сейчас оно, как я понял не фунциклирует). Раньше оно интегрировалось в инструменты для разработчиков в Фаерфоксе и в Хроме. Правда, попервости (несколько лет назад) я лишь мельком посмотрел какие советы он мне дает, и практически ничего не поняв решил, что это не для меня, после чего с легкой душой удалил плагин PageSpeed как не нужный и чуждый моему разуму элемент.

Дело в том, что даже понимая на что ругается этот плагин, я толком не знал что нужно сделать, чтобы все это устранить и хоть как-то ускорить свой блог. В общем, у меня нашлось сразу очень много более важных дел, по сравнению с которыми мышиная возня с настройками Web сервера (тем более, что я в них и не разбираюсь особо) показалась мелкой и несущественной.

Правда, в свое время я тоже отложил в долгий ящик решение проблемы безопасности при работе с электронными деньгами Webmoney и в результате поплатился за это потерей всех этих самых денег. Памятуя о случившемся, на днях решил упереться рогом и попробовать сдвинуть с места проблему увеличения скорости загрузки сайта, несмотря на всю непонятность и сложность для меня данного вопроса.

Короче, установил я повторно Пейдж Спид в Мазилу (сейчас этого делать уже не надо), посмотрел на что именно он особо сильно ругается и кое-что мне все же удалось улучшить и, надеюсь, хотя бы немного увеличить скорость.

Конечно же, я решил не все те проблемы, на которые обращал мое внимание этот плагин, но кое-что все же удалось сдвинуть с мертвой точки. Пока все не забыл, спешу поделиться с вами, мои уважаемые читатели, тем, что удалось нарыть и сделать. Возможно, что вам это пригодится и скорость сайта не будет для вас узким местом, существенно затрудняющим продвижение.

Page Speed — анализ скорости и советы по ее увеличению

P.S. Сейчас Page Speed можно использовать только онлайн и устанавливать его в браузер уже не требуется (во всяком случае с новыми версиями хрома этот плагин несовместим), хотя сути это не меняет.

Итак, раньше нужно было установить в свой браузер плагин, но сейчас достаточно перейти сюда, ввести Урл адрес страницы, которую вы хотите проанализировать (на разных типах страниц могут возникать разные проблемы со скоростью загрузки, посему в этом инструменте имеет смысл проверять все варианты) и нажать на синюю кнопку «Анализировать».

Дождавшись результатов процесса проверки вы увидите окно подобное тому, что я уже приводил на скриншоте выше по тексту (в пункте 3 описаний онлайн сервисов по проверки скорости загрузки сайтов). Т.о. в результате вы увидите целый список претензий, которые этот онлайн сервис имеет к вашему ресурсу, а именно к скорости его загрузки. Пир этом он даст вам некоторые указания по оптимизации работы Web сервера в купе с используемым вами движком.

Причем, в самом верху окна Page Speed будут расположены замечания и рекомендации, которые вам желательно будет посмотреть и изменить в первую очередь («исправьте обязательно»), ибо это даст наибольший эффект в плане увеличения скорости загрузки и потребует от вас не слишком больших усилий. Приведу пример анализа одного из моих второстепенных проектов, до которых руки особо не доходят:

Т.е. рекомендации и обнаруженные проблемы, помеченные красным прямоугольником с восклицательным знаком и расположенные в самом верху списка, являются наиболее важным и начать оптимизацию желательно именно с них (дешево и сердито, что называется), тем самым добьетесь наибольшего эффекта.

Замечания, помеченные оранжевым цветом, потребуют от вас больших усилий по исправлению, но при этом могут и не привести к очень значительному росту скорости. Увы и ах, пока их можно отложить в долгий ящик и заняться первостепенными задачами, которые помогут существенно ускорить проект.

У меня первоначальная картина несколько лет назад (еще при использовании плагина — сейчас то же самое можно увидеть в http://gtmetrix.com/, ибо он испльзует АПИ PageSpeed) для https://ktonanovenkogo.ru была такой:

Я решил тогда начать с самого первого пункта «Leverage browser caching» (сейчас это называется «Используйте кеш браузера»), ибо по логике работы Page Speed, эти рекомендации должны привести к наибольшему ускорению моего блога.

Если нажать на спойлер рядом с этой надписью, то появится список различных файлов, которые не удовлетворяют оптимальным требованиям кэширования статических объектов (скрипты, CSS файлы, файлы изображений используемых на web странице) в браузерах пользователей (т.е. у читателей):

Т.е. PageSpeed Insights советует нам для увеличения скорости загрузки настроить оптимальным образом кэширование различных элементов web страниц в браузерах пользователей для того, чтобы при просмотре других эти статические элементы не подгружались бы заново с сервера. В теории все это звучит довольно запутано, ибо я понятия не имею о механизмах кэширования используемого браузерами (читайте про то, что такое кэш браузера и как его очистить).

К тому же, оптимизацию кэширования статических объектов мы будем проводить за счет механизмов самого сервера вашего хостинга. Довольно запутанно, но я вам предложу уже готовые решения, найденные на просторах рунета, а вы их попробуете в действии и решите, какое именно наилучшим образом будет работать именно на вашем хостинге.

Оптимизация кэширования в браузере и проверка его работы

Правда на моем текущем хостинге это не сработало, ибо у меня сейчас стоит связка Апача с nginx (настраивать надо последний, что за меня сделал хостер не ведомым мне способом). Но если у вас чистый Апач, то предложенный ниже метод может сработать.

В общем, мы попытаемся повлиять на сервер где хостится ваш проект таким образом, чтобы он отдавал браузерам команды направленные на оптимизацию кэширования статических элементов. Делать это будем посредством довольно известного инструмента удаленного управления сервером — файла .htaccess. Знаете о существовании такого?

Живет он обычно в корневой папке. Естественно, что все нижеописанное будет работать только на серверах под управлением Apache, но их, как правило, большинство. После подключения к своему ресурсу по FTP (FTP клиент FileZilla был описан мною тут), откройте корневую папку (обычно это либо PUBLIC_HTML, либо HTDOCS) и проверьте наличие в ней файла .htaccess.

С этого момента вы все делаете на свой страх и риск. Посему обязательно скачайте на комп копию этого файла, чтобы в случае чего оперативно откатиться назад.

Если .htaccess не видно, то попробуйте в программе FileZilla выбрать из верхнего меню пункты «Сервер» — «Принудительно отображать скрытые файлы». Если и после этого он в корне не проявился, то создайте у себя на компьютере пустой текстовый файл в любом удобном для вас редакторе (я пользуюсь Нотепад плюс плюс), назовите его как-нибудь и скопируйте в корень.

После этого переименуйте этот файл в .htaccess в программе FileZilla. Теперь нужно будет открыть его на редактирование и добавить в него приведенный ниже код. Но сначала чуток поясню.

Наиболее популярные способы включения данной опции на веб-сервере под управлением Апач — с помщью модулей mod_headers или mod_expires. Расположенный ниже код поможет помочь вам включить кеширование статики в браузере, если онлайн-сервис хотя бы один из этих модулей Апача у вас на серваке установлен.

Сначала приведу код для модуля mod_headers. Обращаю ваше внимание, что в нем используется проверка наличия у вашего хостера данного модуля. Если его найдено не будет, то код выполняться не будет и никаких ошибок это не вызовет. Однако, я еще раз настоятельно рекомендую предварительно скопировать оригинальный (до внесения расположенного ниже кода) файл .htaccess к себе на комп во избежании эксцессов.

<ifModule mod_headers.c>  #кэшировать html и htm файлы на один день  <FilesMatch ".(html|htm)$">  Header set Cache-Control "max-age=43200"  </FilesMatch>  #кэшировать css, javascript и текстовые файлы на одну неделю  <FilesMatch ".(js|css|txt)$">  Header set Cache-Control "max-age=604800"  </FilesMatch>  #кэшировать флэш и изображения на месяц  <FilesMatch ".(flv|swf|ico|gif|jpg|jpeg|png)$">  Header set Cache-Control "max-age=2592000"  </FilesMatch>  #отключить кэширование  <FilesMatch ".(pl|php|cgi|spl|scgi|fcgi)$">  Header unset Cache-Control  </FilesMatch> </IfModule>

Комментарии (их строки начинаются со знака решетки) потом можете удалить, но они по-любому на работу кода влияния оказывать не будут.

Можно будет еще добавить блок кода, рассчитанного на модуль для mod_expires, где опять же используется проверка его наличия на вашем сервере, что гарантирует безопасность использования этого фрагмента кода:

<ifModule mod_expires.c>  ExpiresActive On  #по умолчанию кеш в 5 секунд  ExpiresDefault "access plus 5 seconds"  #кэшировать флэш и изображения на месяц  ExpiresByType image/x-icon "access plus 2592000 seconds"  ExpiresByType image/jpeg "access plus 2592000 seconds"  ExpiresByType image/png "access plus 2592000 seconds"  ExpiresByType image/gif "access plus 2592000 seconds"  ExpiresByType application/x-shockwave-flash "access plus 2592000 seconds"  #кэшировать css, javascript и текстовые файлы на одну неделю  ExpiresByType text/css "access plus 604800 seconds"  ExpiresByType text/javascript "access plus 604800 seconds"  ExpiresByType application/javascript "access plus 604800 seconds"  ExpiresByType application/x-javascript "access plus 604800 seconds"  #кэшировать html и htm файлы на один день  ExpiresByType text/html "access plus 43200 seconds"  #кэшировать xml файлы на десять минут  ExpiresByType application/xhtml+xml "access plus 600 seconds" </ifModule>

Комментарии опять же потом можно будет удалить.

Если вдруг не сработало, но вы надеетесь на чудо, то вот еще несколько вариантов того же самого кода, но пробуйте их по очереди, а не все сразу:

1. <IfModule mod_expires.c>  ExpiresActive On  ExpiresByType application/javascript "access plus 1 year"  ExpiresByType text/javascript "access plus 1 year"  ExpiresByType text/css "access plus 1 year"  ExpiresByType image/gif "access plus 1 year"  ExpiresByType image/jpeg "access plus 1 year"  ExpiresByType image/png "access plus 1 year" </IfModule>

2. <IfModule mod_headers.c>  <FilesMatch .*.(js|css)$>  Header set Cache-control: private  </FilesMatch>  <FilesMatch .*.(gif|jpg|png)$>  Header set Cache-control: public  </FilesMatch> </IfModule>

3. <IfModule mod_setenvif.c>  BrowserMatch "MSIE" force-no-vary  BrowserMatch "Mozilla/4.[0-9]{2}" force-no-vary </IfModule>

4. FileETag MTime Size <ifmodule mod_expires.c> <filesmatch ".(jpg|jpeg|gif|png|ico|css|js)$"> ExpiresActive on ExpiresDefault "access plus 1 month" </filesmatch> </ifmodule>

Теперь после того, как вы вставили в .htaccess код, позволяющий повысить скорость за счет оптимизации кэширования в браузере на стороне посетителя, и сохранили произведенные изменения, снова проверьте страницу вашего ресурса в PageSpeed Insights и убедитесь что проблема пропала:

Как видите, в моем случае «Используйте кеш браузера» уже не является критической недоработкой замедляющей загрузку, и значок рядом с этим замечанием сменился на оранжевый, но не на зеленый. К сожалению, повлиять на сторонние сервисы, откуда мой сайт подгружает статики (типа Янедкс, Гугла, Фидбернера и Аптулайка), я не в состоянии.

Что и требовалось доказать. Вот так вот играючи мы с вами разобрались с одной из самых существенных и весомых проблем найденных в Page Speed.

ktonanovenkogo.ru