Sitemap проверить

Зачем нужен файл Sitemap?

В большинстве случаев грамотной внешней и внутренней перелинковки страниц достаточно, чтобы поисковые роботы узнали о всем содержимом сайта. Вместе с тем использование Карты сайта может заметно ускорить процесс полной индексации, особенно если:

  • Интернет-ресурс создан относительно недавно и пока не может похвастаться богатым профилем внешних ссылок;
  • в структуре сайта присутствуют многочисленные архивы веб-документов, не связанных между собой;
  • проект располагает большим количеством страниц, разделов, подразделов;
  • в структуре ресурса преобладают динамические страницы.

Во всех этих случаях всеобъемлющая индексация сайта поисковыми системами может оказаться под вопросом, если своевременно не позаботиться о файле Sitemap.

Базовые критерии создания файла Sitemap

К созданию Карты сайта выдвигается несколько основных требований, о которых веб-мастер должен всегда помнить.


Во-первых, количество URL-адресов в файле Sitemap не должно превышать 50 тысяч единиц. Если их больше, то необходимо создать несколько отдельных Карт сайта, которые прописываются в файле индекса Sitemap.

Во-вторых, максимальный размер файла – 10 Мб. Если несжатый файл превышает этот размер, его можно уменьшить при помощи архиватора gzip.

Sitemap проверить

В-третьих, файл Sitemap должен находиться на том же домене, что и веб-сайт, для которого он создан.

В-четвертых, составление Карты сайта предполагает использование кодировки UTF-8, а также латинских букв и цифр.

В-пятых, ответом сервера на обращение к файлу Sitemap должен быть HTTP-статус с кодом 200 OK.

Допустимые форматы Карты сайта

Особое требование предъявляется к формату файла Sitemap. Так, Карта сайта может быть создана в виде XML-файла, текстового файла или посредством RSS, mRSS и Atom 1.0. При этом наиболее распространенным форматом, который распознают все поисковые системы, считается XML-файл. С его помощью поисковикам можно сообщить не только о правильном местоположение страницы в иерархии сайта, но и:

  • о частоте обновления веб-документа в принципе (атрибут – changefreq);
  • о дате последнего обновления на странице (атрибут – lastmod);
  • о разной важности тех или иных страниц ресурса (атрибут – priority).

Пример Карты сайта в формате XML для PR-CY.ru, если бы он состоял из одной страницы и содержал упомянутые теги, мог бы выглядеть так:

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>  <loc>http://www.pr-cy.ru/</loc>  <lastmod>2016-03-21</lastmod>  <changefreq>daily</changefreq>  <priority>0.8</priority>  </url>  </urlset>

Как создать и где разместить файл Sitemap?

При желании составить Карту сайта можно самому (вручную), что, впрочем, выглядит весьма трудозатратной затеей. Поэтому лучше создавать файл Sitemap автоматически, обратившись к услугам бесплатных онлайн-сервисов таких, как этот или этот.

После того, как Карта сайта готова, файл необходимо определить в корневую директорию. В этом случае ссылка, указывающая поисковым системам путь к файлу Sitemap, может быть следующей: http://www.pr-cy.ru/sitemap.xml


pr-cy.ru

Быстрый переход

searchengines.guru

Карта сайта — штука для сайта весьма полезная, помогает хорошо индексироваться большим объемным сайтам, быстрее подгружать страницы в индекс для новых проектов и т.п. Может показаться, что Sitemap не такая полезная штука, тем не менее, любой seo аудит сайта включает в себя ее создание и не зря. Я также обязательно генерирую ее для новых проектов вместе с созданием файлика robots.txt.


Обновление 12.08.2017: В данный момент все панели вебмастеров поддерживают проверку ошибок в карте сайта. Подробнее читайте в статье Как добавить sitemap в Яндекс/Гугл панели.

Кстати, в блоге уже пару раз я касался данной тематики, например можете почитать про то как легко сделать XML Sitemap для wordpress блога и какие есть генераторы файла sitemap для любых сайтов без плагинов и даже cms. В дальнейшем эту карту сайта можно загрузить в панели вебмастеров поисковых систем — Google Webmasters Tools и Яндекс.Вебмастер.

Так, например, для одно из моих старых блогов я создал карту сайта с помощью плагина Google XML Sitemaps. Дальше в Google Webmasters Tools заходим в раздел Site Configuration и выбираем меню Sitemaps. На странице есть кнопка для добавления карты — Submit a Sitemap.

Google Sitemap


Как видите у меня уже загружена соответствующая ссылка, напротив которой указан статус «Ок», то есть все хорошо — карта доступна, «читается» и используется в работе. Но что делать если у вас, скажем, 40-50 сайтов? Проверить карты вручную или даже через Google XML Sitemaps займет определенно время, тем более, не будете же вы заниматься этим каждый день. На помощь приходит SEO сервис проверки карт сайтов — Google Sitemaps Status Checker.

tods-blog.com.ua

Как часто после создания нового сайта для него создается карта сайта? Судя по нашей статистике вновь прибывших проектов, как минимум 50-60% сайтов создаются без генерации карты в формате sitemap.xml. Да, можно аргументировать тем, что дело разработчика – это создать сайт. Как он будет индексироваться и нас колько быстро попадет в индекс поисковых систем — это дело владельца сайта. В принципе, тоже верно, но создать  Sitemap.XML и тем самым сделать как минимум приятный бонус для клиента – это вопрос нескольких минут.

Итак, что есть Sitemap.XML и чем может бать полезен? Расскажу об этом далее.

Sitemaps—XML-файл с информацией о страницах сайта для поисковых систем. Данный файл оказывает помощь поисковым системам в сканировании и индексировании страниц сайта. Стоит отметить, что данный файл не является директивой, а всего лишь своеобразным предложением к сканированию и индексации необходимых страниц сайта. Создавая такой файл для своего нового сайта, тем самым вы облегчаете (читайте, ускоряете) работу поисковых систем по сканированию и индексации сайта.

Пример Sitemap.xml

Привожу пример того как может выглядеть Sitemap в формате xml. (в нем описана только одна страница сайта)

<?xml version=”1.0″ encoding=”UTF-8″?>

<urlset xmlns=”http://www.sitemaps.org/schemas/sitemap/0.9″>

<url>

<loc>http://www.site.com.ua/</loc>

<lastmod>2010-16-07</lastmod>

<changefreq>daily</changefreq>

<priority>1.0/priority>

</url>

</urlset>

Как создать Sitemap.xml

Для автоматизированного создания карты сайта есть достаточно много онлайн сервисов. Например: раз, два.

Однако, все же рекомендую пользоваться программой A1 Sitemap Generator. Скачать и прочитать инструкцию.

Как использовать Sitemap.xml

Как правило, файл располагают в корневой директории сайта, чтобы он был доступен по адресу http://www.site.com.ua/sitemap.xml.

В файле должно быть не более 50 000 URL и размер его не должен превышать 10 МБ. Если требуется указать более 50 000 URL, создаем несколько файлов Sitemap.

Проверка корректности созданного файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в файлах Sitemap, используются следующие XML-схемы:

  • Для файлов Sitemap
  • Для файлов индекса Sitemap

Оповещение поисковых систем о файле карты сайта

После создания файла карты сайта и его размещения, требуется оповестить создан и размещен на веб-сервере, необходимо оповестить поисковые системы о его местонахождени.

Данную операцию можно сделать несколькими методами:

  • с помощью панели вебмастера поисковой системы
  • указав местоположение файла в файле robots.txt
  • с помошью специального запроса к поисковой системе (как создать запрос описано ниже)

В таблице приведены запросы к некоторым поисковым системам

Эпилог

Стоит отметить, что создание таких файлов как sitemap.xml и robots.txt являются одними из первых «джентльменских» действий после создания нового сайта.

blog.aweb.ua

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

  • HTML;
  • XML.

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

XML и HTML Sitemap

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

Структурированная HTML-карта сайта

2. Анкоры ссылок.

В отличие от XML-карты, каждая ссылка должна иметь название, чтобы пользователям было понятно, на какую страницу они перейдут.

Использование анкоров в HTML Sitemap

3. Ссылка на карту сайта должна быть доступна на всех страницах сайта. Обычно её размещают в футере страницы.

Ссылка в футере на HTML Sitemap

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

XML-теги в карте сайта

Обязательные:
<urlset> – определяет стандарт протокола и инкапсулирует этот файл.
<url> – содержит в себе информацию о URL-адресе (является родительским тегом).
<loc> – содержит абсолютный URL-адрес.

Необязательные:
<lastmod> – указывает дату последнего изменения файла.
<changefreq> – указывает частоту смены файла.
<priority> – указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Сайтмап в формате TXT

Требования Google и Яндекса к файлам Sitemap

Общие рекомендации поисковых систем:

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

Хотя это очевидная рекомендация, на практике встречаются случаи, когда у владельца несколько сайтов, и при переносе шаблона с файлом Sitemap, последний забывали заменить на актуальный.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

Отличия:

Рекомендации Яндекса к файлу:

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

Рекомендации Google:

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Преобразованные русские домены в файле

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

Выбор URL для карты сайта

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке.

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

Генерация XML Sitemap в Majento – шаг 1

3. Сохраняем в нужном нам формате.

Генерация XML Sitemap в Majento – шаг 2

4. Карта сайта готова.

Сгенерированная XML-карта в Majento

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator.

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Генерация карты в XML Sitemap Generator

Исключить ненужные страницы можно и с помощью регулярных выражений.

Исключение URL с помощью регулярных выражений в XML Sitemap Generator

XML-карта для изображений

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

XML-карта для изображений

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
<image:image> – аналогично тегу <url> содержит в себе URL изображения и дополнительную информацию.
<image:loc> – URL изображения.

Необязательные:
<image:caption> – подпись к изображению.
<image:geo_location> – место съёмки фотографии.
<image:title> – название изображения.
<image:license> – URL-лицензии изображения.

XML-карта для видео

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

XML-карта для видео

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

<loc> – содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег <loc>, достаточно в одном теге <loc> несколько раз прописать <video:video> для каждого видео на странице.
<video:video> – включает в себя всю информацию о видео.
<video:thumbnail_loc> – URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
<video:title> – заголовок, который должен совпадать с названием страницы, на которой отображается видео.
<video:description> – описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google.

Где разместить карту сайта

Мы рекомендуем размещать XML-карту в корневом каталоге сайта. Ссылку на сайтмап нужно указать в файле robots.txt.

Директива Sitemap в robots.txt

Более подробно описано, как разместить ссылку на карту сайта в robots.txt, у нас в статье.

Добавить и проверить Sitemap в Yandex.Webmaster

Чтобы сообщить роботу Яндекса о наличии карты сайта, добавьте её в панель Яндекс.Вебмастера:

1. Перейдите в раздел «Индексирование» – «Файлы Sitemap».

2. Укажите ссылку на сайтмап.

3. Нажмите кнопку «Добавить».

4. Ниже будет отображаться список со всеми добавленными файлами.

Добавить карту сайта в Яндекс.Вебмастер

Прежде чем добавить файл, рекомендуем проверить его на наличие ошибок:

1. В панели Яндекс.Вебмастера перейдите в раздел «Инструменты» – «Анализ файлов Sitemap».

2. Укажите URL, загрузите файл или просто добавьте текст.

3. Нажмите кнопку «Проверить».

Проверить Sitemap в Яндекс.Вебмастере

Добавить и проверить файл в Google Search Console

Чтобы сообщить Googlebot о наличии этого файла, нужно добавить его в панель GSC:
1. Перейдите в раздел «Сканирование» – «Файлы Sitemap».
2. Нажмите кнопку «Добавление / проверка файла Sitemap».
3. Укажите URL файла.
4. Нажмите кнопку «Отправить».

Добавить карту сайта в Google Search Console

Чтобы проверить карту сайта на наличие ошибок, вместо кнопки «Отправить» нажмите «Тест». Если ошибок нет, будет отображаться следующее окно.

Проверить сайтмап в Google Search Console

При возникновении ошибок или предупреждений, Google сообщит об этом в соответствующей панели.

Ошибки в сайтмап в Google Search Console

Полный перечень ошибок и как их исправить описано в справке Google.

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

siteclinic.ru

URL недоступны

Google не удалось просмотреть адреса из файла Sitemap.

  1. Убедитесь, что файл находится именно там, где указано.
  2. С помощью инструмента проверки файла robots.txt выясните, как именно заблокирован доступ.
  3. Используйте Сканер Google для сайтов, чтобы определить, настроена ли блокировка страницы в файле robots.txt.
  4. Если сканировался URL из вашего файла Sitemap, проверьте, нет ли ошибок в адресе.

Переход по URL не выполнен

Обычно указывает на то, что при обработке файла Sitemap роботу Google не удалось открыть некоторые URL, потому что по ним выполняется слишком много перенаправлений. Измените URL переадресации в файле Sitemap и замените их на URL назначения (цель перенаправления).

Ниже описано, почему могла иметь место такая ошибка и как ее исправить.

  • Проверьте сайт с помощью текстового браузера (например, Lynx), поскольку большинство поисковых систем видят сайт точно так же, как Lynx. Если вам не удается просмотреть весь сайт с помощью текстового браузера из-за таких элементов как JavaScript, cookie, идентификаторы сеансов, фреймы, DHTML или Flash, то и сканерам поисковых систем, скорее всего, тоже будет трудно его обработать.
  • Если вы все время применяете переадресацию с одной страницы на другую, используйте постоянные перенаправления. Рекомендуем отказаться от переадреcации с помощью JavaScript или метатега refresh.
  • По возможности используйте абсолютные ссылки вместо относительных. Например, ссылаясь на другую страницу своего сайта, используйте URL https://www.example.com/moya-stranitsa.html, а не просто moya-stranitsa.html.

Недействительные URL

Некоторые URL-адреса находятся на более высоком уровне по отношению к файлу Sitemap или в другом домене.

Более высокий уровень: если файл находится на странице http://www.example.com/moy_sait/sitemap.xml, то для него недействительны следующие URL-адреса:

  • http://www.example.com/ – находится на более высоком уровне, чем файл Sitemap;
  • http://www.example.com/yoursite/ – расположен в каталоге, параллельном текущему местонахождению файла Sitemap.

Другой домен: убедитесь, что все адреса начинаются с домена, в котором хранится ваш файл Sitemap. Например, если файл находится на странице http://www.example.com/sitemap.xml, то для него недействительны следующие URL:

  • http://example.com/ – отсутствует www в начале.
  • www.example.com/ – нет префикса протокола (http).
  • https://www.example.com/ – указан протокол https вместо http.

Ошибка сжатия

Ошибка при попытке распаковать заархивированный файл Sitemap. Выполните сжатие ещё раз (например, с помощью gzip), а затем загрузите его на сайт и повторно отправьте в Google.

Пустой Sitemap

В файле Sitemap отсутствуют URL. Убедитесь, что он не пустой. Если файл использует протокол Sitemap, проверьте правильность тегов в URL.

Ошибка размера файла Sitemap: превышен максимально допустимый размер файла Sitemap

Размер файла Sitemap в несжатом виде превышает 50 МБ. Разбейте его на несколько файлов и укажите их в индексе, а затем отправьте нам каждый из них отдельно.

Неверное значение атрибута

Атрибут, связанный с одним из тегов XML в файле Sitemap, имеет недопустимое значение. Проверьте файлы Sitemap и убедитесь, что все атрибуты используются согласно техническим требованиям к таким файлам. Проверьте, нет ли опечаток в значениях атрибутов.

Недопустимая дата

Одна или несколько дат в файле Sitemap имеет неверный формат или значение. Даты должны быть в формате кодировки даты и времени W3C. Время можно не указывать. Убедитесь, что все даты записаны в одном из допустимых форматов кодировки согласно W3C.

 2005-02-21 2005-02-21T18:00:15+00:00 

Время задавать не требуется (по умолчанию устанавливается значение 00:00:00Z), однако если вы все же делаете это, не забудьте указать часовой пояс.

Недопустимое значение тега

В файле Sitemap содержится один или несколько тегов с недопустимым значением. В сообщении об ошибке они все должны быть указаны. Проверьте спецификации для соответствующего типа файла Sitemap (индекс, стандартный, видео и т. д.).

Недопустимый URL

В файле Sitemap указан недействительный URL. Возможно, он содержит недопустимые символы (пробелы, кавычки и т. д.) или другие ошибки форматирования, например имеет префикс htp:// вместо http://. Проверьте экранирование и кодировку URL, указанных в файле Sitemap. Проверьте, нет ли недопустимых символов, таких как пробелы и кавычки. Кроме того, можно вставить URL в браузер и посмотреть, сможет ли программа распознать его и загрузить страницу.

Недействительный URL в файле индекса Sitemap: неполный URL

Для некоторых файлов Sitemap, перечисленных в файле индекса Sitemap, не указаны полные URL-адреса. Google выполняет поиск файлов Sitemap в том же каталоге, в котором находится файл индекса. Например, если индекс находится по адресу http://www.example.com/folder1/sitemap_index.xml и адрес файла Sitemap в нем указан как sitemap.xml, наш робот попытается загрузить его по адресу http://www.example.com/folder1/sitemap.xml. Если робот Google не обнаружит файл Sitemap по этому адресу, попытка закончится ошибкой.

Обновите файл индекса Sitemap, добавив в него полные URL-адреса всех перечисленных файлов Sitemap, а затем ещё раз отправьте файлы.

Недопустимый XML: слишком много тегов

В файле Sitemap имеются повторяющиеся теги. Например, следующая запись станет причиной ошибки, поскольку тег <loc> повторяется в ней дважды:

 <url>  <loc>http://www.example.com/</loc>  <loc>http://www.example.com/stranitsa1.html</loc>  <lastmod>2005-01-01</lastmod>  <changefreq>monthly</changefreq>  <priority>0.8</priority> </url>

В сообщении об ошибке указываются тег и номер строки, в которой он находится. Удалите повторяющийся тег и ещё раз отправьте файл Sitemap.

Отсутствует атрибут XML

В одном из тегов в файле Sitemap отсутствует обязательный атрибут. Просмотрите файлы Sitemap и убедитесь, что все обязательные атрибуты на месте. Исправьте найденные ошибки в значениях атрибутов и ещё раз отправьте файл Sitemap.

Отсутствует тег XML

В одной или нескольких записях в файле Sitemap отсутствует обязательный тег. В сообщении об ошибке указывается номер строки. Сведения о обязательных тегах можно найти в статье о файлах Sitemap.

Отсутствует URL значка видео

В одной или нескольких записях о роликах отсутствует ссылка на значок видео. Убедитесь, что в тегах <video:thumbnail_loc> указаны URL всех таких значков.

Отсутствует название видео

В некоторых записях о роликах отсутствует название. Убедитесь, что в тегах <video:title> указаны названия всех видео. 

Неверный формат индекса Sitemap: вложенные файлы индекса Sitemap

В одной или нескольких записях файла индекса Sitemap указан его собственный URL или URL другого файла индекса Sitemap.

Файл индекса Sitemap может содержать ссылки только на обычные файлы Sitemap, а не на файлы индекса.

Удалите записи, указывающие на файлы индекса Sitemap и повторно отправьте файл Sitemap в Google.

Ошибка синтаксического анализа

Google не удалось выполнить синтаксический анализ XML-контента вашего файла Sitemap.

Часто это происходит из-за неэкранированных символов в одном из URL. Как и в файлах XML, любые значения данных (включая адреса URL) должны использовать экранирующие коды для некоторых символов, таких как & ‘ » < >. Проверьте, правильно ли настроено экранирование URL.

Временная ошибка

Файл Sitemap не удалось обработать из-за временной ошибки системы. Как правило, при этой ошибке отправлять файл заново нет необходимости. Робот Google попробует получить его позже. Если это сообщение об ошибке будет отображаться и по прошествии нескольких часов, отправьте Sitemap ещё раз.

Слишком много файлов Sitemap в файле индекса

В файле индекса более 50 000 файлов Sitemap. Разделите его на несколько и убедитесь, что в каждом указано не более 50 000 файлов Sitemap.

Слишком много URL в файле Sitemap

В файле Sitemap более 50 000 URL. Разделите его на несколько, каждый из которых содержит до 50 000 адресов. Для управления ими можно создать файл индекса Sitemap.

Неподдерживаемый формат файла

Вы создали некорректный файл. Он должен быть в формате XML и содержать правильный заголовок.

Распространенные ошибки XML:

  • Во файлах Sitemap должны быть правильные заголовки. Например, если содержание файла представляет информацию о видео, заголовок должен быть следующим:
     <?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"  xmlns:video="http://www.google.com/schemas/sitemap-video/1.1">
  • Пространство имен в заголовке должно иметь вид http://www.sitemaps.org/schemas/sitemap/0.9 (не .9).
  • Все атрибуты XML нужно заключать в одинарные (‘) или двойные («) кавычки, которые должны быть только прямыми. Внимание! Текстовые редакторы, например Microsoft Word, могут автоматически менять их на фигурные.

Несоответствующий путь: отсутствует префикс www

Путь к файлу Sitemap не содержит префикс www (например, http://example.com/sitemap.xml), а все перечисленные в нем URL содержат (например, http://www.example.com/myfile.html).

Если вы хотите удалить префикс www из файла Sitemap, но сохранить его в URL, указанных в файле, выберите вариант с префиксом в качестве основного домена.

В противном случае измените файл Sitemap, удалив префикс www из всех URL.

Несоответствующий путь: имеется префикс www

Путь к файлу Sitemap содержит префикс www (например, http://www.example.com/sitemap.xml), а перечисленные в нем URL не содержат (например, http://example.com/myfile.xml).

Если вы хотите сохранить префикс www в файле Sitemap, но удалить его из указанных в файле URL, выберите вариант без префикса в качестве основного домена.

В противном случае измените файл Sitemap, добавив префикс www во все URL.

Неправильно указано пространство имен

В корневом элементе файла Sitemap неверно задано или отсутствует пространство имен, содержится орфографическая ошибка или неправильный URL.

Убедитесь, что пространство имен задано правильно с учетом типа файла. Пример:

  • Файл Sitemap: xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  • Файл Sitemap для видео: xmlns:video="http://www.google.com/schemas/sitemap-video/1.1"
  • Файл индекса Sitemap: <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  • Другие типы файла Sitemap…

Файл Sitemap начинается с пробела

Ваш файл Sitemap начинается с пробела, а не с пространства имен. Файлы XML должны начинаться с декларации XML, в которой указана используемая версия XML.

Эта ошибка не помешает Google обработать ваш файл Sitemap, однако лучше удалить пробел, чтобы файл соответствовал стандартам XML и сообщение об этой ошибке больше не появлялось.

Ошибка HTTP (конкретный код)

При попытке скачать файл Sitemap произошла ошибка HTTP. В сообщении о ней будет указан код статуса (например, 404). Убедитесь, что URL файла Sitemap записан верно и файл находится в указанном месте. Затем повторно отправьте его в Google.

Значок видео слишком велик

Значок видео, указанный в файле Sitemap, слишком велик. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap и повторно отправьте в Google. Подробнее о том, как добавить информацию о видео в файл Sitemap…

Значок видео слишком мал

Значок видео, указанный в файле Sitemap, слишком мал. Измените его размер до 160 x 120 пикселей. При необходимости обновите файл Sitemap.

Местоположения видео и страницы воспроизведения совпадают

URL видео и страницы воспроизведения не должны совпадать. Если используются оба тега (<video:player_loc> и <video:content_loc>), URL должны различаться.

URL местоположения видео указывает на страницу воспроизведения

URL <video:content_loc> в файле Sitemap для видео указывает на страницу, на которой размещен проигрыватель.

Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt

Роботу Google не удалось обработать файл Sitemap, поскольку доступ к нему или его содержанию заблокирован в файле robots.txt. С помощью инструмента проверки файла robots.txt выясните, как именно заблокирован доступ, и внесите изменения, чтобы обеспечить сканирование.

support.google.com

Функции карты сайта

  • Хранение актуальной информации об индексируемых страницах.
  • Передача поисковым системам информации о частоте обновления контента.
  • Передача роботу указаний по поводу индексации, включая установленный приоритет страниц относительно друг друга и в структуре сайта.
  • Предоставление ссылок на весь индексируемый контент в удобном формате, обеспечивающем быстрый доступ ко всем страницам сетевого ресурса.

Файл Sitemap.xml создают после составления семантического ядра, определения структуры сайта и подготовки к продвижению в интернете. Его размещают в директории ресурса, после чего сообщают поисковым системам его сетевой адрес.

Пользовательская карта сайта

Обычным посетителям сайта для поиска нужной информации удобно пользоваться списком обычных ссылок. Поэтому для них карту сайта создают в привычном формате HTML. В окне браузера такая страница выглядит как древовидный список адресов, по которым пользователь может быстро перейти в любой раздел и найти нужную информацию. Для поисковых систем этот формат не подходит. Когда робот посещает такую карту, он видит обычную страницу, на которой размещено большое количество ссылок практически без текстовой информации. Поэтому он считает ее бесполезной и может не проиндексировать часть ссылок или вовсе исключить страницу из поиска. Это негативно повлияет на дальнейшее продвижение сайта. Также есть существенные ограничения на количество размещаемых ссылок при создании карты в формате HTML. Чтобы сделать карту полезной как для посетителей, так и для продвижения web-сайта в сети, нужно следовать простым рекомендациям:

  • не размещайте на одной странице более 100 ссылок. Лучше ограничиться указанием адресов, ведущих на основные разделы, подразделы, важные страницы, которые недоступны из основного меню;
  • не используйте дополнительное оформление. К нему относятся графические элементы, CSS-стили, скрипты, которые делают карту громоздкой.

Для поискового продвижения сайта в сети HTML-карту лучше не использовать. Для этого существует формат XML.

sitemap2.jpg

Карта сайта для поисковых систем

Карта sitemap.xml распознается Google, «Яндексом» и другими популярными поисковыми системами. В файле пользователь может разместить до 50 тыс. ссылок с дополнительной информацией. То есть кроме адресов страниц, разделов и подразделов можно указать частоту обновления контента, время последнего редактирования записи, выставить относительный приоритет в индексации. Делают это при помощи специальных тегов. Информация в карте сайта является рекомендацией, а не строгой командой. Поисковая система учтет пожелания вебмастера, но действовать будет так, как посчитает нужным. Если пользователь с целью повышения эффективности СЕО-продвижения укажет в файле определенный период обновления контента, то робот не станет точно следовать указаниям. Он выберет свой срок обхода на основе представленных данных и результатов, полученных после очередной индексации ресурса.

Как проверить карту сайта и показать ее поисковым системам

Для качественного SEO-продвижения роботы поисковиков должны узнать о месторасположении карты сайта. Показать карту можно двумя способами: передать поисковой системе сетевой адрес файла XML или записать ссылку в файл robots.txt. При желании можно указать сразу несколько ссылок на различные карты. Все они будут обработаны поисковыми роботами, и пользователь получит результаты проверок каждой из них. Прежде чем указывать поисковику на карту, следует проверить корректность ее составления. Сделать это можно при помощи специальных сервисов, предлагаемых поисковыми системами и обычными разработчиками. Например, в «Яндекс.Вебмастере» можно проверить файл, загрузив его на сервер и указав прямую ссылку или передав содержимое путем его копирования и вставки в специальное поле.

Особенности составления карты сайта

  • Карта сайта sitemap.xml должна находиться в директории домена сайта. Нельзя составлять карту одновременно для домена и поддоменов, прописывая ссылки всех страниц в одном файле.
  • Имя для карты сайта можно выбрать любое, главное, не ошибиться с расширением файла.
  • Максимальное количество ссылок – 50 тыс.
  • Максимальный объем файла – 10 Мбайт.
  • Если требуется сделать карту сайта с количеством ссылок, превышающим максимальное значение, то разрешается делить файл на несколько штук. То же самое делают при превышении объема.
  • Информацию в файле сохраняют в кодировке UTF-8. Если сайту присвоен кириллический домен, преобразование делать необязательно. Поисковые системы распознают адреса в любом виде.

Создание карты сайта

При SEO-оптимизации создание карты сайта является важным процессом, от правильности проведения которого зависят скорость и эффективность будущего индексирования контента. Если пользовательскую карту можно быстро создать вручную, просто скопировав в текстовый файл ссылки на все важные страницы сайта, то с формированием карты в формате XML придется повозиться. В таком файле информация представлена в удобном для поисковиков виде. Кроме обычных ссылок на страницы с контентом в нем присутствуют специальные теги, директивы, параметры. Чтобы правильно создать карту, вебмастер должен научиться пользоваться ими.

SEO и sitemap.xml тесно связаны. Независимо от того, каким способом будет создана карта сайта, главное – правильно прописать в ней ссылки на контент, который должен находиться в поиске. Очень важно не допускать ошибок, не запутывать робота наличием ссылок, запрещенных в файле robots.txt, присутствием неканонических адресов. Не нужно выгружать в файл XML все, что есть на сайте. От этого пользы в рамках оптимизации сайта не будет. Наоборот, робот может посчитать такую карту некорректно сформированной, что может повлиять на индексирование и позиции сетевого ресурса в поисковой выдаче.

Методы создания карты в формате XML

Генерация sitemap.xml автоматически. Сделать карту можно при помощи онлайн-сервисов, указав сетевой адрес ресурса. Робот посетит сайт, соберет все ссылки, добавит их в файл, сохранит его в нужном формате и предложит пользователю скачать на свой компьютер или сразу в директорию сайта. В интернете существует большое количество сервисов, которые предлагают разные дополнительные возможности и имеют определенные ограничения. Программы-генераторы, работающие на компьютере пользователя, обычно распространяются платно. Они обладают множеством функций, которые будут очень полезны в эффективной работе с несколькими ресурсами.

Наполнение карты сайта вручную. Многие платные и бесплатные CMS предлагают пользователям инструменты ручной и автоматической генерации карты сайта. При наличии ручного инструмента вебмастеру придется самостоятельно обновлять карту по мере наполнения сетевого ресурса новым контентом. Если присутствует автоматический генератор, думать об актуальности карты сайта не придется. Сервис регулярно проверяет состояние имеющихся карт и обновляет их по мере необходимости.

XML-формат

При ручном создании или проверке карты сайта на наличие ошибок пользователю потребуются знания XML-схемы протокола Sitemap. Формат состоит из специальных тегов, которые бывают обязательными и дополнительными. Дополнительные теги вебмастер использует по желанию. Поддержка необязательных тегов зависит от поисковой системы, для которой они добавляются в карту. С подробной информацией о дополнительных тегах можно ознакомиться на странице помощи поискового сервиса.

XML-схема Sitemap:

  1. Файл открывают тегом <urlset> и зарывают </urlset>. Все, что находится между ними, является картой сайта и будет прочитано поисковым роботом. В открывающемся теге указывают стандарт используемого протокола.
  2. Каждый адрес страницы сайта записывают между тегами <url> и </url> с указанием дополнительных параметров.
  3. Между тегами <loc> и </loc> записывают адреса страниц.

Дополнительные параметры для сетевых адресов:

  • Lastmod. Его используют для указания времени обновления страницы;
  • Changefreq. Параметр сообщает роботу о частоте обновления контента;
  • Priority. В нем указывают относительный приоритет страниц.

При формировании нескольких карт в одном файле в качестве открывающего и закрывающего тега используют sitemapindex. Для открытия и закрытия очередной карты сайта применяют тег sitemap.

Влияние карты сайта на эффективность поискового продвижения

Роботы поисковых систем индексируют сайты независимо от того, есть в директории карта сайта или нет. Поисковая система способна самостоятельно находить ссылки на имеющиеся страницы, переходить по ним, анализировать контент и добавлять его в поиск. Карта сайта лишь помогает работу избегать ошибок при индексировании крупных порталов с запутанной структурой и огромным количеством ссылок. Причины возникновения ошибок при сканировании без карты сайта:

  • наличие контента, доступного только при переходе по длинной цепочке ссылок;
  • присутствие динамических URL-адресов.

Карта упрощает и ускоряет процесс индексирования, но не влияет на ранжирование страниц. Она поможет вебмастеру быстрее выводить в поиск новые материалы. Преимущества использования правильно созданной карты сайта:

  • повышение скорости обнаружения новых страниц и добавления их в индекс поисковой системы;
  • быстрое нахождение и индексация обновленного контента;
  • ускорение попадания сайта в результаты поисковой выдачи.

wiki.rookee.ru

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

После создания файл карты будет иметь следующий путь: http://site.ru/sitemap.xml

Кстати, имя карты можно заменить любым, главное здесь – это не менять расширение *.xml. Только нужно будет написать правильный путь к данному файлу в robots.txt.

Инструкция по настройке плагина:

Как проверить сайтмап и сообщить о нем поисковикам

Проверять sitemap на валидность можно, добавив его в вебмастер Гугла или Яндекса. Это самый простой способ, поисковики лучше всего скажут об ошибках.

Вот где проверка расположена в Яндекс Вебмастере:

proverit-sitemap

А вот где в инструментах Вебмастера Google:

proverit-sitemap-google

Дать Яндексу знать о сайтмапе можно путем добавления в robots.txt такого кода:

Далее в webmaster.yandex.ru нужно открыть «Файлы sitemap» (пункт меню «настройка индексации») и там написать адрес xml-карты.

По аналогии можно добавить sitemap и в Google. Только там «Файлы sitemap» находятся в другой вкладке — «Сканирование».

Нужно ли скрывать карту сайта

Некоторые параноидальные вебмастера прячут сайтмап, опасаясь за свой контент. Ведь при наличии карты сайта он может быть легко сворован. Файл содержит почти всю структуру сайта, все пути на его страницы, то есть с помощью карты мошенники легко смогут сделать дубли или локальные копии ресурса. Отсутствие же этого файла во многом затруднит «ворам» задачу.

Но побеждают те, кто считает, что не нужно скрывать карту сайта, и даже наоборот – необходимо создавать и отображать ее на своем ресурсе.

Даже ссылку в футере размещают на html-карту сайта. И это неплохо сказывается на индексации, так-то!

Как удалить сайтмап

Нужно либо убрать файл sitemap.xml из корневой папки сайта (либо, если её там нет, по тому пути, который у вас указан в инструментах вебмастера Яндекс или Google), либо удалить плагин, который формирует карту сайта. После этого убрать ссылку на сайтмап из robots.txt.

znet.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.

Adblock
detector