Файл sitemap


Создание и отправка файлов Sitemap

  1. Решите, какие страницы вашего сайта должны сканировать поисковые роботы Google, и определите канонические URL для каждой из них. 
  2. Определите, какой формат файла Sitemap нужно использовать. Создать файлы Sitemap можно как вручную, так и автоматически с помощью сторонних инструментов.
  3. Проверьте файл Sitemap с помощью инструментов, доступных в Search Console.
  4. Сделайте файл Sitemap доступным для Google. Для этого добавьте ссылку на него в файл robots.txt или отправьте его непосредственно в Google с помощью Search Console.

Форматы файлов Sitemap

Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол. Google в настоящее время не поддерживает атрибут <priority> в файлах Sitemap.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap, перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.


Расширения файлов Sitemap

Google поддерживает расширенный синтаксис в файле Sitemap для приведенных ниже типов информации. С его помощью можно добавлять описание видео, изображений и другого контента для улучшения его индексации.

  • Видео
  • Изображения
  • Новости

Общие рекомендации по файлам Sitemap

  • Используйте один и тот же синтаксис при указании URL. Google будет сканировать их в точности по списку. Например, если сайт размещен по адресу http://www.example.com/, не используйте URL /https://example.com/ (без www) или ./MoyaStranitsa.html (относительный URL).
  • Не указывайте в добавляемых URL идентификаторы сессий – это может привести к избыточному сканированию страниц.
  • Сообщите Google о версии страницы на других языках с помощью атрибута hreflang.
  • Файлы Sitemap должны использовать кодировку UTF-8, а в URL необходимо применять экранирование.
  • Разбивайте большие файлы Sitemap на файлы поменьше, чтобы снизить нагрузку на сервер при отправке информации в Google. Файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Создайте файл индекса Sitemap, перечислив в нем все файлы Sitemap, и отправьте его в Google вместо отдельных файлов.

  • Используйте рекомендуемые методы канонизации URL, чтобы сообщить Google о версии домена, для которой составлен файл Sitemap (если сайт доступен как с www, так и без www). В этом случае потребуется только один файл Sitemap.
  • Используйте расширения файлов Sitemap для дополнительных типов информации, в частности видео, изображений и новостей.
  • Если у мобильной и обычной версии страницы разные URL, мы рекомендуем указывать только на одну из них. Если все же требуется указание на оба URL, добавьте для них аннотации, чтобы распознавались разные версии.
  • Если существуют версии страницы на других языках или для других регионов, вы можете указать их с помощью файла Sitemap или атрибута hreflang.
  • Применяйте только цифры и латинские буквы. Файл Sitemap обязательно должен быть в кодировке UTF-8 (обычно ее можно выбрать при сохранении). Во всех файлах XML для любых значений данных (включая URL) необходимо применять экранирование элементов при использовании символов, перечисленных в таблице ниже.  Файл Sitemap может содержать только символы ASCII. В нем не должно быть расширенных символов ASCII, определенных управляющих кодов и специальных символов, таких как * и {}. Если они содержатся в URL, то при попытке его добавить появится сообщение об ошибке.

    Символ Маскирование
    Амперсанд & &amp;
    Одинарные кавычки &apos;
    Двойные кавычки « &quot;
    Больше чем > &gt;
    Меньше чем < &lt;

    Кроме того, все URL (включая адреса в вашем файле Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

    Ниже представлен пример URL, в котором содержится символ, не относящийся к кодировке ASCII (ü), а также символ, требующий экранирования (&).
    http://www.example.com/ümlat.html&q=name
    Этот же URL, переведенный в кодировку ISO-8859-1 (для размещения на сервере, использующем эту кодировку) и содержащий маскирование:
    http://www.example.com/%FCmlat.html&q=name
    Этот же URL, переведенный в кодировку UTF-8 (для размещения на сервере, использующем эту кодировку) и содержащий маскирование:
    http://www.example.com/%C3%BCmlat.html&amp;q=name
    Этот же URL, содержащий маскирование:
    http://www.example.com/%C3%BCmlat.html&amp;q=name


Как сделать файл Sitemap доступным для Google

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

  • Отправить его в Google с помощью инструмента Search Console
  • Вставить в любом месте файла robots.txt строку, указывающую на местоположение файла Sitemap:
    Sitemap: http://example.com/adres_sitemap.xml.
  • Воспользоваться запросом ping. Отправьте такой запрос HTTP GET:
      http://www.google.com/ping?sitemap=<polniy_url_faila_sitemap>
    Пример:
      http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

support.google.com

Что такое карта сайта?

Карта сайта – это древовидный (упорядоченный) список всех разделов и/или страниц сайта, который состоит из ссылок на эти страницы. Карты сайта бывают двух видов: для посетителей сайта (HTML версия) и для поисковых роботов (XML версия).

Зачем нужна карта сайта?


HTML карта сайта служит навигацией для ваших посетителей, благодаря ей они должны быстро сориентироваться в структуре вашего сайта и перейти в нужный им раздел.

XML карта сайта помогает найти поисковым роботам страницы вашего сайта, которые нужно проиндексировать. В случае большого количества страниц и уровней вложенности на сайте, XML карта даёт нам гарантию, что поисковые системы не пропустят страницы, которые должны быть проиндексированы. Также это показывает ваше желание помочь поисковым роботам, что повысит их доверие к вашему сайту.

Ещё одно различие обычной (HTML) карты сайта от XML версии помимо всего прочего заключается в том, что в XML нам не нужно строить упорядоченный, древовидный список (чтобы было красиво и понятно), мы можем указывать URL вразброс, так как важен сам факт их наличия, а не наглядность или последовательность.

Я считаю, что, если наличие HTML версии нужно далеко не всегда, то XML я использую даже для трёхстраничных сайтов, как минимум ради «галочки» в кабинете поисковых систем и мизерного повышения траста к своим сайтам. Делать её всего пару минут, а лишней она точно не будет.

Положительные стороны наличия XML карты сайта:

  • Более быстрая индексация новых страниц.
  • Гарантия, что робот найдёт нужные страницы.
  • Возможность распределения приоритетов при индексировании.
  • Возможность указания частоты обновления информации на каждой странице.
  • Возможность указания даты последнего обновления страницы.
  • Капля в сосуд доверия к вашему сайту.

Внимание!

Для файлов Sitemap должна использоваться кодировка UTF-8.

Размер XML карты сайта не должен превышать 10 MB и не должен содержать больше 50000 URL. Если ваша карта превышает данные показатели, вы можете разбить её на несколько файлов и создать файл индекса sitemap. Подробнее об этом дальше.

В XML версии все ссылки должны быть абсолютными! То есть начинаться с
http://имя_домена/

Как создать sitemap.xml своими руками?

Вначале вы должны создать файл с произвольным именем и расширением .xml, либо .txt или RSS канал, но XML формат даёт больше возможностей и более привычен. Также рекомендуется размещать его именно в корне вашего сайта и называть sitemap.xml, но опять-таки повторюсь, вы можете пренебречь этими рекомендациями и назвать файл как хотите, а также положить его куда угодно. Лично я за классику, поэтому для этого блога сделал всё как рекомендуется:

http://site-on.net/sitemap.xml

Далее открываем файл на редактирование, например, с помощью редактора кода Sublime Text 2 или phpDesigner 8 и первой строчкой, без пробелов и табуляций пишем xml-пролог, в котором мы указываем кодировку:

<?xml version="1.0" encoding="UTF-8"?>

После этого идёт обязательный корневой XML-тег:


<urlset>

Он должен содержать стандарт текущего протокола:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Затем мы перечисляем всё ссылки и их параметры, для того чтобы начать описание новой ссылки мы должны написать обязательный тег

<url></url>

В дочерних тегах которого будет адрес ссылки и её параметры. Чтобы указать URL адрес страницы мы должны записать его абсолютный путь внутри тега

<loc></loc>

Который, как я уже писал, будет вложен в тег <url>. В конце последнего <url> не забываем закрыть корневой элемент </urlset>. Итого минимальная карта сайта будет иметь вид:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>  <loc>http://site-on.net/</loc>  </url> </urlset>

Ещё раз повторю, что все теги, написанные здесь обязательны — без них ваша карта сайта не будет работать вообще, так как XML не допускает ошибок! А теперь давайте поговорим о необязательных тегах, благодаря которым мы можем указывать дополнительную информацию о каждом конкретном URL, они, как и обязательный тег loc пишутся внутри тега url.

Тег lastmod

Тег

<lastmod>

Предназначен для указания даты последнего изменения страницы, дата должна быть записана по стандарту W3C Datetime. Например:


<url>  <loc>http://site-on.net/</loc>  <lastmod>2013-06-04T08:34:46+01:00</lastmod> </url>

Можно опустить точное время и записывать lastmod в более привычном виде:

<lastmod>2013-06-04</lastmod>

Тег changefreq

Тег

<changefreq>

Позволяет указать приблизительную частоту изменений страницы. Его допустимые значения:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Например:

<url>  <loc>http://site-on.net/</loc>  <lastmod>2013-06-04</lastmod>  <changefreq>weekly</changefreq> </url>

В данном примере мы указали частоту обновления главной страницы: раз в неделю. Обращаю ваше внимание, что как и в случае с директивами robots.txt – тег changefreq носит лишь рекомендательный характер, поэтому если вы укажите частоту обновления страницы раз в год, то это ещё не значит что роботы будут посещать её всего лишь 1 раз в год, они могут наведываться хоть каждую неделю, если посчитают нужным.

Тег priority

И последним тегом, которым вы можете пользоваться при составлении своего файла sitemap.xml является:


<priority></priority>

Он показывает, какие страницы нужно проиндексировать как можно скорее, а какие можно и потом, то есть данный тег расставляет приоритет важности (очередь на сканирование). Значение задаётся от 0.0 до 1.0, значение для всех URL по умолчанию равно 0.5.

Внимание!

Priority – это относительная величина, поэтому нет смысла писать для всех страниц (с целью накрутки) приоритет – 1.0, это действие бессмысленно.

Priority – не влияет на позиции страниц в поисковой выдаче! Его значение влияет только на очередь индексирования между страницами вашего сайта.

Пример:

<url>  <loc>http://site-on.net/create</loc>  <priority>1.0</priority> </url> <url>  <loc>http://site-on.net/create/html</loc>  <priority>0.8</priority> </url>

В каждом URL вашей карты сайта вы можете использовать разные сочетания необязательных тегов (атрибутов):

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>  <loc>http://site-on.net/</loc>  <lastmod>2013-06-04</lastmod>  <changefreq>weekly</changefreq>  <priority>1.0</priority> </url> <url>  <loc>http://site-on.net/about</loc>  <lastmod>2013-06-04T08:34:48+01:00</lastmod>  <priority>1.0</priority> </url> <url>  <loc>http://site-on.net/create</loc>  <priority>1.0</priority> </url>  </urlset>

Маскирование символов

По стандарту, в sitemap.xml все нижеприведённые символы должны быть замаскированы с помощью соответствующих им значений в таблице:


sitemap

Вам необязательно маскировать символы вручную, вы можете воспользоваться этим сервисом: www.accessify.com

Создание файла индекса Sitemap для использования нескольких sitemap.xml

По стандарту, если у вас несколько файлов sitemap.xml, то они должны быть перечислены в файле индекса – это, как бы парадоксально не звучало, карта ваших карт сайта. То есть в файле индекса содержится перечень всех ваших файлов sitemap, в нём вы также можете пользоваться необязательным атрибутом lastmod.

Структура файла индекса полностью идентична структуре обычной карты сайта, поэтому чтобы не растягивать статью просто приведу вам пример:

<?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <sitemap>  <loc>http://site-on.net/sitemap1.xml</loc>  <lastmod>2013-06-04</lastmod>  </sitemap>  <sitemap>  <loc>http://site-on.net/sitemap2.xml</loc>  </sitemap> </sitemapindex>

Вся вышеприведённая информация взята с официального источника: www.sitemaps.org

Как создать правильную карту сайта для Joomla

Если ваш сайт имеет пару десятков страниц и не собирается увеличивать их количество, то вы, конечно же, можете создать карту сайта вручную. Между прочим, я считаю такой способ более предпочтительным по ряду причин:

  • Вам не нужно устанавливать дополнительные компоненты и плагины;
  • Они в свою очередь могут иметь изъяны безопасности;
  • Карта сайта будет быстрее загружаться, так как не будет отрисовываться на лету.

Однако если количество страниц вашего сайта давно перевалило за 20 и постоянно растёт, то составление карты сайта своими руками теряет свою целесообразность на фоне всех неудобств и затрат времени. Поэтому ребята из Guillermo Vargas решили создать замечательный компонент для Joomla под названием XMAP, который помимо самой Джумлы имеет поддержку большинства популярных компонентов (VirtueMart, Zoo, K2 и др.).

Благодаря этому компоненту вы всего за пару минут создадите правильную карту (HTML и XML) для сайта любого объёма!

site-on.net

Создание sitemap.xml (online generator)

Одним из критериев технической оптимизации сайта и его готовности к продвижению является наличие файла sitemap.xml, содержащего полный набор актуальных страниц и отображающих текущую структуру сайта. Этот файл используется поисковыми системами для нахождения новых страниц сайта, а также с помощью него роботу поисковой системы сообщается информация о тех страницах, которые необходимо индексировать.

Помимо самих URL страниц, файл sitemap.xml содержит дополнительную информацию в виде мета-данных, указывающих для каждого URL:

  • дату его последнего изменения
  • частоту изменений
  • его приоритетность на уровне сайта

Чтобы не тратить время на создание подобного файла вручную и был разработан данный инструмент.
Данный Sitemap Generator предназначен для онлайн генерации файла "sitemap.xml", полностью соответствующего стандартам XML и учитывающегося всеми поисковыми системами.

После создания сайтмап, его необходимо скопировать в корневую папку сайта и добавить в конец файла "robots.txt" директиву "Sitemap: http://www.вашсайт.ru/sitemap.xml".

www.majento.ru

Карта сайта Sitemap XML

Карта сайта (Sitemap) – это специальный файл в формате .xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.

Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.

Влияет ли Sitemap на продвижение?

Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.

С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.

Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата .xml.

Файл sitemap xml – доступные директивы

  • Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
  • Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
  • Параметром loc обозначают URL адрес страницы.
  • Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».

semantica.in

Функции карты сайта

  • Хранение актуальной информации об индексируемых страницах.
  • Передача поисковым системам информации о частоте обновления контента.
  • Передача роботу указаний по поводу индексации, включая установленный приоритет страниц относительно друг друга и в структуре сайта.
  • Предоставление ссылок на весь индексируемый контент в удобном формате, обеспечивающем быстрый доступ ко всем страницам сетевого ресурса.

Файл Sitemap.xml создают после составления семантического ядра, определения структуры сайта и подготовки к продвижению в интернете. Его размещают в директории ресурса, после чего сообщают поисковым системам его сетевой адрес.

Пользовательская карта сайта

Обычным посетителям сайта для поиска нужной информации удобно пользоваться списком обычных ссылок. Поэтому для них карту сайта создают в привычном формате HTML. В окне браузера такая страница выглядит как древовидный список адресов, по которым пользователь может быстро перейти в любой раздел и найти нужную информацию. Для поисковых систем этот формат не подходит. Когда робот посещает такую карту, он видит обычную страницу, на которой размещено большое количество ссылок практически без текстовой информации. Поэтому он считает ее бесполезной и может не проиндексировать часть ссылок или вовсе исключить страницу из поиска. Это негативно повлияет на дальнейшее продвижение сайта. Также есть существенные ограничения на количество размещаемых ссылок при создании карты в формате HTML. Чтобы сделать карту полезной как для посетителей, так и для продвижения web-сайта в сети, нужно следовать простым рекомендациям:

  • не размещайте на одной странице более 100 ссылок. Лучше ограничиться указанием адресов, ведущих на основные разделы, подразделы, важные страницы, которые недоступны из основного меню;
  • не используйте дополнительное оформление. К нему относятся графические элементы, CSS-стили, скрипты, которые делают карту громоздкой.

Для поискового продвижения сайта в сети HTML-карту лучше не использовать. Для этого существует формат XML.

sitemap2.jpg

Карта сайта для поисковых систем

Карта sitemap.xml распознается Google, «Яндексом» и другими популярными поисковыми системами. В файле пользователь может разместить до 50 тыс. ссылок с дополнительной информацией. То есть кроме адресов страниц, разделов и подразделов можно указать частоту обновления контента, время последнего редактирования записи, выставить относительный приоритет в индексации. Делают это при помощи специальных тегов. Информация в карте сайта является рекомендацией, а не строгой командой. Поисковая система учтет пожелания вебмастера, но действовать будет так, как посчитает нужным. Если пользователь с целью повышения эффективности СЕО-продвижения укажет в файле определенный период обновления контента, то робот не станет точно следовать указаниям. Он выберет свой срок обхода на основе представленных данных и результатов, полученных после очередной индексации ресурса.

Как проверить карту сайта и показать ее поисковым системам

Для качественного SEO-продвижения роботы поисковиков должны узнать о месторасположении карты сайта. Показать карту можно двумя способами: передать поисковой системе сетевой адрес файла XML или записать ссылку в файл robots.txt. При желании можно указать сразу несколько ссылок на различные карты. Все они будут обработаны поисковыми роботами, и пользователь получит результаты проверок каждой из них. Прежде чем указывать поисковику на карту, следует проверить корректность ее составления. Сделать это можно при помощи специальных сервисов, предлагаемых поисковыми системами и обычными разработчиками. Например, в «Яндекс.Вебмастере» можно проверить файл, загрузив его на сервер и указав прямую ссылку или передав содержимое путем его копирования и вставки в специальное поле.

Особенности составления карты сайта

  • Карта сайта sitemap.xml должна находиться в директории домена сайта. Нельзя составлять карту одновременно для домена и поддоменов, прописывая ссылки всех страниц в одном файле.
  • Имя для карты сайта можно выбрать любое, главное, не ошибиться с расширением файла.
  • Максимальное количество ссылок – 50 тыс.
  • Максимальный объем файла – 10 Мбайт.
  • Если требуется сделать карту сайта с количеством ссылок, превышающим максимальное значение, то разрешается делить файл на несколько штук. То же самое делают при превышении объема.
  • Информацию в файле сохраняют в кодировке UTF-8. Если сайту присвоен кириллический домен, преобразование делать необязательно. Поисковые системы распознают адреса в любом виде.

Создание карты сайта

При SEO-оптимизации создание карты сайта является важным процессом, от правильности проведения которого зависят скорость и эффективность будущего индексирования контента. Если пользовательскую карту можно быстро создать вручную, просто скопировав в текстовый файл ссылки на все важные страницы сайта, то с формированием карты в формате XML придется повозиться. В таком файле информация представлена в удобном для поисковиков виде. Кроме обычных ссылок на страницы с контентом в нем присутствуют специальные теги, директивы, параметры. Чтобы правильно создать карту, вебмастер должен научиться пользоваться ими.

SEO и sitemap.xml тесно связаны. Независимо от того, каким способом будет создана карта сайта, главное – правильно прописать в ней ссылки на контент, который должен находиться в поиске. Очень важно не допускать ошибок, не запутывать робота наличием ссылок, запрещенных в файле robots.txt, присутствием неканонических адресов. Не нужно выгружать в файл XML все, что есть на сайте. От этого пользы в рамках оптимизации сайта не будет. Наоборот, робот может посчитать такую карту некорректно сформированной, что может повлиять на индексирование и позиции сетевого ресурса в поисковой выдаче.

Методы создания карты в формате XML

Генерация sitemap.xml автоматически. Сделать карту можно при помощи онлайн-сервисов, указав сетевой адрес ресурса. Робот посетит сайт, соберет все ссылки, добавит их в файл, сохранит его в нужном формате и предложит пользователю скачать на свой компьютер или сразу в директорию сайта. В интернете существует большое количество сервисов, которые предлагают разные дополнительные возможности и имеют определенные ограничения. Программы-генераторы, работающие на компьютере пользователя, обычно распространяются платно. Они обладают множеством функций, которые будут очень полезны в эффективной работе с несколькими ресурсами.

Наполнение карты сайта вручную. Многие платные и бесплатные CMS предлагают пользователям инструменты ручной и автоматической генерации карты сайта. При наличии ручного инструмента вебмастеру придется самостоятельно обновлять карту по мере наполнения сетевого ресурса новым контентом. Если присутствует автоматический генератор, думать об актуальности карты сайта не придется. Сервис регулярно проверяет состояние имеющихся карт и обновляет их по мере необходимости.

XML-формат

При ручном создании или проверке карты сайта на наличие ошибок пользователю потребуются знания XML-схемы протокола Sitemap. Формат состоит из специальных тегов, которые бывают обязательными и дополнительными. Дополнительные теги вебмастер использует по желанию. Поддержка необязательных тегов зависит от поисковой системы, для которой они добавляются в карту. С подробной информацией о дополнительных тегах можно ознакомиться на странице помощи поискового сервиса.

XML-схема Sitemap:

  1. Файл открывают тегом <urlset> и зарывают </urlset>. Все, что находится между ними, является картой сайта и будет прочитано поисковым роботом. В открывающемся теге указывают стандарт используемого протокола.
  2. Каждый адрес страницы сайта записывают между тегами <url> и </url> с указанием дополнительных параметров.
  3. Между тегами <loc> и </loc> записывают адреса страниц.

Дополнительные параметры для сетевых адресов:

  • Lastmod. Его используют для указания времени обновления страницы;
  • Changefreq. Параметр сообщает роботу о частоте обновления контента;
  • Priority. В нем указывают относительный приоритет страниц.

При формировании нескольких карт в одном файле в качестве открывающего и закрывающего тега используют sitemapindex. Для открытия и закрытия очередной карты сайта применяют тег sitemap.

Влияние карты сайта на эффективность поискового продвижения

Роботы поисковых систем индексируют сайты независимо от того, есть в директории карта сайта или нет. Поисковая система способна самостоятельно находить ссылки на имеющиеся страницы, переходить по ним, анализировать контент и добавлять его в поиск. Карта сайта лишь помогает работу избегать ошибок при индексировании крупных порталов с запутанной структурой и огромным количеством ссылок. Причины возникновения ошибок при сканировании без карты сайта:

  • наличие контента, доступного только при переходе по длинной цепочке ссылок;
  • присутствие динамических URL-адресов.

Карта упрощает и ускоряет процесс индексирования, но не влияет на ранжирование страниц. Она поможет вебмастеру быстрее выводить в поиск новые материалы. Преимущества использования правильно созданной карты сайта:

  • повышение скорости обнаружения новых страниц и добавления их в индекс поисковой системы;
  • быстрое нахождение и индексация обновленного контента;
  • ускорение попадания сайта в результаты поисковой выдачи.

wiki.rookee.ru

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам — помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта. Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps, предложенное Google стало, пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом.

htmlweb.ru

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

После создания файл карты будет иметь следующий путь: http://site.ru/sitemap.xml

Кстати, имя карты можно заменить любым, главное здесь – это не менять расширение *.xml. Только нужно будет написать правильный путь к данному файлу в robots.txt.

Инструкция по настройке плагина:

Как проверить сайтмап и сообщить о нем поисковикам

Проверять sitemap на валидность можно, добавив его в вебмастер Гугла или Яндекса. Это самый простой способ, поисковики лучше всего скажут об ошибках.

Вот где проверка расположена в Яндекс Вебмастере:

proverit-sitemap

А вот где в инструментах Вебмастера Google:

proverit-sitemap-google

Дать Яндексу знать о сайтмапе можно путем добавления в robots.txt такого кода:

Далее в webmaster.yandex.ru нужно открыть «Файлы sitemap» (пункт меню «настройка индексации») и там написать адрес xml-карты.

По аналогии можно добавить sitemap и в Google. Только там «Файлы sitemap» находятся в другой вкладке — «Сканирование».

Нужно ли скрывать карту сайта

Некоторые параноидальные вебмастера прячут сайтмап, опасаясь за свой контент. Ведь при наличии карты сайта он может быть легко сворован. Файл содержит почти всю структуру сайта, все пути на его страницы, то есть с помощью карты мошенники легко смогут сделать дубли или локальные копии ресурса. Отсутствие же этого файла во многом затруднит «ворам» задачу.

Но побеждают те, кто считает, что не нужно скрывать карту сайта, и даже наоборот – необходимо создавать и отображать ее на своем ресурсе.

Даже ссылку в футере размещают на html-карту сайта. И это неплохо сказывается на индексации, так-то!

Как удалить сайтмап

Нужно либо убрать файл sitemap.xml из корневой папки сайта (либо, если её там нет, по тому пути, который у вас указан в инструментах вебмастера Яндекс или Google), либо удалить плагин, который формирует карту сайта. После этого убрать ссылку на сайтмап из robots.txt.

znet.ru

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>  <loc>http://mysite.ru/</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  <changefreq>always</changefreq>  <priority>1.0</priority>  </url>  <url>  <loc>http://mysite.ru/category/</loc>  <lastmod>2014-09-18T18:57:09+04:00</lastmod>  <changefreq>hourly</changefreq>  <priority>0.8</priority>  </url>  <url>  <loc>http://mysite.ru/page/</loc>  <lastmod>2014-09-18T18:59:37+04:00</lastmod>  <changefreq>daily</changefreq>  <priority>0.6</priority>  </url> </urlset>

Где используются следующие обязательные теги:

  • <urlset> — родительский тег, в него заключаются все url-адреса;
  • <url> — тег, в котором указываются сведения о конкретном url-адресе;
  • <loc> — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

  • <lastmod> — этот тег заключает в себе дату последнего изменения страницы;
  • <changefreq> — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
  • <priority> — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <sitemap>  <loc>http://mysite.ru/sitemaps/sitemap01.xml</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  </sitemap>  <sitemap>  <loc>http://mysite.ru/sitemaps/sitemap02.xml</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  </sitemap> </sitemapindex>

Здесь используются уже знакомые нам теги <loc> и <lastmod>, а так же обязательные теги:

  • <sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
  • <sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

  1. Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
  2. Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
  3. Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
  4. Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
  5. Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

convertmonster.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.