Sitemap это


Карта сайта Sitemap XML

Карта сайта (Sitemap) – это специальный файл в формате .xml, хранящийся в корневой директории сервера. Владельцы сайтов нередко интересуются – зачем нужен Sitemap и влияет ли наличие/отсутствие этого документа на поисковое продвижение? Чтобы ответить на эти вопросы, рассмотрим назначение и структуру карты сайта.

Итак, зачем нужен xml Sitemap, что он собой представляет? Карта сайта – это своеобразный каталог, состоящий из перечня ссылок, ведущих на все разделы и страницы сайта. Файл Sitemap помогает поисковым системам более быстро и качественно индексировать интернет проект. Это особенно важно в том случае, если объем web-ресурса исчисляется тысячами или десятками тысяч страниц.

Больше видео на нашем канале — изучайте интернет-маркетинг с SEMANTICA

Sitemap это

Влияет ли Sitemap на продвижение?


Поисковики не будут пессимизировать интернет проект за отсутствие этого файла. Теоретически, робот должен самостоятельно просканировать все страницы сайта и включить их в поиск. Однако нужно учитывать, что система может дать сбой и не найти некоторые web-документы. Обычно «проблемными местами» становятся разделы, в которые можно попасть только по длинной цепочке ссылок, и динамически создаваемые URLы.

С точки зрения SEO, Sitemap имеет определенное влияние, поскольку карта сайта значительно ускоряет индексацию. К тому же повышается вероятность, что web-страницы попадут в индекс до того, как недобросовестные конкуренты успеют скопировать и опубликовать контент. Поисковые системы отдают предпочтение первоисточнику, тогда как копипаст подвергается пессимизации.

Как создать сайт мап

Проще всего воспользоваться одним из специализированных сервисов. К примеру, online-генератор http://www.mysitemapgenerator.com/ позволяет бесплатно сделать карту сайта, размером до 500 страниц. Предусмотрена возможность платной генерации Sitemap без каких либо ограничений. Вебмастеру потребуется всего лишь указать адрес своего сайта, а затем поместить полученный файл в корневой папке сервера.


Можно воспользоваться программой SiteMap Generator. В поле http:// следует завести адрес стартовой страницы сайта, кликнуть по клавише «start» и подождать, пока будет сформирована карта сайта. Затем нужно перейти на вкладку «Google Sitemap/XML», скопировать полученный код и вставить его в файл формата .xml.

Файл sitemap xml – доступные директивы

  • Параметр Lastmod указывает роботу, когда документ последний раз обновлялся.
  • Тег priory указывает на приоритет документа, по отношению к другим страницам сайта.
  • Параметром loc обозначают URL адрес страницы.
  • Тег changefreq используется для обозначения динамичности страниц (документы с параметром «0» робот будет посещать очень редко).

Как сообщить поисковику о карте сайта

Чтобы оповестить Яндекс, можно добавить директиву sitemap в файл robots.txt. Код будет выглядеть следующим образом:

Кроме того, можно передать карту сайта через интерфейс Яндекс.Вебмастер. Для этого нужно перейти на вкладку «Настройка индексирования» >> «файлы Sitemap», а затем указать системе адрес карты сайта.

Аналогичным образом можно оповестить Google. В панели инструментов для вебмастеров нужно перейти на вкладку «Сканирование» >> «файлы Sitemap».

semantica.in

Определения XML-тегов

Ниже описаны доступные XML-теги.


Атрибут Описание
<urlset> обязательный

Инкапсулирует этот файл и указывает стандарт текущего протокола.

<url> обязательный

Родительский тег для каждой записи URL-адреса. Остальные теги являются дочерними для этого тега.

<loc> обязательный

URL-адрес страницы. Этот URL-адрес должен начинаться с префикса (например, HTTP) и заканчиваться косой чертой, если Ваш веб-сервер требует этого. Длина этого значения не должна превышать 2048 символов.

<lastmod> необязательно

Дата последнего изменения файла. Эта дата должна быть в формате W3C Datetime. Этот формат позволяет при необходимости опустить сегмент времени и использовать формат ГГГГ-ММ-ДД.

Обратите внимание, что этот тег не имеет отношения к заголовку "If-Modified-Since (304)", который может вернуть сервер, поэтому поисковые системы могут по-разному использовать информацию из этих двух источников.

<changefreq>

необязательно

Вероятная частота изменения этой страницы. Это значение предоставляет общую информацию для поисковых систем и может не соответствовать точно частоте сканирования этой страницы. Допустимые значения:

  • always
  • hourly
  • daily
  • weekly
  • monthly
  • yearly
  • never

Значение»всегда» должно использоваться для описания документов, которые изменяются при каждом доступе к этим документам. Значение «никогда» должно использоваться для описания архивных URL-адресов.

Имейте в виду, что значение для этого тега рассматривается как подсказка, а не как команда. Несмотря на то, что сканеры поисковой системы учитывают эту информацию при принятии решений, они могут сканировать страницы с пометкой «ежечасно» менее часто, чем указано, а страницы с пометкой «ежегодно» – более часто, чем указано. Сканеры могут периодически сканировать страницы с пометкой «никогда», чтобы отслеживать неожиданные изменения на этих страницах.

<priority>

необязательно

Приоритетность URL относительно других URL на Вашем сайте. Допустимый диапазон значений — от 0,0 до 1,0. Это значение не влияет на процедуру сравнения Ваших страниц со страницами на других сайтах — оно только позволяет указать поисковым системам, какие страницы, по Вашему мнению, более важны для сканеров.

Приоритет страницы по умолчанию — 0,5.

Следует учитывать, что приоритет, который Вы назначили странице, не влияет на положение Ваших URL на страницах результатов той или иной поисковой системы. Поисковые системы используют эту информацию при обработке URL, которые относятся к одному и тому же сайту, поэтому можно использовать этот тег для увеличения вероятности присутствия в поисковом индексе Ваших самых важных страниц.

Кроме того, следует учитывать, что назначение высокого приоритета всем URL на Вашем сайте не имеет смысла. Поскольку приоритетность – величина относительная, этот параметр используется для того, чтобы определить очередность обработки URL в пределах сайта.

К началу

Маскирование символов

В файле Sitemap должна использоваться кодировка UTF-8 (обычно ее можно выбрать при сохранении данного файла). В XML-файлах для всех значений данных (включая URL-адреса) должно использоваться маскирование символов, перечисленных ниже в таблице.


Символ Маскирование
Амперсанд & &amp;
Одинарные кавычки &apos;
Двойные кавычки » &quot;
Больше > &gt;
Меньше < &lt;

Кроме того, для всех URL (включая URL из вашего файла Sitemap) должны использоваться маскирование и кодировка для удобочитаемости веб-сервером, на котором они размещаются. Однако, если для создания своих URL Вы используете какой-либо вид скрипта, инструментального средства или журнала (любой способ кроме ввода их вручную), то маскировка и кодировка применяются автоматически. Убедитесь в том, что все URL-адреса соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и XML-стандарту.

Ниже приведен пример URL-адреса, в котором используется символ, отличный от ASCI (ü), а также символ, для которого необходимо маскирование (&):

http://www.example.com/ümlat.html&q=name

Ниже этот же URL-адрес приведен в кодировке ISO-8859-1 (для размещения на сервере, который использует эту кодировку) с маскированием:


http://www.primer.ru/%FCmlat.html&q=name

Ниже этот же URL-адрес приведен в кодировке UTF-8 (для размещения на сервере, который использует эту кодировку) и с использованием маскирования:

http://www.example.com/%C3%BCmlat.html&q=name

Ниже приведен тот же URL-адрес, но с использованием маскирования:

http://www.example.com/%C3%BCmlat.html&amp;q=name

Пример XML-файла Sitemap

В следующем примере показан файл Sitemap в XML-формате. Sitemap в этом примере содержит небольшое число URL-адресов, каждый из которых использует разное сочетание необязательных параметров.

    <?xml version="1.0" encoding="UTF-8"?>    <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">       <url>          <loc>http://www.example.com/</loc>          <lastmod>2005-01-01</lastmod>          <changefreq>monthly</changefreq>          <priority>0.8</priority>       </url>       <url>          <loc>http://www.example.com/catalog?item=12&amp;desc=vac.  

url>    <url>       <loc>http://www.example.com/catalog?item=74&amp;desc=vacation_newfoundland</loc>       <lastmod>2004-12-23T18:00:15+00:00</lastmod>       <priority>0.3</priority>    </url>    <url>       <loc>http://www.example.com/catalog?item=83&amp;desc=vacation_usa</loc>       <lastmod>2004-11-23</lastmod>    </url> </urlset>

К началу

Использование файлов индекса Sitemap (для создания группы из нескольких файлов Sitemap)

Можно предоставить несколько файлов Sitemap, однако в каждом из этих файлов должно быть не более 50000 URL, а размер каждого из этих файлов не должен превышать 50 МБ. При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала. Однако размер файла sitemap без сжатия не должен превышать 50 МБ. Если необходимо перечислить более 50000 URL-адресов, следует создать несколько файлов Sitemap.


Если требуется передать несколько файлов Sitemap, необходимо перечислить каждый из этих файлов в файле индекса Sitemap. В файле индекса Sitemap может быть перечислено не более 50000 файлов Sitemap. Размер этого файла не должен превышать 50 МБ (52 428 800 байт) и может быть сжат. У вас может быть несколько файлов Sitemap. Формат XML-файла индекса Sitemap очень похож на формат XML-файла Sitemap.

Файл индекса Sitemap должен:

  • В начале поставьте открывающий тег <sitemapindex>, а затем поставьте закрывающий тег </sitemapindex>.
  • Добавьте запись <sitemap> для каждого файла Sitemap как родительский XML-тег.
  • Включите дочернюю запись <loc> для каждого родительского тега <sitemap>.

Необязательный тег <lastmod> также доступен для файлов индекса Sitemap.

Примечание. Файл индекса Sitemap может указывать только файлы Sitemap, которые находятся на том же сайте, что и файл индекса Sitemap. Например, файл индекса http://www.vashsait.ru/sitemap_index.xml может включать файлы Sitemap, размещенные на сайте http://www.vashsait.ru, но не на сайте http://www.primer.ru или http://vashkhost.vashsait.ru. Для файла индекса Sitemap, как и для файлов Sitemap, необходимо использовать кодировку UTF-8.


Пример индекса XML Sitemap

В следующем примере показан файл индекса Sitemap, который содержит два файла Sitemaps.

    <?xml version="1.0" encoding="UTF-8"?>    <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">       <sitemap>          <loc>http://www.example.com/sitemap1.xml.gz</loc>          <lastmod>2004-10-01T18:23:17+00:00</lastmod>       </sitemap>       <sitemap>          <loc>http://www.example.com/sitemap2.xml.gz</loc>          <lastmod>2005-01-01</lastmod>       </sitemap>    </sitemapindex>    

Примечание: для URL-адресов Sitemap, как и для всех значений в XML-файлах, должно использоваться маскирование .

Определения XML-тегов индекса Sitemap

Атрибут Описание
<sitemapindex> обязательный Инкапсулирует информацию о всех файлах Sitemap в этом файле.
<sitemap> обязательный Инкапсулирует информацию об отдельном файле Sitemap.
<loc> обязательный

Указывает местоположение файла Sitemap.

Этим местоположением может быть файл Sitemap, файл Atom, файл RSS или простой текстовый файл.

<lastmod> необязательно

Указывает время изменения соответствующего файла Sitemap. Не соответствует времени изменения ни одной из страниц в этом файле Sitemap. Значение тега "lastmod" должно быть представлено в формате W3C Datetime.

Предоставляя отметку времени последнего изменения, Вы позволяете сканерам поисковой системы извлекать только часть файлов Sitemap в индексе, то есть сканер может извлекать только те файлы Sitemap, которые были изменены после определенной даты. Этот механизм частичного извлечения файлов Sitemap позволяет быстро обнаруживать новые URL на сайтах больших размеров.

К началу

Другие форматы файла Sitemap

Протокол Sitemap дает возможность обеспечить поисковые системы подробной информацией о страницах, и мы рекомендуем его использовать, поскольку при этом можно указать дополнительные сведения о страницах сайта, а не только их URL. Помимо протокола XML мы также поддерживаем каналы RSS и текстовые файлы, которые предоставляют более ограниченную информацию.

Канал синдикации

Вы можете предоставить канал RSS 2.0, Atom 0.3 или 1.0. Как правило, этот формат используется только в том случае, если на сайте уже есть канал синдикации. Обратите внимание, что в этом случае поисковые системы, возможно, не получат информацию обо всех URL на вашем сайте, поскольку данный канал предоставляет информацию только по последним URL. Однако поисковые системы могут использовать эту информацию, чтобы обнаружить другие страницы сайта, переходя по ссылкам на страницах канала в процессе обычного сканирования. Убедитесь, что канал расположен в каталоге самого высокого уровня, который должен сканироваться поисковой системой. Поисковые системы извлекают информацию из канала следующим образом.

  • поле <link> – указывает URL
  • поле даты изменения (поле <pubDate> для каналов RSS и дата <обновления> для каналов Atom) – указывает, когда каждый URL был изменен в последний раз. Использовать поле даты изменения необязательно.

Текстовый файл

Вы можете предоставить простой текстовый файл, содержащий один URL в строке. Этот текстовый файл должен соответствовать следующим требованиям.

  • В этом текстовом файле в каждой строке должен быть только один URL. Эти URL не могут содержать новые внедренные строки.
  • Необходимо указать URL полностью, включая префикс http.
  • Каждый текстовый файл может содержать не более 50 000 URL, и его размер не должен превышать 50 МБ (52 428 800 байт). Если сайт включает более 50000 URL, можно разделить этот список на несколько текстовых файлов и передать каждый файл отдельно.
  • Для этого текстового файла необходимо использовать кодировку UTF-8. Ее можно задать при сохранении файла (например, в программе "Блокнот" она указана в меню "Кодировка" диалогового окна "Сохранить как").
  • Этот текстовый файл не должен включать никаких других данных, кроме списка URL.
  • Этот текстовый файл не должен содержать данных заголовка или нижнего колонтитула.
  • При необходимости файл Sitemap можно сжать с помощью архиватора gzip, чтобы уменьшить требования к пропускной способности канала.
  • Этому текстовому файлу можно присвоить любое имя. Убедитесь, что ваши URL-адреса соответствуют стандарту RFC-3986 для URI-адресов и стандарту RFC-3987 для файлов IRI.
  • Загрузите этот текстовый файл в каталог самого высокого уровня, который должен сканироваться поисковой системой, и убедитесь, что в файл не внесены адреса URL, находящиеся в каталоге более высокого уровня.

Ниже приведен пример строк текстового файла.

http://www.example.com/catalog?item=1    
http://www.example.com/catalog?item=11

К началу

Местоположение файла Sitemap

Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Файл Sitemap, расположенный в каталоге http://primer.ru/catalog/sitemap.xml, может включать любые URL-адреса, начинающиеся с http://primer.ru/catalog/, но не должен включать URL-адреса, начинающиеся с http://primer.ru/images/.

Если у Вас есть разрешение на изменение файла http://primer.org/path/sitemap.xml, можно предположить, что у Вас также имеется разрешение на предоставление информации для URL с префиксом http://primer.org/path/. Примеры допустимых URL в http://primer.ru/catalog/sitemap.xml включают:

    http://example.com/catalog/show?item=23    http://example.com/catalog/show?item=233&user=3453    

К недопустимым URL-адресам в файле http://primer.ru/catalog/sitemap.xml относятся следующие:

    http://example.com/image/show?item=23    http://example.com/image/show?item=233&user=3453    https://example.com/catalog/page1.html    

Это значит, что все URL-адреса, перечисленные в файле Sitemap, должны использовать один и тот же протокол (в данном случае — HTTP) и должны быть размещены на том же хосте, что и файл Sitemap. Например, если файл Sitemap расположен по адресу http://www.primer.ru/sitemap.xml, в нем могут быть указаны URL-адреса из субдомена http://subdomen.primer.ru.

URL-адреса, которые считаются недопустимыми, исключаются из дальнейшего рассмотрения. Настоятельно рекомендуется поместить файл Sitemap в корневой каталог Вашего веб-сервера. Например, если адрес Вашего сервера — primer.ru, Ваш файл индекса Sitemap должен быть размещен по адресу http://primer.ru/sitemap.xml. Возможно, в некоторых случаях нужно будет создать различные файлы Sitemap для различных путей на Вашем сайте (например, если полномочия доступа в Вашей организации установлены таким образом, что доступ с правом записи к различным каталогам предоставляется отдельно).

Если при передаче файла Sitemap используется путь, содержащий номер порта, необходимо включить этот номер порта в путь в каждом URL, перечисленном в файле Sitemap. Например, если Ваш файл Sitemap находится в http://www.primer.ru:100/sitemap.xml, то каждый URL, перечисленный в файле Sitemap, должен начинаться с http://www.primer.ru:100.

Файлы Sitemap и перекрестная отправка

Чтобы отправить файлы Sitemap на несколько узлов с одного, необходимо «подтвердить» владение узлом(-ами) для которого URL-адреса отправляются в файле Sitemap. Ниже приведен пример. Допустим, необходимо отправить файлы Sitemap на 3 узла:

    www.host1.com с файлом Sitemap sitemap-host1.xml    www.host2.com с файлом Sitemap sitemap-host2.xml    www.host3.com с файлом Sitemap sitemap-host3.xml    

Более того, необходимо разместить все три файла Sitemap на одном узле: www.sitemaphost.com. Таким образом, URL-адреса Sitemaps будут следующими:

    http://www.sitemaphost.com/sitemap-host1.xml    http://www.sitemaphost.com/sitemap-host2.xml    http://www.sitemaphost.com/sitemap-host3.xml    

По умолчанию это приведет к ошибке «перекрестная отправка», так как была произведена попытка отправить URL-адреса для узла www.host1.com через файл Sitemap, который расположен на узле www.sitemaphost.com (то же самое и для двух других узлов). Первый способ избежать этой ошибки — это доказать свое владение (например право изменять файлы) узлом www.host1.com. Это можно сделать, изменив файл robots.txt на узле www.host1.com, чтобы указать на файл Sitemap на узле www.sitemaphost.com.

В этом примере файл robots.txt на узле http://www.host1.com/robots.txt содержал бы строку «Sitemap: http://www.sitemaphost.com/sitemap-host1.xml». Изменив файл robots.txt на узле www.host1.com с указанием на файл Sitemap на узле www.sitemaphost.com, вы косвенно доказали, что являетесь владельцем узла www.host1.com. Другими словами, кто бы не управлял файлом robots.txt на узле www.host1.com, он доверяет файлу Sitemap на узле http://www.sitemaphost.com/sitemap-host1.xml на предмет содержания URL-адресов для узла www.host1.com. Эту же процедуру можно повторить для двух других узлов.

Теперь можно отправлять файлы Sitemap на узел www.sitemaphost.com.

Если в файле robots.txt указан определенный узел, например http://www.host1.com/robots.txt, это указывает на файл Sitemap или файл индекса Sitemap на другом узле. Скорее всего это означает, что для каждого конечного файла Sitemap, например http://www.sitemaphost.com/sitemap-host1.xml, все URL-адреса принадлежат узлу, который на них указывает. Это происходит потому, что, как было указано ранее, ожидается, что файл Sitemap будет содержать URL-адреса только с одного узла.

К началу

Проверка файла Sitemap

Для определения элементов и атрибутов, которые могут появляться в Вашем файле Sitemap, используются следующие XML-схемы. Эту схему можно загрузить с помощью приведенных ниже ссылок.

Для файлов Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd
Для файлов индекса Sitemap: http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd

Ряд инструментов может помочь при проверке структуры файла Sitemap на основе этой схемы. Вы можете найти список инструментов для работы с XML-файлами в каждом из следующих местоположений:

http://www.w3.org/XML/Schema#Tools
http://www.xml.com/pub/a/2000/12/13/schematools.html

Для проверки Вашего файла Sitemap или файла индекса Sitemap по этой схеме в XML-файл нужно добавить дополнительные заголовки, как показано ниже.

Sitemap:

    <?xml version='1.0' encoding='UTF-8'?>    <urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"             xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"             xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">       <url>          ...       </url>    </urlset>    

Файл индекса Sitemap:

    <?xml version='1.0' encoding='UTF-8'?>    <sitemapindex xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"             xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd"             xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">       <sitemap>          ...       </sitemap>    </sitemapindex>    

К началу

Расширение протокола Sitemaps

Протокол Sitemap можно расширить с помощью Вашего собственного пространства имен. Просто укажите это пространство имен в корневом элементе. Например:

    <?xml version='1.0' encoding='UTF-8'?>    <urlset xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"             xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd"             xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"             xmlns:example="http://www.example.com/schemas/example_schema"> <!-- namespace extension -->       <url>          <example:example_tag>             ...          </example:example_tag>          ...       </url>    </urlset>

К началу

Уведомления для сканеров поисковых систем

После того как файл Sitemap создан и размещен на веб-сервере, необходимо сообщить о местонахождении этого файла поисковым системам, поддерживающим этот протокол. Это можно сделать следующим образом.

  • передача файла Sitemap с помощью интерфейса передачи поисковой системы
  • как указать местоположение файла Sitemap в файле robots.txt
  • отправка HTTP-запроса

Затем поисковые системы смогут извлечь файл Sitemap и разрешить своим сканерам доступ к URL-адресам.

Передача файла Sitemap с помощью интерфейса поисковой системы

Чтобы отправить файл Sitemap напрямую в поисковую систему, которая предоставляет возможность получать информацию о статусе и ошибках обработки, обратитесь к документации поисковой системы.

Как указать местоположение файла Sitemap в файле robots.txt

Можно указать местоположение файла Sitemap, используя файл robots.txt. Для этого просто добавьте следующую строку:

Sitemap: http://www.example.com/sitemap.xml

Эта инструкция не зависит от строки агента пользователя, поэтому неважно, где она размещается в файле. При наличии файла индекса Sitemap можно включить местоположение только этого файла. Перечислять каждый отдельный файл Sitemap, указанный в файле индекса, не нужно.

Можно указать несколько файлов Sitemap для каждого файла robots.txt.

Sitemap: http://www.example.com/sitemap-host1.xml    Sitemap: http://www.example.com/sitemap-host2.xml

Передача файла Sitemap с помощью запроса HTTP

Чтобы отправить файл Sitemap с помощью HTTP-запроса (замените <searchengine_URL>на URL, указанный поисковой системой), создайте запрос для следующего URL-адреса.

<searchengine_URL>/ping?sitemap=sitemap_url

Например, если файл Sitemap находится в архивном файле http://www.primer.ru/sitemap.gz, URL-адрес будет следующим:

<searchengine_URL>/ping?sitemap=http://www.example.com/sitemap.gz

Добавьте кодировку URL для всех символов после /ping?sitemap=:

<searchengine_URL>/ping?sitemap=http%3A%2F%2Fwww.vashsait.com%2Fsitemap.gz

Можно отправить http-запрос, используя "wget", "curl" или другой механизм по выбору. Успешный запрос возвратит код отклика HTTP 200; если получен другой отклик, необходимо повторно передать запрос. Код отклика HTTP 200 указывает только на то, что поисковая система получила Ваш файл Sitemap, но это не значит, что сам файл Sitemap или содержащиеся в нем URL допустимы. Самый простой способ — создать автоматическое задание для регулярного создания и передачи файлов Sitemap.
Примечание. Предоставляя файл индекса Sitemap, необходимо инициировать только один http-запрос, который включает местоположение файла индекса Sitemap; отправлять отдельные запросы для каждого файла Sitemap, указанного в этом индексе, не нужно.

К началу

Как исключить содержание

Протокол Sitemaps предоставляет поисковым системам информацию о содержании, которое необходимо включить в индекс. Чтобы сообщить поисковым системам о содержании, которое не следует включать в индекс, используйте файл robots.txt или метатег robots. Более подробную информацию о том, как исключить содержание из поисковых систем, см. на странице robotstxt.org.

 

К началу

Последнее обновление: 21 ноября 2016 г.

www.sitemaps.org

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

  • HTML;
  • XML.

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

XML и HTML Sitemap

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

Структурированная HTML-карта сайта

2. Анкоры ссылок.

В отличие от XML-карты, каждая ссылка должна иметь название, чтобы пользователям было понятно, на какую страницу они перейдут.

Использование анкоров в HTML Sitemap

3. Ссылка на карту сайта должна быть доступна на всех страницах сайта. Обычно её размещают в футере страницы.

Ссылка в футере на HTML Sitemap

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

XML-теги в карте сайта

Обязательные:
<urlset> – определяет стандарт протокола и инкапсулирует этот файл.
<url> – содержит в себе информацию о URL-адресе (является родительским тегом).
<loc> – содержит абсолютный URL-адрес.

Необязательные:
<lastmod> – указывает дату последнего изменения файла.
<changefreq> – указывает частоту смены файла.
<priority> – указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Сайтмап в формате TXT

Требования Google и Яндекса к файлам Sitemap

Общие рекомендации поисковых систем:

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

Хотя это очевидная рекомендация, на практике встречаются случаи, когда у владельца несколько сайтов, и при переносе шаблона с файлом Sitemap, последний забывали заменить на актуальный.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

Отличия:

Рекомендации Яндекса к файлу:

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

Рекомендации Google:

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Преобразованные русские домены в файле

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

Выбор URL для карты сайта

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке.

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

Генерация XML Sitemap в Majento – шаг 1

3. Сохраняем в нужном нам формате.

Генерация XML Sitemap в Majento – шаг 2

4. Карта сайта готова.

Сгенерированная XML-карта в Majento

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator.

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Генерация карты в XML Sitemap Generator

Исключить ненужные страницы можно и с помощью регулярных выражений.

Исключение URL с помощью регулярных выражений в XML Sitemap Generator

XML-карта для изображений

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

XML-карта для изображений

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
<image:image> – аналогично тегу <url> содержит в себе URL изображения и дополнительную информацию.
<image:loc> – URL изображения.

Необязательные:
<image:caption> – подпись к изображению.
<image:geo_location> – место съёмки фотографии.
<image:title> – название изображения.
<image:license> – URL-лицензии изображения.

XML-карта для видео

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

XML-карта для видео

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

<loc> – содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег <loc>, достаточно в одном теге <loc> несколько раз прописать <video:video> для каждого видео на странице.
<video:video> – включает в себя всю информацию о видео.
<video:thumbnail_loc> – URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
<video:title> – заголовок, который должен совпадать с названием страницы, на которой отображается видео.
<video:description> – описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google.

Где разместить карту сайта

Мы рекомендуем размещать XML-карту в корневом каталоге сайта. Ссылку на сайтмап нужно указать в файле robots.txt.

Директива Sitemap в robots.txt

Более подробно описано, как разместить ссылку на карту сайта в robots.txt, у нас в статье.

Добавить и проверить Sitemap в Yandex.Webmaster

Чтобы сообщить роботу Яндекса о наличии карты сайта, добавьте её в панель Яндекс.Вебмастера:

1. Перейдите в раздел «Индексирование» – «Файлы Sitemap».

2. Укажите ссылку на сайтмап.

3. Нажмите кнопку «Добавить».

4. Ниже будет отображаться список со всеми добавленными файлами.

Добавить карту сайта в Яндекс.Вебмастер

Прежде чем добавить файл, рекомендуем проверить его на наличие ошибок:

1. В панели Яндекс.Вебмастера перейдите в раздел «Инструменты» – «Анализ файлов Sitemap».

2. Укажите URL, загрузите файл или просто добавьте текст.

3. Нажмите кнопку «Проверить».

Проверить Sitemap в Яндекс.Вебмастере

Добавить и проверить файл в Google Search Console

Чтобы сообщить Googlebot о наличии этого файла, нужно добавить его в панель GSC:
1. Перейдите в раздел «Сканирование» – «Файлы Sitemap».
2. Нажмите кнопку «Добавление / проверка файла Sitemap».
3. Укажите URL файла.
4. Нажмите кнопку «Отправить».

Добавить карту сайта в Google Search Console

Чтобы проверить карту сайта на наличие ошибок, вместо кнопки «Отправить» нажмите «Тест». Если ошибок нет, будет отображаться следующее окно.

Проверить сайтмап в Google Search Console

При возникновении ошибок или предупреждений, Google сообщит об этом в соответствующей панели.

Ошибки в сайтмап в Google Search Console

Полный перечень ошибок и как их исправить описано в справке Google.

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

siteclinic.ru

Как создать файл SiteMap онлайн и добавить его на сайт

Так как sitemap является файлом xml, создать его можно в текстовом формате, при помощи любого редактора, и сохранить с расширением xml. Однако самостоятельные усилия вовсе не обязательны, в Интернете существуют специальные сервисы, при помощи которых можно бесплатно сгенерировать — автоматически создать файл sitemap.xml онлайн и добавить на любой сайт. Более подробно процесс создания файла sitemap.xml вы можете посмотреть на видео:

Смотрите полный видеокурс на iTunes

Для автоматического создания sitemap нужно ввести в соответствующее поле адрес нужного сайта, выбрать подходящий формат файла, определить последовательность индексации страниц на сайте, указать периодичность обновления страниц и задать другие интересующие Вас параметры. После всех этих операций нужно кликнуть на кнопку «выполнить», и уже через непродолжительное время в открытом ниже окне появится код созданной карты сайта. Этот код нужно просто скопировать и вставить в созданный вами в редакторе файл sitemap.xml, сохранить его и загрузить в корневую директорию вашего сайта.

Но для того, чтобы от этого файла был ожидаемый эффект, мало просто создать и добавить SiteMap на свой сайт, нужно еще и донести до поискового робота информацию о его наличии. Для этого нужно путь к нему прописать в файле Robots.txt, добавив в него строку:

Sitemap: http://ВАШ_САЙТ.ru/sitemap.xml

После этого все операции выполнены, ваш sitemap готов выполнять свои функции. Нужно только помнить, что в одном созданном xml файле не должно быть больше 50 000 страниц, и объем его должен быть не больше, чем 10 мегабайт. В противном случае, будет нужно создать еще один такой файл.

Читайте также: sitemap онлайн бесплатно

  • Бесплатная и быстрая CMS для вашего блога
  • Как дешевле купить качественные статьи — советы копирайтера со стажем
  • Выбор правильной ниши — залог стабильного пассивного дохода
  • Копирайтинг — Уникальный контент для сайта чужими руками
  • Английский МФА — Начало завоевания англоязычного интернета
  • Запрет доступа к сайту с домена или IP
  • Платный хостинг бесплатно
  • Купить домен просто, а выбрать ему имя тяжело
  • Полный текст RSS новостей из сокращенного фида
  • Собственный Дискус или комментарии отдельно от поста

seodiz.ru

Функции карты сайта

  • Хранение актуальной информации об индексируемых страницах.
  • Передача поисковым системам информации о частоте обновления контента.
  • Передача роботу указаний по поводу индексации, включая установленный приоритет страниц относительно друг друга и в структуре сайта.
  • Предоставление ссылок на весь индексируемый контент в удобном формате, обеспечивающем быстрый доступ ко всем страницам сетевого ресурса.

Файл Sitemap.xml создают после составления семантического ядра, определения структуры сайта и подготовки к продвижению в интернете. Его размещают в директории ресурса, после чего сообщают поисковым системам его сетевой адрес.

Пользовательская карта сайта

Обычным посетителям сайта для поиска нужной информации удобно пользоваться списком обычных ссылок. Поэтому для них карту сайта создают в привычном формате HTML. В окне браузера такая страница выглядит как древовидный список адресов, по которым пользователь может быстро перейти в любой раздел и найти нужную информацию. Для поисковых систем этот формат не подходит. Когда робот посещает такую карту, он видит обычную страницу, на которой размещено большое количество ссылок практически без текстовой информации. Поэтому он считает ее бесполезной и может не проиндексировать часть ссылок или вовсе исключить страницу из поиска. Это негативно повлияет на дальнейшее продвижение сайта. Также есть существенные ограничения на количество размещаемых ссылок при создании карты в формате HTML. Чтобы сделать карту полезной как для посетителей, так и для продвижения web-сайта в сети, нужно следовать простым рекомендациям:

  • не размещайте на одной странице более 100 ссылок. Лучше ограничиться указанием адресов, ведущих на основные разделы, подразделы, важные страницы, которые недоступны из основного меню;
  • не используйте дополнительное оформление. К нему относятся графические элементы, CSS-стили, скрипты, которые делают карту громоздкой.

Для поискового продвижения сайта в сети HTML-карту лучше не использовать. Для этого существует формат XML.

sitemap2.jpg

Карта сайта для поисковых систем

Карта sitemap.xml распознается Google, «Яндексом» и другими популярными поисковыми системами. В файле пользователь может разместить до 50 тыс. ссылок с дополнительной информацией. То есть кроме адресов страниц, разделов и подразделов можно указать частоту обновления контента, время последнего редактирования записи, выставить относительный приоритет в индексации. Делают это при помощи специальных тегов. Информация в карте сайта является рекомендацией, а не строгой командой. Поисковая система учтет пожелания вебмастера, но действовать будет так, как посчитает нужным. Если пользователь с целью повышения эффективности СЕО-продвижения укажет в файле определенный период обновления контента, то робот не станет точно следовать указаниям. Он выберет свой срок обхода на основе представленных данных и результатов, полученных после очередной индексации ресурса.

Как проверить карту сайта и показать ее поисковым системам

Для качественного SEO-продвижения роботы поисковиков должны узнать о месторасположении карты сайта. Показать карту можно двумя способами: передать поисковой системе сетевой адрес файла XML или записать ссылку в файл robots.txt. При желании можно указать сразу несколько ссылок на различные карты. Все они будут обработаны поисковыми роботами, и пользователь получит результаты проверок каждой из них. Прежде чем указывать поисковику на карту, следует проверить корректность ее составления. Сделать это можно при помощи специальных сервисов, предлагаемых поисковыми системами и обычными разработчиками. Например, в «Яндекс.Вебмастере» можно проверить файл, загрузив его на сервер и указав прямую ссылку или передав содержимое путем его копирования и вставки в специальное поле.

Особенности составления карты сайта

  • Карта сайта sitemap.xml должна находиться в директории домена сайта. Нельзя составлять карту одновременно для домена и поддоменов, прописывая ссылки всех страниц в одном файле.
  • Имя для карты сайта можно выбрать любое, главное, не ошибиться с расширением файла.
  • Максимальное количество ссылок – 50 тыс.
  • Максимальный объем файла – 10 Мбайт.
  • Если требуется сделать карту сайта с количеством ссылок, превышающим максимальное значение, то разрешается делить файл на несколько штук. То же самое делают при превышении объема.
  • Информацию в файле сохраняют в кодировке UTF-8. Если сайту присвоен кириллический домен, преобразование делать необязательно. Поисковые системы распознают адреса в любом виде.

Создание карты сайта

При SEO-оптимизации создание карты сайта является важным процессом, от правильности проведения которого зависят скорость и эффективность будущего индексирования контента. Если пользовательскую карту можно быстро создать вручную, просто скопировав в текстовый файл ссылки на все важные страницы сайта, то с формированием карты в формате XML придется повозиться. В таком файле информация представлена в удобном для поисковиков виде. Кроме обычных ссылок на страницы с контентом в нем присутствуют специальные теги, директивы, параметры. Чтобы правильно создать карту, вебмастер должен научиться пользоваться ими.

SEO и sitemap.xml тесно связаны. Независимо от того, каким способом будет создана карта сайта, главное – правильно прописать в ней ссылки на контент, который должен находиться в поиске. Очень важно не допускать ошибок, не запутывать робота наличием ссылок, запрещенных в файле robots.txt, присутствием неканонических адресов. Не нужно выгружать в файл XML все, что есть на сайте. От этого пользы в рамках оптимизации сайта не будет. Наоборот, робот может посчитать такую карту некорректно сформированной, что может повлиять на индексирование и позиции сетевого ресурса в поисковой выдаче.

Методы создания карты в формате XML

Генерация sitemap.xml автоматически. Сделать карту можно при помощи онлайн-сервисов, указав сетевой адрес ресурса. Робот посетит сайт, соберет все ссылки, добавит их в файл, сохранит его в нужном формате и предложит пользователю скачать на свой компьютер или сразу в директорию сайта. В интернете существует большое количество сервисов, которые предлагают разные дополнительные возможности и имеют определенные ограничения. Программы-генераторы, работающие на компьютере пользователя, обычно распространяются платно. Они обладают множеством функций, которые будут очень полезны в эффективной работе с несколькими ресурсами.

Наполнение карты сайта вручную. Многие платные и бесплатные CMS предлагают пользователям инструменты ручной и автоматической генерации карты сайта. При наличии ручного инструмента вебмастеру придется самостоятельно обновлять карту по мере наполнения сетевого ресурса новым контентом. Если присутствует автоматический генератор, думать об актуальности карты сайта не придется. Сервис регулярно проверяет состояние имеющихся карт и обновляет их по мере необходимости.

XML-формат

При ручном создании или проверке карты сайта на наличие ошибок пользователю потребуются знания XML-схемы протокола Sitemap. Формат состоит из специальных тегов, которые бывают обязательными и дополнительными. Дополнительные теги вебмастер использует по желанию. Поддержка необязательных тегов зависит от поисковой системы, для которой они добавляются в карту. С подробной информацией о дополнительных тегах можно ознакомиться на странице помощи поискового сервиса.

XML-схема Sitemap:

  1. Файл открывают тегом <urlset> и зарывают </urlset>. Все, что находится между ними, является картой сайта и будет прочитано поисковым роботом. В открывающемся теге указывают стандарт используемого протокола.
  2. Каждый адрес страницы сайта записывают между тегами <url> и </url> с указанием дополнительных параметров.
  3. Между тегами <loc> и </loc> записывают адреса страниц.

Дополнительные параметры для сетевых адресов:

  • Lastmod. Его используют для указания времени обновления страницы;
  • Changefreq. Параметр сообщает роботу о частоте обновления контента;
  • Priority. В нем указывают относительный приоритет страниц.

При формировании нескольких карт в одном файле в качестве открывающего и закрывающего тега используют sitemapindex. Для открытия и закрытия очередной карты сайта применяют тег sitemap.

Влияние карты сайта на эффективность поискового продвижения

Роботы поисковых систем индексируют сайты независимо от того, есть в директории карта сайта или нет. Поисковая система способна самостоятельно находить ссылки на имеющиеся страницы, переходить по ним, анализировать контент и добавлять его в поиск. Карта сайта лишь помогает работу избегать ошибок при индексировании крупных порталов с запутанной структурой и огромным количеством ссылок. Причины возникновения ошибок при сканировании без карты сайта:

  • наличие контента, доступного только при переходе по длинной цепочке ссылок;
  • присутствие динамических URL-адресов.

Карта упрощает и ускоряет процесс индексирования, но не влияет на ранжирование страниц. Она поможет вебмастеру быстрее выводить в поиск новые материалы. Преимущества использования правильно созданной карты сайта:

  • повышение скорости обнаружения новых страниц и добавления их в индекс поисковой системы;
  • быстрое нахождение и индексация обновленного контента;
  • ускорение попадания сайта в результаты поисковой выдачи.

wiki.rookee.ru


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.