Xml карта сайта

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Решил обобщить в одной статье все, что я уже писал про карту сайта (Sitemap xml), которая в первую очередь нужна для указания поисковым системам тех страниц, которые им следует индексировать в первую очередь. Она является очень важным и фактически обязательным атрибутом любого web проекта, но многие этого либо не знают, либо не придают Site map большого значения.

Сразу давайте расставим все точки над «i» и попробуем отделить два понятия — карты сайта в формате xml и в формате Html (есть еще и географическая интерпретация этого слова, о которой я писал в статье «Как вставить Яндекс карту на сайт»). Второй вариант представляет из себя обычный список всех материалов web ресурса, который будет доступен любому желающему по нажатию на соответствующий пункт меню. Такой вариант тоже полезен и способствует ускорению и улучшению индексации вашего ресурса поисковыми системами.

Карта сайта sitemap в формате xml — а оно мне надо

Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.

Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.

Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml. Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.

Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.

На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex, о котором я писал Мегаиндекса).

Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.

Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в …

На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас украли тексты, что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):

Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.

Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).

Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).

Зачем вообще нужен сайт мап и файл robots.txt

Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.

Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).

Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно скачать, установить и настроить PhpMyAdmin).

Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.

Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про robots.txt).

А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.

Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то…». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.

Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).

В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.

Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.

Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.

Как создать Sitemap.xml самому в Joomla и Вордпрессе

Этот файл вы можете создать в любом текстовом редакторе, например, все в том же Notepad++, о котором тут я вам все уши прожужжал. Карта сайта в формате xml имеет обычно примерно такую структуру.

Сначала идет стандартная часть:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

А затем идет серия повторяющихся блоков, заключенных в теги «url», каждый из которых описывает одну из страниц вашего проекта, для которого пишется данная карта:

<url> 		<loc>https://ktonanovenkogo.ru/</loc> 		<lastmod>2011-05-12T19:22:36+00:00</lastmod> 		<changefreq>daily</changefreq> 		<priority>1.0</priority> 	</url>

Обязательным в этом xml коде является только пара тегов «loc», в которых заключается адрес страниц вашего проекта, которую должны будут проиндексировать поисковые системы. В теги «lastmod» заключена дата последнего обновления данной страницы, что позволит роботу лишний раз не заходить на не изменившуюся с момента последнего захода страницу.

В тегах «changefreq» указывается примерная частота обновления данной страницы (раз в день, неделю, месяц), ну, а в теге «priority» указывается приоритетность ее индексации. Изначальный приоритет у всех страниц равен 0.5, но вы вольны изменять его для определения очередности индексации вашего web проекта (от 0 до 1).

Не забывайте, что за один проход робот не сможет пройти по всем ссылкам в большой карте сайта (обычно около сотни ссылок за раз проходит), а значит с помощью большего приоритета можно выбрать наиболее важные для быстрой индексации страницы.

По стандарту sitemap.xml не может содержать более 50 000 ссылок и весить более 10 Мб. Хотя, многие даже при превышении 500 — 1000 ссылок в карте сайта стараются ее разбить на несколько файлов, подсунув поисковым системам и указав в robots.txt индексный файл сайтмап, в котором имеются ссылки на все остальные файлы карт большого сайта.

Его синтаксис будет примерно таким:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"  <sitemap>   <loc>https://ktonanovenkogo.ru/sitemap.xml.gz</loc>   <lastmod>2011-04-01T18:23:17+00:00</lastmod>   </sitemap>   <loc>https://ktonanovenkogo.ru/sitemap2.xml.gz</loc>   <lastmod>2011-04-01T18:23:17+00:00</lastmod>  </sitemap>

Генерация карты сайта в Joomla и WordPress

Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а так же можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.

Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml. Многие владельцы именно так и делают — называю этот файл kjfdjkf.xml и закапывают его в огромном количестве вложенных папок. Тем самы они прячут карту сайта от посторонних глаз. В роботс.тхт они тоже этот путь не указывают, а сообщают его только Яндексу и Гуглу в их панелях для вебмастеров, о которых речь пойдет чуть ниже.

Создать карту сайта для Joomla можно с помощью компонента Xmap. По приведенной чуть выше ссылке вы найдете довольно подробную инструкцию, как по ее созданию в виде файла xml, так и в формате Html, ориентированную в первую очередь не на ускорение индексации, а на удобство пользователей.

Ссылку на созданный сайтмап сможете найти в настройках компонента, как показано на приведенном скриншоте.

Как добавить сайт мап в Яндекс и Гугл Вебмастер

Как видите, в отличии от файла robots.txt (который обязательно должен находиться в корневой папке вашего web проекта), файл сайт мап может лежать где угодно. Но вам нужно будет сообщить о его местоположении поисковым системам. Сделать это можно двумя способами.

Во-первых, в robots.txt предусмотрена специальная директива «Sitemap», которая, например, для моего блога будет выглядеть так:

Sitemap: https://ktonanovenkogo.ru/sitemap.xml

или так (файл карты сайта вовсе не обязательно должен называться sitemap.xml, как я уже упоминал выше)

Sitemap: https://ktonanovenkogo.ru/forum/index.php?action=sitemap;xml

Обязательно нужно прописывать полный абсолютный путь до сайтмапа, не опуская «https://ktonanovenkogo.ru». Это я говорю потому, что пути во всех остальных директивах robots.txt пишутся без указания «https://ktonanovenkogo.ru» (читайте тут про относительные и абсолютные пути).

Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.

Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно Bing вебмастер использовать. Вы уже знакомы с этими инструментами поисковых систем?

Если нет, то обязательно добавьте свой проект и в инструменты Яндекс для вебмастеров, и в панель инструментов Гугла, а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.

Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:

А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:

ktonanovenkogo.ru

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

Некоторые разделы недоступны через навигационное меню.
Имеется множество изолированных страниц или плохо связанных между собой.
Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

Sitemap.xml является текстовым файлом формата XML. Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже (см. подробней).
Адреса в sitemap.xml должны быть абсолютными.
Максимальная длина URL — 2048 символов (1024 символа для Яндекса).
Спецсимволы в URL (типа амперсанда «&» или кавычек) должны маскироваться в HTML-сущности.
Указанные в карте страницы должны отдавать 200 http-код статуса.
Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt.

Также поисковиками поддерживается стандартный XML-протокол. Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">   <url>   <loc>https://devaka.ru/</loc>   <lastmod>2018-06-14</lastmod>   <changefreq>daily</changefreq>   <priority>0.9</priority>   </url>  </urlset>

XML-теги
urlset (обязательный) — указывает стандарт текущего протокола.
url (обязательный) — родительский тег для каждого URL-адреса.
loc (обязательный) — URL-адрес документа, должен быть абсолютным.
lastmod — дата последнего изменения документа в формате Datetime.
changefreq — частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority — приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">   <url>   <loc>http://example.com/primer.html</loc>   <image:image>   <image:loc>http://example.com/kartinka.jpg</image:loc>   </image:image>   <image:image>   <image:loc>http://example.com/photo.jpg</image:loc>   <image:title>Вид на Балаклаву</image:title>   <image:geo_location>Севастополь, Крым</image:geo_location>   <image:license>http://creativecommons.org/licenses/by-nd/3.0/legalcode</image:license>   </image:image>   </url>  </urlset>

XML-теги
image:image (обязательно) — информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) — путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption — подпись к изображению (может содержаться длинный текст).
image:title — название изображение (обычно короткий текст).
image:geo_location — место съемки.
image:license — URL лицензии изображения. Используется при расширенном поиске по картинкам.

Подробнее о файлах Sitemap для изображений:
https://support.google.com/webmasters/answer/178636

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Подробнее о файлах Sitemap для видео:
https://developers.google.com/webmasters/videosearch/sitemaps

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Подробнее о файлах Sitemap для новостей:
https://support.google.com/news/publisher-center/answer/74288

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

На сайте используется несколько движков (CMS).
На сайте больше 50 000 страниц.
Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

<?xml version="1.0" encoding="UTF-8"?>  <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">   <sitemap>   <loc>http://www.example.com/sitemap-blog.xml.gz</loc>   <lastmod>2004-10-01T18:23:17+00:00</lastmod>   </sitemap>   <sitemap>   <loc>http://www.example.com/sitemap-webinars.xml.gz</loc>   <lastmod>2005-01-01</lastmod>   </sitemap>  </sitemapindex>

sitemapindex (обязательный) — указывает стандарт текущего протокола.
sitemap (обязательный) — содержит информацию об отдельном sitemap.
loc (обязательный) — местоположение sitemap (в формате xml, txt или rss для Google).
lastmod — время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml, возможно он уже существует и динамически формируется.
Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Создание Sitemap XML на WordPress

Yoast SEO
Помимо прочих функций, полезных для SEO, позволяет генерировать sitemap.xml.

Google XML Sitemaps
Простой плагин для генерации Sitemap на WordPress.

WP Sitemap Page
Еще один плагин для WordPress, если предыдущие не подошли.

Sitemap.xml должен обновляться сразу же, как на сайте появляются новые страницы. Однако, в случае, если на сайте страницы появляются часто и пачками, то Sitemap целесообразно генерировать примерно раз в час. Убедитесь, что в карту сайта не попадают дубли, несуществующие страницы или содержащие редирект. Например, страницы пагинации и сортировки в sitemap.xml включать не нужно. Идеальный sitemap состоит из страниц основных разделов и подразделов сайта и конечных узлов (статьи, карточки товара и пр).

Кириллические адреса в sitemap

Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap мультиязычного и мультирегионального сайта

Если ваш сайт является мультиязычным или мультирегиональным, то Google поддерживает разметку hreflang непосредственно в sitemap.xml. Для этого в карте необходимо использовать дополнительные теги xhtml:link с указанием hreflang.

Пример. Сайт использует два языка: русский и украинский. В таком случае sitemap.xml для одной из страниц будет выглядеть следующим образом.

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:xhtml="http://www.w3.org/1999/xhtml">   <url>   <loc>http://www.example.com/ru/</loc>   <xhtml:link   rel="alternate"   hreflang="ru"   href="http://www.example.com/ru/"   />   <xhtml:link   rel="alternate"   hreflang="uk"   href="http://www.example.com/ua/"   />   </url>   <url>   <loc>http://www.example.com/ua/</loc>   <xhtml:link   rel="alternate"   hreflang="ru"   href="http://www.example.com/ru/"   />   <xhtml:link   rel="alternate"   hreflang="uk"   href="http://www.example.com/ua/"   />   </url>  </urlset>

Как видите, каждый языковый или региональный URL должен быть представлен в отдельном теге url. Чем больше языков на сайте, тем больше будет разрастаться этот sitemap.

Если у сайта имеется множество поддоменов, то каждый поддомен, как отдельный сайт, должен содержать свой sitemap.xml. В этом один из недостатков поддоменной структуры сайта.

Поиск ошибок в карте сайта

При создании XML карты сайта вебмастерами часто допускаются следующие ошибки:

URL ведет на страницу, http-код статуса которой отличный от 200 (например, страницы не существует или она редиректит на другую страницу). Необходимо оставить в sitemap.xml только существующие страницы.
URL ведет на страницу, которая закрыта от индексации в файле robots.txt. Здесь необходимо разобраться, ошибка в robots.txt или в sitemap.xml.
URL ведет на страницу, которая закрыта тегом meta-robots noindex. Ссылки в карте сайта должны вести только на страницы, которые доступны к индексации.
Ошибки, касающиеся ограничений или несоответствию стандартному протоколу.

Самый простой способ проверки сайтмапа — использовать Screaming Frog в режиме списка (меню «Mode» — «List»). Загружаете sitemap и программа сама проверит все урлы, в отчетах будет видно, какие отдаются коды статусов и закрыты ли адреса от индексации.

Также можно использовать анализатор файлов Sitemap от Яндекса. Здесь полезно проверять свои карты перед тем, как добавить их в панель для вебмастеров. А после добавления карты в панель поисковые системы будут сообщать о наличии дополнительных ошибок уже после того, как просканируют урлы.

Рекомендуемый алгоритм проверки на ошибки:

Просканировать XML Sitemap с помощью Screaming Frog, избавиться от всех ошибок.
Протестировать карту сайта через инструмент Яндекса или в Google Search Console.
Добавить ссылку на карту в robots.txt и в панель для вебмастеров Яндекса и Google Search Console.
Периодически мониторить раздел в панели с XML картой.

Sitemap.xml при переходе сайта на HTTPS

При переходе сайта на HTTPS меняется главное зеркало и необходимо проверить, что у вас соблюдаются следующие правила:

Новый sitemap.xml содержит адреса с префиксом HTTPS.
Все старые сайтмапы удалены из панелей для вебмастеров и файла robots.txt прежней версии сайта.
Sitemap.xml на http-версии сайта редиректит 301 кодом статуса на новый sitemap.xml на https-версии.
На сайте настроен постраничный 301 редирект на новую версию.

Разница поддержки XML Sitemap в Google и Яндексе

Возможности	Google	Яндекс
Максимальный размер sitemap.xml	50 Мб	10 Мб
Максимальная длина URL	2048 симв.	1024 симв.
Поддержка Sitemap для изображений и видео	есть	нет
Новостной Sitemap	есть	нет
Использование кириллических урлов	можно	можно
Разметка языковых версий страниц	есть	нет
Поддержка RSS/Atom фидов	есть	нет

Если это руководство не дало ответ на ваш вопрос, задайте его в комментариях.

devaka.ru

Карта сайта для роботов

Расскажу более подробно о том, зачем нужен Sitemap. Это файл со ссылками на страницы блога/сайта, который извещает поисковые системы об актуальной структуре ресурса.

Он может быть как статичным, так и динамичным. Первый актуален для таких же статичных необновляемых веб-ресурсов.

Такая карта сайта легко создается с помощью автоматического генератора и помещается в корневую папку ресурса. Второй вариант актуален для большей части проектов – все изменения в содержимом учитываются и автоматически заносятся в файл xml.

Далее этот фид можно добавить в Яндекс.Вебмастер и Search Console. Благодаря этому поисковые системы будут знать обо всех изменениях, которые происходят на вашем ресурсе. Будь то выход новой статьи или же простое изменение номера на странице контактов.

Естественно, в случае статичного файла, созданного с помощью генератора, вам заново придется выгружать его в корень, причем вручную. Не самый удобный вариант, но если ваш сайт написан на чистом html+css и обновляется раз в год, то это еще терпимо.

Если вы работаете с CMS, например, WordPress, то этот процесс можно максимально упростить и ускорить. С помощью плагинов вы сможете забыть о каких-то ручных манипуляциях. Нужно лишь организовать работу такого расширения, все настроить и далее направить ссылку в вышеозвученные сервисы. Все просто, никаких мучений. О том, как это сделать, мы поговорим далее.

Как создать Sitemap.xml для WordPress?

Сайтмап, как я уже говорил, можно создать самыми разными способами. Вплоть до того, что написать его вручную. Но не будем на этом останавливаться, перейдем к рассмотрению более адекватных способов.

Создать карту сайта можно с помощью:

онлайн-генератора;
программы (тот же генератор, только не онлайн);
плагинов;
вручную.

Давайте поговорим обо всех этих вариантах подробнее.

Онлайн-генераторы и программы

С помощью них вы создадите именно статичный вариант sitemap.xml. Он не будет обновляться, поэтому подойдет для проектов, в которых изменения происходят не так часто. Обратите внимание на тот факт, что каждый раз для поддержания актуальности своей карты, вам придется заново заходить на сервис и генерировать ее, после заменяя старый файл новым.

Если ваш веб-ресурс обновляется каждый день, то такая вариация sitemap не выглядит слишком привлекательной. Однако при некоторых обстоятельствах вы можете позволить себе этот способ. Например, если ваш сайт представляет собой визитку или лендинг с несколькими страницами и информацией о компании.

То же касается и программ-генераторов (как правило, платных). Вы просто создаете необновляемый файл в формате xml и загружаете его на хост с помощью FTP или файлового менеджера. В теории, конечно, можно довести этот способ до ума, сделав его полуавтоматическим. Но в том нет нужды, потому как с помощью специальных расширений можно создать динамическую карту сайта и вообще забыть о таких проблемах.

Итак, примеры онлайн-сервисов для создания сайтмап:

XML-Sitemaps (до 500 страниц),
Free Sitemap Generator (до 5 000 страниц),
My sitemap generator,
Sitemap.

Как это работает?

Вы просто вставляете ссылку на свой сайт, после этого сервис выдает вам файлик в формате xml. Это и есть наша карта, которую мы должны загрузить в корень (и указать поисковикам на нее, но об этом далее).

То же касается и программных продуктов. Но о них я не буду здесь рассказывать, поэтому вы можете поискать информацию об этом самостоятельно.

Здесь же отмечу, что некоторые онлайн-сервисы предлагают платный вариант использования, который заключается в неограниченном количестве страниц или доведении процесса до полуавтоматизма. Карта сайта регулярно обновляется с помощью встроенных средств таких сервисов. Вам же остается настроить автозагрузку. Я считаю, что это костыль, особенно для CMS, включая ВордПресс.

Плагины

Тут-то мы и переходим к основной части этого материала. Плагины, по моему мнению, являются наиболее предпочтительным способом создания карты sitemap. Благодаря этим замечательным расширениям вам не нужно следить за актуальностью или выгружать какие-то непонятные файлы. Нужно лишь прямо в админке нажать кнопку “Установить” – и все готово.

Плагинов, с помощью которых можно это сделать, великое множество. Ниже я приведу список самых востребованных и популярных, а также вкратце расскажу о каждом из них.

Yoast SEO

Многофункциональный SEO-плагин, который ко всему прочему, имеет в себе еще и инструмент автоматического создания сайтмап. Он включен по умолчанию, поэтому сразу после установки вы получите готовую карту. Найти ее можно по адресу: site.ru/sitemap_index.xml. Что интересно, плагин создает отдельные sitemap для постов, рубрик, меток и архивов. Теоретически, поисковикам будет еще легче ориентироваться во всех этих элементах.

All in One SEO Pack

Здесь также есть возможность создавать сайтмапы. Является аналогом предыдущего плагина и его прямым конкурентом. Как и в Yoast SEO, карта создается автоматически и постоянно поддерживается в актуальном состоянии.

Google XML Sitemaps

А вот это уже специализированное решение для автоматической генерации sitemap.xml. Google Sitemaps позволит вам создать аккуратную карту сайта, которая будет поддерживаться почти всеми поисковыми системами.

Примечательно, что у этого плагина более миллиона установок. У большей части этих пользователей также установлены многофункциональные решения. Просто они отключают эти функции, отдавая предпочтение именно Google XML Sitemaps.

Данное расширение легко устанавливается и настраивается. Поддержка осуществляется уже на протяжении 9 лет, поэтому разработчикам точно можно доверять (жирный плюс к миллионным установкам). Однозначно рекомендую как один из самых лучших способов.

XML Sitemap & Google News feeds

Два в одном. С помощью этого дополнения вы сможете создать не только xml-карту, но и дополнительный фид для Google News. Сейчас у плагина более 100 000 установок, поэтому вам тоже советую обратить на него внимание. Как и в случае с остальными вариациями, настройка воспроизводится легко.

Google Sitemap by BestWebSoft

Набирающий популярность плагин с поддержкой русского языка. Все просто: устанавливаете его на свой ресурс с ВордПресс, после чего для всех ваших таксономий генерируются файлы в формате xml.

В каталоге плагинов можно найти еще огромное количество разных решений – хороших и не очень. В любом случае я рекомендую устанавливать на свой проект только проверенные продукты с хорошими отзывами и бэкграундом в виде времени или количества установок. При иных обстоятельствах вы рискуете потерпеть фиаско из-за некачественного продукта.

Также отмечу, что некоторые из представленных расширений требуют настройки. Учитывайте этот факт.

Вручную

Способ, который требует времени, знаний и терпения. Очень непрактичный, кстати говоря. В общем-то, вам придется разобраться с синтаксисом разметки xml, после чего поочередно вписать туда все данные своего портала. Даже если на вашем веб-ресурсе всего несколько десятков страниц, вам все равно придется попотеть, вписывая данные каждой в xml-документ. Чего уж говорить о сотнях и тысячах, когда вы просто сойдете с ума, если попытаетесь реализовать это руками.

Вам придется вручную прописывать все, начиная от url, и заканчивая любой картинкой, которая содержится в статье или на странице. Само собой, нужно будет следить за синтаксисом и правильностью заполнения таких данных. Если вы допустите какие-нибудь ошибки, поисковые системы просто не примут ваш файл. Будьте предельно аккуратны, выбирая этот способ. Скорее всего это целесообразно только для собственного развития и изучения xml-разметки, но не более того.

Что делать с картой дальше?

Чтобы помочь поисковым системам найти карту вашего проекта, можно воспользоваться такими сервисами как Яндекс.Вебмастер и Search Console. В каждом из них существуют инструменты отправки сайтмап, а также данные обо всех ошибках, которые могли возникнуть в ходе его генерации. Нужно знать точную ссылку на карту, чтобы добавить ее. Как правило, она лежит прямо в корне. Поэтому для перехода к xml-файлу нужно лишь указать его название и формат.

Добавление в Яндекс.Вебмастер

Переходим в Вебмастер, после чего выбираем наш сайт (если их несколько). Далее идем во вкладку индексирование – Файлы Sitemap. Здесь-то мы и будем управлять файлами карт сайта для нашего проекта. Копируем адрес сайтмап в поле, после чего нажимаем “Добавить”.

После того как вы добавите файл в сервис, можно нажать на значок со стрелочками, чтобы поисковик приступил к чтению файла.

Search Console

Идем в консоль, после чего переходим в раздел Сканирование – файлы Sitemap. В остальном все то же самое. Добавляем файл и проверяем его на ошибки.

Заключение

Надеюсь, теперь вы поняли, что такое карта сайта и зачем она нужна. Как видите, в ее создании нет ничего сложного. Нужно лишь знать способы, с помощью которых можно реализовать это дело.

Каким именно образом генерировать сайтмап – дело ваше. Но должен заметить, что для WordPress наиболее предпочтительным способом являются плагины. Тем более что у большей части многофункциональных SEO-плагинов эта опция вшита, а какой-то СЕО-плагин все равно придется выбрать.

Sitemap крайне важен для поисковой оптимизации, и если вы хотите знать об этом больше, то я приглашаю вас на курс Василия Блинова “Как создать блог”. В нем вы рассмотрите все аспекты SEO-оптимизации проектов.

На этом все, спасибо за внимание.

iklife.ru

С помощью нашего генератора карты сайта создайте файлы в формате XML, которые могут быть представлены в Google, Яндекс, Bing, Yahoo и других поисковых системах, чтобы помочь им индексировать ваш сайт.

Сделайте это за три простых шага:

Введите полный URL веб-сайта в форму.

Нажмите кнопку «Начать» и дождитесь, пока сайт полностью просканируется. При этом Вы увидете полное количество работающих и неработающих ссылок.

Нажав кнопку «Sitemap.xml», сохраните файл в удобном месте.

Sitemap – это карта сайта в формате XML, который В 2005 году поисковик Google стал использовать для индексации страниц сайтов. Файл Sitemap представляет собой способ организации веб-сайта, выявление адреса и данные по каждому разделу. Ранее карты сайта в основном были направлены для пользователей сайта. Формат XML был разработан для поисковых систем, что позволяет им найти данные быстрее и эффективнее.

Новый протокол Sitemap был разработан в ответ на увеличения размера и сложности веб-сайтов. Бизнес-сайты часто содержат тысячи продуктов в своих каталогах, популярность блогов, форумов, досок объявлений вынуждают вебмастеров обновлять свои материалы, по крайней мере один раз в день. Поисковым системам все труднее отслеживать весь материал. Через протокол XML поисковые системы могут более эффективно отслеживать адреса, оптимизируя их поиск путем размещения всей информации на одной странице. XML также показывает, как часто обновляется определенный веб-сайт, и записывает последние изменения. XML карты не являются инструментом для поисковой оптимизации. Это не влияет на ранжирование, но это позволяет поисковым системам сделать более точные рейтинги и поисковые запросы. Это происходит путем предоставления данных, удобных для считывания поисковыми системами.

Общее признание протокола XML означает, что разработчикам веб-сайтов больше не нужно создавать различные типы карт сайта для различных поисковых системах. Они могут создать один файл для представления, а затем обновить его, когда они внесли изменения на сайте. Это упрощает весь процесс тонкой настройки и расширения веб-сайта. Сами Вебмастера начали видеть преимущества использования этого формата. Поисковые системы ранжируют страницы в соответствии с релевантностью содержания конкретных ключевых слов, но до формата XML часто содержимое страниц не было правильно представлено. Это часто расстраивает вебмастерам, которые понимают, что их усилия по созданию веб-сайта были оставлены незамеченными. Блоги, дополнительные страницы, добавление мультимедийных файлов занимают несколько часов. Через файл XML эти часы не будут потрачены впустую, их увидят все известные поисковые системы.

Чтобы создать свой Sitemap в формате XML и держать поисковые системы в курсе всех изменений вашего сайта, попробуйте наш бесплатный генератор карты сайта.

dnsip.ru

Какие бывают карты сайта

Поисковые системы индексируют сайт постепенно, уровень за уровнем, начиная с главной страницы. Если на сайте много уровней вложенности страниц, то пока все страницы сайта проиндексируются пройдут многие месяцы. Значит, необходимо создать карту сайта, на которой будут все ссылки на все страницы сайта сразу, чтобы робот не тратил время на переходы по уровням вложенности, верно? И да и нет. Ответ зависит от того зачем делается карта и какой она будет. Давайте рассмотри, какие бывают карты сайта.

Карта сайта HTML Sitemap

Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта — это страница сайта, на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей, нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограния по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.

Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.

Обычно, карта сайта в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.

HTML карта сайта — это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.

Карта сайта XML Sitemap

XML карта сайта — это файл формата xml, вида sitemap.xml, который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта. Sitemap xml — это специальный формат карты сайта, который определяется всеми популярными поисковыми системами, например Google и Яндекс. В xml sitemap можно указать до 50.000 ссылок. Более того, в sitemap xml можно указать относительный приоритет и частоту обновления страниц.

Стоит сказать, что содержимое карты сайта является лишь рекомендацией для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.

Карта сайта xml имеет определенный синтаксис, давайте рассмотрим структуру xml карты сайта подрбнее.

Пример файла карты сайта sitemap.xml

Правильный sitemap.xml должен иметь кодировку UTF8. Содержимое файла карты сайта sitemap.xml выглядит следующим образом:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>  <loc>http://mysite.ru/</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  <changefreq>always</changefreq>  <priority>1.0</priority>  </url>  <url>  <loc>http://mysite.ru/category/</loc>  <lastmod>2014-09-18T18:57:09+04:00</lastmod>  <changefreq>hourly</changefreq>  <priority>0.8</priority>  </url>  <url>  <loc>http://mysite.ru/page/</loc>  <lastmod>2014-09-18T18:59:37+04:00</lastmod>  <changefreq>daily</changefreq>  <priority>0.6</priority>  </url> </urlset>

Где используются следующие обязательные теги:

<urlset> — родительский тег, в него заключаются все url-адреса;
<url> — тег, в котором указываются сведения о конкретном url-адресе;
<loc> — в данном теге указывается непосредственно url.

Далее, следуют необязательные теги:

<lastmod> — этот тег заключает в себе дату последнего изменения страницы;
<changefreq> — тег используется, чтобы указать насколько часто изменяется страница: always, hourly, daily, weekly, monthly, yearly, never;
<priority> — указывает приоритет определенной страницы, относительно других страниц сайта от 0,1 – низкий приоритет, до 1 – высокий приоритет.

Так же, в файле карты сайта в формате xml должно содержаться указание на пространство имен языка XML:

xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"

Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <sitemap>  <loc>http://mysite.ru/sitemaps/sitemap01.xml</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  </sitemap>  <sitemap>  <loc>http://mysite.ru/sitemaps/sitemap02.xml</loc>  <lastmod>2014-09-18T18:54:13+04:00</lastmod>  </sitemap> </sitemapindex>

Здесь используются уже знакомые нам теги <loc> и <lastmod>, а так же обязательные теги:

<sitemapindex> — родительский тег, в который заключаются адреса всех карт сайта;
<sitemap> — тег, в котором заключается параметры для каждой карты сайта.

Пример файла карты сайта sitemap.txt

Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:

1. http://mysite.ru/ 2. http://mysite.ru/page/ 3. http://mysite.ru/page1/

Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt — это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.

Как создать карту сайта

Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта. Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.

Как уже было написано выше — файл карты сайта размещается в корне сайта. Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта — это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта, провести анализ карты сайта на корректность, соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.

Второй способ указать поисковым системам на расположение файла карты сайта — это директива Sitemap файла robots.txt.

Указание ссылки на карту сайта в robots.txt:

Sitemap: http://mysite.ru/sitemap.xml

В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.

Основные способы создания карты сайта

Генерация карты сайта силами системы управления сайта, если CMS имеет подобную встроенную возможность.
Скачать карту сайта со стороннего онлайн сервиса. Существует множество online генераторов карт сайта с различным возможностями и ограничениями. Напрмер xml-sitemaps.com обладает возможностью настройки параметров карты сайта, но имеет ограничение по количеству ссылок в файле sitemap.xml в 500 штук.
Скачать программу-генератор карты сайта. Подобные программы генераторы обычно платные, но при их помощи можно можно регулярно генерить sitemap xml для одного или нескольких сайтов. Вот пара примеров подобных программ-генераторов: SiteMap XML Dynamic SiteMap Generator, WonderWebWare SiteMap Generatior.
Автоматическое создание sitemap карты сайта в Joomla (Джумла), WordPress (Вордпресс), Bitrix (Битрикс).
Создание карты сайта вручную.

Карта сайта — один из важнейших инструментов SEO оптимизации сайта. Не важно, как будет создана карта сайта. Важно — какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже — запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.

Создайте карту сайта для своего ресурса. Но будте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.

convertmonster.ru