Файлы sitemap что это

Добрый день, дорогие читатели!

Индексация веб-ресурсов поисковыми системами – дело сложное. Причем не только для вебмастеров, но и для самих поисковиков и их роботов. Чтобы облегчить им задачу, была придумана такая вещь, как карта сайта sitemap.xml. С ее помощью роботы смогут ориентироваться на страницах вашего проекта. Например, видеть рубрики, метки, страницы с каким-то нестандартным содержимым и прочее.

Sitemap важен как для статейников, так и для других проектов, таких как интернет-магазины, фотостоки или даже лендинги (особенно если они содержат не одну страницу). Сегодня мы поговорим о том, как эту самую карту сайта можно создать, также мы затронем тему наиболее предпочтительного варианта для WordPress.

Карта сайта для роботов

Расскажу более подробно о том, зачем нужен Sitemap. Это файл со ссылками на страницы блога/сайта, который извещает поисковые системы об актуальной структуре ресурса.

Он может быть как статичным, так и динамичным. Первый актуален для таких же статичных необновляемых веб-ресурсов.

Такая карта сайта легко создается с помощью автоматического генератора и помещается в корневую папку ресурса. Второй вариант актуален для большей части проектов – все изменения в содержимом учитываются и автоматически заносятся в файл xml.

Далее этот фид можно добавить в Яндекс.Вебмастер и Search Console. Благодаря этому поисковые системы будут знать обо всех изменениях, которые происходят на вашем ресурсе. Будь то выход новой статьи или же простое изменение номера на странице контактов.

Естественно, в случае статичного файла, созданного с помощью генератора, вам заново придется выгружать его в корень, причем вручную. Не самый удобный вариант, но если ваш сайт написан на чистом html+css и обновляется раз в год, то это еще терпимо.

Если вы работаете с CMS, например, WordPress, то этот процесс можно максимально упростить и ускорить. С помощью плагинов вы сможете забыть о каких-то ручных манипуляциях. Нужно лишь организовать работу такого расширения, все настроить и далее направить ссылку в вышеозвученные сервисы. Все просто, никаких мучений. О том, как это сделать, мы поговорим далее.

Как создать Sitemap.xml для WordPress

Сайтмап, как я уже говорил, можно создать самыми разными способами. Вплоть до того, что написать его вручную. Но не будем на этом останавливаться, перейдем к рассмотрению более адекватных способов.

Создать карту сайта можно с помощью:

• онлайн-генератора;
• программы (тот же генератор, только не онлайн);
• плагинов;
• вручную.

Давайте поговорим обо всех этих вариантах подробнее.

Онлайн-генераторы и программы

С помощью них вы создадите именно статичный вариант sitemap.xml. Он не будет обновляться, поэтому подойдет для проектов, в которых изменения происходят не так часто. Обратите внимание на тот факт, что каждый раз для поддержания актуальности своей карты, вам придется заново заходить на сервис и генерировать ее, после заменяя старый файл новым.

Если ваш веб-ресурс обновляется каждый день, то такая вариация sitemap не выглядит слишком привлекательной. Однако при некоторых обстоятельствах вы можете позволить себе этот способ. Например, если ваш сайт представляет собой визитку или лендинг с несколькими страницами и информацией о компании.

То же касается и программ-генераторов (как правило, платных). Вы просто создаете необновляемый файл в формате xml и загружаете его на хост с помощью FTP или файлового менеджера. В теории, конечно, можно довести этот способ до ума, сделав его полуавтоматическим. Но в том нет нужды, потому как с помощью специальных расширений можно создать динамическую карту сайта и вообще забыть о таких проблемах.

Итак, примеры онлайн-сервисов для создания сайтмап:

• XML-Sitemaps (до 500 страниц),
• Free Sitemap Generator (до 5 000 страниц),
• My sitemap generator,
• Sitemap.

Как это работает?

Вы просто вставляете ссылку на свой сайт, после этого сервис выдает вам файлик в формате xml. Это и есть наша карта, которую мы должны загрузить в корень (и указать поисковикам на нее, но об этом далее).

То же касается и программных продуктов. Но о них я не буду здесь рассказывать, поэтому вы можете поискать информацию об этом самостоятельно.

Здесь же отмечу, что некоторые онлайн-сервисы предлагают платный вариант использования, который заключается в неограниченном количестве страниц или доведении процесса до полуавтоматизма. Карта сайта регулярно обновляется с помощью встроенных средств таких сервисов. Вам же остается настроить автозагрузку. Я считаю, что это костыль, особенно для CMS, включая ВордПресс.

Плагины

Тут-то мы и переходим к основной части этого материала. Плагины, по моему мнению, являются наиболее предпочтительным способом создания карты sitemap. Благодаря этим замечательным расширениям вам не нужно следить за актуальностью или выгружать какие-то непонятные файлы. Нужно лишь прямо в админке нажать кнопку “Установить” – и все готово.

Плагинов, с помощью которых можно это сделать, великое множество. Ниже я приведу список самых востребованных и популярных, а также вкратце расскажу о каждом из них.

• Yoast SEO

Многофункциональный SEO-плагин, который ко всему прочему, имеет в себе еще и инструмент автоматического создания сайтмап. Он включен по умолчанию, поэтому сразу после установки вы получите готовую карту. Найти ее можно по адресу: site.ru/sitemap_index.xml. Что интересно, плагин создает отдельные sitemap для постов, рубрик, меток и архивов. Теоретически, поисковикам будет еще легче ориентироваться во всех этих элементах.

• All in One SEO Pack

Здесь также есть возможность создавать сайтмапы. Является аналогом предыдущего плагина и его прямым конкурентом. Как и в Yoast SEO, карта создается автоматически и постоянно поддерживается в актуальном состоянии.

• Google XML Sitemaps

А вот это уже специализированное решение для автоматической генерации sitemap.xml. Google Sitemaps позволит вам создать аккуратную карту сайта, которая будет поддерживаться почти всеми поисковыми системами.

Примечательно, что у этого плагина более миллиона установок. У большей части этих пользователей также установлены многофункциональные решения. Просто они отключают эти функции, отдавая предпочтение именно Google XML Sitemaps.

Данное расширение легко устанавливается и настраивается. Поддержка осуществляется уже на протяжении 9 лет, поэтому разработчикам точно можно доверять (жирный плюс к миллионным установкам). Однозначно рекомендую как один из самых лучших способов.

• XML Sitemap & Google News feeds

Два в одном. С помощью этого дополнения вы сможете создать не только xml-карту, но и дополнительный фид для Google News. Сейчас у плагина более 100 000 установок, поэтому вам тоже советую обратить на него внимание. Как и в случае с остальными вариациями, настройка воспроизводится легко.

• Google Sitemap by BestWebSoft

Набирающий популярность плагин с поддержкой русского языка. Все просто: устанавливаете его на свой ресурс с ВордПресс, после чего для всех ваших таксономий генерируются файлы в формате xml.

В каталоге плагинов можно найти еще огромное количество разных решений – хороших и не очень. В любом случае я рекомендую устанавливать на свой проект только проверенные продукты с хорошими отзывами и бэкграундом в виде времени или количества установок. При иных обстоятельствах вы рискуете потерпеть фиаско из-за некачественного продукта.

Также отмечу, что некоторые из представленных расширений требуют настройки. Учитывайте этот факт.

Вручную

Способ, который требует времени, знаний и терпения. Очень непрактичный, кстати говоря. В общем-то, вам придется разобраться с синтаксисом разметки xml, после чего поочередно вписать туда все данные своего портала. Даже если на вашем веб-ресурсе всего несколько десятков страниц, вам все равно придется попотеть, вписывая данные каждой в xml-документ. Чего уж говорить о сотнях и тысячах, когда вы просто сойдете с ума, если попытаетесь реализовать это руками.

Вам придется вручную прописывать все, начиная от url, и заканчивая любой картинкой, которая содержится в статье или на странице. Само собой, нужно будет следить за синтаксисом и правильностью заполнения таких данных. Если вы допустите какие-нибудь ошибки, поисковые системы просто не примут ваш файл. Будьте предельно аккуратны, выбирая этот способ. Скорее всего это целесообразно только для собственного развития и изучения xml-разметки, но не более того.

Что делать с картой дальше

Чтобы помочь поисковым системам найти карту вашего проекта, можно воспользоваться такими сервисами как Яндекс.Вебмастер и Search Console. В каждом из них существуют инструменты отправки сайтмап, а также данные обо всех ошибках, которые могли возникнуть в ходе его генерации. Нужно знать точную ссылку на карту, чтобы добавить ее. Как правило, она лежит прямо в корне. Поэтому для перехода к xml-файлу нужно лишь указать его название и формат.

Добавление в Яндекс.Вебмастер

Переходим в Вебмастер, после чего выбираем наш сайт (если их несколько). Далее идем во вкладку индексирование – Файлы Sitemap. Здесь-то мы и будем управлять файлами карт сайта для нашего проекта. Копируем адрес сайтмап в поле, после чего нажимаем “Добавить”.

После того как вы добавите файл в сервис, можно нажать на значок со стрелочками, чтобы поисковик приступил к чтению файла.

Search Console

Идем в консоль, после чего переходим в раздел Сканирование – файлы Sitemap. В остальном все то же самое. Добавляем файл и проверяем его на ошибки.

Заключение

Надеюсь, теперь вы поняли, что такое карта сайта и зачем она нужна. Как видите, в ее создании нет ничего сложного. Нужно лишь знать способы, с помощью которых можно реализовать это дело.

Каким именно образом генерировать сайтмап – дело ваше. Но должен заметить, что для WordPress наиболее предпочтительным способом являются плагины. Тем более что у большей части многофункциональных SEO-плагинов эта опция вшита, а какой-то СЕО-плагин все равно придется выбрать.

Sitemap крайне важен для поисковой оптимизации, и если вы хотите знать об этом больше, то я приглашаю вас на курс Василия Блинова “Как создать блог”. В нем вы рассмотрите все аспекты SEO-оптимизации проектов.

На этом все, спасибо за внимание.

iklife.ru

Функции карты сайта

• Хранение актуальной информации об индексируемых страницах.
• Передача поисковым системам информации о частоте обновления контента.
• Передача роботу указаний по поводу индексации, включая установленный приоритет страниц относительно друг друга и в структуре сайта.
• Предоставление ссылок на весь индексируемый контент в удобном формате, обеспечивающем быстрый доступ ко всем страницам сетевого ресурса.

Файл Sitemap.xml создают после составления семантического ядра, определения структуры сайта и подготовки к продвижению в интернете. Его размещают в директории ресурса, после чего сообщают поисковым системам его сетевой адрес.

Пользовательская карта сайта

Обычным посетителям сайта для поиска нужной информации удобно пользоваться списком обычных ссылок. Поэтому для них карту сайта создают в привычном формате HTML. В окне браузера такая страница выглядит как древовидный список адресов, по которым пользователь может быстро перейти в любой раздел и найти нужную информацию. Для поисковых систем этот формат не подходит. Когда робот посещает такую карту, он видит обычную страницу, на которой размещено большое количество ссылок практически без текстовой информации. Поэтому он считает ее бесполезной и может не проиндексировать часть ссылок или вовсе исключить страницу из поиска. Это негативно повлияет на дальнейшее продвижение сайта. Также есть существенные ограничения на количество размещаемых ссылок при создании карты в формате HTML. Чтобы сделать карту полезной как для посетителей, так и для продвижения web-сайта в сети, нужно следовать простым рекомендациям:

• не размещайте на одной странице более 100 ссылок. Лучше ограничиться указанием адресов, ведущих на основные разделы, подразделы, важные страницы, которые недоступны из основного меню;
• не используйте дополнительное оформление. К нему относятся графические элементы, CSS-стили, скрипты, которые делают карту громоздкой.

Для поискового продвижения сайта в сети HTML-карту лучше не использовать. Для этого существует формат XML.

Карта сайта для поисковых систем

Карта sitemap.xml распознается Google, «Яндексом» и другими популярными поисковыми системами. В файле пользователь может разместить до 50 тыс. ссылок с дополнительной информацией. То есть кроме адресов страниц, разделов и подразделов можно указать частоту обновления контента, время последнего редактирования записи, выставить относительный приоритет в индексации. Делают это при помощи специальных тегов. Информация в карте сайта является рекомендацией, а не строгой командой. Поисковая система учтет пожелания вебмастера, но действовать будет так, как посчитает нужным. Если пользователь с целью повышения эффективности СЕО-продвижения укажет в файле определенный период обновления контента, то робот не станет точно следовать указаниям. Он выберет свой срок обхода на основе представленных данных и результатов, полученных после очередной индексации ресурса.

Как проверить карту сайта и показать ее поисковым системам

Для качественного SEO-продвижения роботы поисковиков должны узнать о месторасположении карты сайта. Показать карту можно двумя способами: передать поисковой системе сетевой адрес файла XML или записать ссылку в файл robots.txt.

и желании можно указать сразу несколько ссылок на различные карты. Все они будут обработаны поисковыми роботами, и пользователь получит результаты проверок каждой из них. Прежде чем указывать поисковику на карту, следует проверить корректность ее составления. Сделать это можно при помощи специальных сервисов, предлагаемых поисковыми системами и обычными разработчиками. Например, в «Яндекс.Вебмастере» можно проверить файл, загрузив его на сервер и указав прямую ссылку или передав содержимое путем его копирования и вставки в специальное поле.

Особенности составления карты сайта

• Карта сайта sitemap.xml должна находиться в директории домена сайта. Нельзя составлять карту одновременно для домена и поддоменов, прописывая ссылки всех страниц в одном файле.
• Имя для карты сайта можно выбрать любое, главное, не ошибиться с расширением файла.
• Максимальное количество ссылок – 50 тыс.
• Максимальный объем файла – 10 Мбайт.
• Если требуется сделать карту сайта с количеством ссылок, превышающим максимальное значение, то разрешается делить файл на несколько штук. То же самое делают при превышении объема.
• Информацию в файле сохраняют в кодировке UTF-8. Если сайту присвоен кириллический домен, преобразование делать необязательно. Поисковые системы распознают адреса в любом виде.

Создание карты сайта

При SEO-оптимизации создание карты сайта является важным процессом, от правильности проведения которого зависят скорость и эффективность будущего индексирования контента. Если пользовательскую карту можно быстро создать вручную, просто скопировав в текстовый файл ссылки на все важные страницы сайта, то с формированием карты в формате XML придется повозиться. В таком файле информация представлена в удобном для поисковиков виде. Кроме обычных ссылок на страницы с контентом в нем присутствуют специальные теги, директивы, параметры. Чтобы правильно создать карту, вебмастер должен научиться пользоваться ими.

SEO и sitemap.xml тесно связаны. Независимо от того, каким способом будет создана карта сайта, главное – правильно прописать в ней ссылки на контент, который должен находиться в поиске. Очень важно не допускать ошибок, не запутывать робота наличием ссылок, запрещенных в файле robots.txt, присутствием неканонических адресов. Не нужно выгружать в файл XML все, что есть на сайте. От этого пользы в рамках оптимизации сайта не будет. Наоборот, робот может посчитать такую карту некорректно сформированной, что может повлиять на индексирование и позиции сетевого ресурса в поисковой выдаче.

Методы создания карты в формате XML

Генерация sitemap.xml автоматически. Сделать карту можно при помощи онлайн-сервисов, указав сетевой адрес ресурса. Робот посетит сайт, соберет все ссылки, добавит их в файл, сохранит его в нужном формате и предложит пользователю скачать на свой компьютер или сразу в директорию сайта. В интернете существует большое количество сервисов, которые предлагают разные дополнительные возможности и имеют определенные ограничения. Программы-генераторы, работающие на компьютере пользователя, обычно распространяются платно. Они обладают множеством функций, которые будут очень полезны в эффективной работе с несколькими ресурсами.

Наполнение карты сайта вручную. Многие платные и бесплатные CMS предлагают пользователям инструменты ручной и автоматической генерации карты сайта. При наличии ручного инструмента вебмастеру придется самостоятельно обновлять карту по мере наполнения сетевого ресурса новым контентом. Если присутствует автоматический генератор, думать об актуальности карты сайта не придется. Сервис регулярно проверяет состояние имеющихся карт и обновляет их по мере необходимости.

XML-формат

При ручном создании или проверке карты сайта на наличие ошибок пользователю потребуются знания XML-схемы протокола Sitemap. Формат состоит из специальных тегов, которые бывают обязательными и дополнительными. Дополнительные теги вебмастер использует по желанию. Поддержка необязательных тегов зависит от поисковой системы, для которой они добавляются в карту. С подробной информацией о дополнительных тегах можно ознакомиться на странице помощи поискового сервиса.

XML-схема Sitemap:

1. Файл открывают тегом <urlset> и зарывают </urlset>. Все, что находится между ними, является картой сайта и будет прочитано поисковым роботом. В открывающемся теге указывают стандарт используемого протокола.
2. Каждый адрес страницы сайта записывают между тегами <url> и </url> с указанием дополнительных параметров.
3. Между тегами <loc> и </loc> записывают адреса страниц.

Дополнительные параметры для сетевых адресов:

• Lastmod. Его используют для указания времени обновления страницы;
• Changefreq. Параметр сообщает роботу о частоте обновления контента;
• Priority. В нем указывают относительный приоритет страниц.

При формировании нескольких карт в одном файле в качестве открывающего и закрывающего тега используют sitemapindex. Для открытия и закрытия очередной карты сайта применяют тег sitemap.

Влияние карты сайта на эффективность поискового продвижения

Роботы поисковых систем индексируют сайты независимо от того, есть в директории карта сайта или нет. Поисковая система способна самостоятельно находить ссылки на имеющиеся страницы, переходить по ним, анализировать контент и добавлять его в поиск. Карта сайта лишь помогает работу избегать ошибок при индексировании крупных порталов с запутанной структурой и огромным количеством ссылок. Причины возникновения ошибок при сканировании без карты сайта:

• наличие контента, доступного только при переходе по длинной цепочке ссылок;
• присутствие динамических URL-адресов.

Карта упрощает и ускоряет процесс индексирования, но не влияет на ранжирование страниц. Она поможет вебмастеру быстрее выводить в поиск новые материалы. Преимущества использования правильно созданной карты сайта:

• повышение скорости обнаружения новых страниц и добавления их в индекс поисковой системы;
• быстрое нахождение и индексация обновленного контента;
• ускорение попадания сайта в результаты поисковой выдачи.

wiki.rookee.ru

Как создать файл SiteMap онлайн и добавить его на сайт

Так как sitemap является файлом xml, создать его можно в текстовом формате, при помощи любого редактора, и сохранить с расширением xml. Однако самостоятельные усилия вовсе не обязательны, в Интернете существуют специальные сервисы, при помощи которых можно бесплатно сгенерировать — автоматически создать файл sitemap.xml онлайн и добавить на любой сайт. Более подробно процесс создания файла sitemap.xml вы можете посмотреть на видео:

Смотрите полный видеокурс на iTunes

Для автоматического создания sitemap нужно ввести в соответствующее поле адрес нужного сайта, выбрать подходящий формат файла, определить последовательность индексации страниц на сайте, указать периодичность обновления страниц и задать другие интересующие Вас параметры. После всех этих операций нужно кликнуть на кнопку «выполнить», и уже через непродолжительное время в открытом ниже окне появится код созданной карты сайта. Этот код нужно просто скопировать и вставить в созданный вами в редакторе файл sitemap.xml, сохранить его и загрузить в корневую директорию вашего сайта.

Но для того, чтобы от этого файла был ожидаемый эффект, мало просто создать и добавить SiteMap на свой сайт, нужно еще и донести до поискового робота информацию о его наличии. Для этого нужно путь к нему прописать в файле Robots.txt, добавив в него строку:

Sitemap: http://ВАШ_САЙТ.ru/sitemap.xml

После этого все операции выполнены, ваш sitemap готов выполнять свои функции. Нужно только помнить, что в одном созданном xml файле не должно быть больше 50 000 страниц, и объем его должен быть не больше, чем 10 мегабайт. В противном случае, будет нужно создать еще один такой файл.

Читайте также: sitemap онлайн бесплатно

• Бесплатная и быстрая CMS для вашего блога
• Как дешевле купить качественные статьи — советы копирайтера со стажем
• Выбор правильной ниши — залог стабильного пассивного дохода
• Копирайтинг — Уникальный контент для сайта чужими руками
• Английский МФА — Начало завоевания англоязычного интернета
• Запрет доступа к сайту с домена или IP
• Платный хостинг бесплатно
• Купить домен просто, а выбрать ему имя тяжело
• Полный текст RSS новостей из сокращенного фида
• Собственный Дискус или комментарии отдельно от поста

seodiz.ru

Создание и отправка файлов Sitemap

1. Решите, какие страницы вашего сайта должны сканировать поисковые роботы Google, и определите канонические URL для каждой из них. 
2. Определите, какой формат файла Sitemap нужно использовать. Создать файлы Sitemap можно как вручную, так и автоматически с помощью сторонних инструментов.
3. Проверьте файл Sitemap с помощью инструментов, доступных в Search Console.
4. Сделайте файл Sitemap доступным для Google. Для этого добавьте ссылку на него в файл robots.txt или отправьте его непосредственно в Google с помощью Search Console.

Форматы файлов Sitemap

Google поддерживает несколько форматов файлов Sitemap, описанных ниже. Во всех форматах следует использовать стандартный протокол. Google в настоящее время не поддерживает атрибут <priority> в файлах Sitemap.

Для всех форматов действуют следующие ограничения: файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Если объем файла или количество перечисленных в нем адресов превышают эти лимиты, разбейте его на несколько частей. Вы можете создать файл индекса Sitemap, перечислив в нем все файлы Sitemap, и отправить их в Google все сразу.

Расширения файлов Sitemap

Google поддерживает расширенный синтаксис в файле Sitemap для приведенных ниже типов информации. С его помощью можно добавлять описание видео, изображений и другого контента для улучшения его индексации.

• Видео
• Изображения
• Новости

Общие рекомендации по файлам Sitemap

• Используйте один и тот же синтаксис при указании URL. Google будет сканировать их в точности по списку. Например, если сайт размещен по адресу http://www.example.com/, не используйте URL /https://example.com/ (без www) или ./MoyaStranitsa.html (относительный URL).
• Не указывайте в добавляемых URL идентификаторы сессий – это может привести к избыточному сканированию страниц.
• Сообщите Google о версии страницы на других языках с помощью атрибута hreflang.
• Файлы Sitemap должны использовать кодировку UTF-8, а в URL необходимо применять экранирование.
• Разбивайте большие файлы Sitemap на файлы поменьше, чтобы снизить нагрузку на сервер при отправке информации в Google. Файл Sitemap может содержать не более 50 000 URL, а его размер в несжатом виде не должен превышать 50 МБ. Создайте файл индекса Sitemap, перечислив в нем все файлы Sitemap, и отправьте его в Google вместо отдельных файлов.
• Используйте рекомендуемые методы канонизации URL, чтобы сообщить Google о версии домена, для которой составлен файл Sitemap (если сайт доступен как с www, так и без www). В этом случае потребуется только один файл Sitemap.
• Используйте расширения файлов Sitemap для дополнительных типов информации, в частности видео, изображений и новостей.
• Если у мобильной и обычной версии страницы разные URL, мы рекомендуем указывать только на одну из них. Если все же требуется указание на оба URL, добавьте для них аннотации, чтобы распознавались разные версии.
• Если существуют версии страницы на других языках или для других регионов, вы можете указать их с помощью файла Sitemap или атрибута hreflang.
• Применяйте только цифры и латинские буквы. Файл Sitemap обязательно должен быть в кодировке UTF-8 (обычно ее можно выбрать при сохранении). Во всех файлах XML для любых значений данных (включая URL) необходимо применять экранирование элементов при использовании символов, перечисленных в таблице ниже.  Файл Sitemap может содержать только символы ASCII. В нем не должно быть расширенных символов ASCII, определенных управляющих кодов и специальных символов, таких как * и {}. Если они содержатся в URL, то при попытке его добавить появится сообщение об ошибке.
  

  Символ		Маскирование
  Амперсанд	&	&
  Одинарные кавычки	‘	'
  Двойные кавычки	«	"
  Больше чем	>	>
  Меньше чем	<	&lt;

  Кроме того, все URL (включая адреса в вашем файле Sitemap) должны быть правильно экранированы и закодированы, чтобы их мог обработать веб-сервер. Обычно это выполняется автоматически, если для создания URL вы применяете какой-либо скрипт, инструмент или файл журнала, то есть не вводите адреса вручную. Если при отправке файла Sitemap вы получаете оповещение о том, что Google не удалось найти ваши URL, убедитесь, что они соответствуют стандарту RFC-3986 для URI, стандарту RFC-3987 для IRI и стандарту XML.

  Ниже представлен пример URL, в котором содержится символ, не относящийся к кодировке ASCII (ü), а также символ, требующий экранирования (&).
  http://www.example.com/ümlat.html&q=name
  Этот же URL, переведенный в кодировку ISO-8859-1 (для размещения на сервере, использующем эту кодировку) и содержащий маскирование:
  http://www.example.com/%FCmlat.html&q=name
  Этот же URL, переведенный в кодировку UTF-8 (для размещения на сервере, использующем эту кодировку) и содержащий маскирование:
  http://www.example.com/%C3%BCmlat.html&q=name
  Этот же URL, содержащий маскирование:
  http://www.example.com/%C3%BCmlat.html&q=name

Как сделать файл Sitemap доступным для Google

Предоставить Google доступ к файлу Sitemap можно несколькими способами:

• Отправить его в Google с помощью инструмента Search Console
• Вставить в любом месте файла robots.txt строку, указывающую на местоположение файла Sitemap:
  Sitemap: http://example.com/adres_sitemap.xml.
• Воспользоваться запросом ping. Отправьте такой запрос HTTP GET:
    http://www.google.com/ping?sitemap=<polniy_url_faila_sitemap>
  Пример:
    http://www.google.com/ping?sitemap=https://example.com/sitemap.xml

support.google.com

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

• Некоторые разделы недоступны через навигационное меню.
• Имеется множество изолированных страниц или плохо связанных между собой.
• Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
• Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

• Sitemap.xml является текстовым файлом формата XML. Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
• Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
• Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
• Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже (см. подробней).
• Адреса в sitemap.xml должны быть абсолютными.
• Максимальная длина URL — 2048 символов (1024 символа для Яндекса).
• Спецсимволы в URL (типа амперсанда «&» или кавычек) должны маскироваться в HTML-сущности.
• Указанные в карте страницы должны отдавать 200 http-код статуса.
• Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
• Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt.

Также поисковиками поддерживается стандартный XML-протокол. Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">   <url>   <loc>https://devaka.ru/</loc>   <lastmod>2018-06-14</lastmod>   <changefreq>daily</changefreq>   <priority>0.9</priority>   </url>  </urlset>

XML-теги
urlset (обязательный) — указывает стандарт текущего протокола.
url (обязательный) — родительский тег для каждого URL-адреса.
loc (обязательный) — URL-адрес документа, должен быть абсолютным.
lastmod — дата последнего изменения документа в формате Datetime.
changefreq — частота изменения страницы (always, hourly, daily, weekly, monthly, yearly, never). Значение этого тега является рекомендацией поисковым системам, а не командой.
priority — приоритетность URL относительно других адресов (от 0 до 1) для очередности сканирования. Если не указывается, то по умолчанию равна 0.5.

XML карта для изображений

Некоторые оптимизаторы вставляют в sitemap.xml ссылки на изображения аналогично ссылкам на html-документы. Так можно делать, но лучше для Google использовать расширение стандартного протокола и вместе с урлами отправлять дополнительную информацию об изображениях. Создавать XML карты изображений полезно, если картинки необходимо сканировать и индексировать, и при этом, они напрямую не доступны боту (например, используется JavaScript).

Пример карты сайта, содержащей одну страницу и принадлежащие ей изображения

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">   <url>   <loc>http://example.com/primer.html</loc>   <image:image>   <image:loc>http://example.com/kartinka.jpg</image:loc>   </image:image>   <image:image>   <image:loc>http://example.com/photo.jpg</image:loc>   <image:title>Вид на Балаклаву</image:title>   <image:geo_location>Севастополь, Крым</image:geo_location>   <image:license>http://creativecommons.org/licenses/by-nd/3.0/legalcode</image:license>   </image:image>   </url>  </urlset>

XML-теги
image:image (обязательно) — информация об одном изображении. Максимум может использоваться 1000 изображений.
image:loc (обязательно) — путь к файлу изображения. Если используется CDN, то допустимо ссылаться на другой домен, если он подтвержден в панели для вебмастеров.
image:caption — подпись к изображению (может содержаться длинный текст).
image:title — название изображение (обычно короткий текст).
image:geo_location — место съемки.
image:license — URL лицензии изображения. Используется при расширенном поиске по картинкам.

 

Подробнее о файлах Sitemap для изображений:
https://support.google.com/webmasters/answer/178636

XML карта для видео

Подобно карте для изображений, Google также имеет расширение sitemap протокола для видео, где можно указывать подробную информацию о видео-контенте, влияющую на отображение в поиске по видео. Видео-сайтмап необходим, когда на сайте используются видео, которые хостятся локально, и когда индексация этих видео затруднена из-за используемых технологий. Если вы на сайте внедряете видео из YouTube, то video-sitemap здесь не нужен.

Подробнее о файлах Sitemap для видео:
https://developers.google.com/webmasters/videosearch/sitemaps

Файл Sitemap для новостей

При наличии на сайте новостного контента и участии в Google Новостях полезно использовать Sitemap для новостей, так Google будет быстрей находить ваши свежие материалы и индексировать все новостные статьи. В этом случае Sitemap должен содержать только адреса страниц, опубликованных за последние 2 дня и содержать не более 1000 урлов.

Подробнее о файлах Sitemap для новостей:
https://support.google.com/news/publisher-center/answer/74288

Использование нескольких карт

При необходимости можно использовать несколько карт сайтов, объединяя их в один индексный сайтмап. Несколько sitemap.xml используются в случаях, когда:

• На сайте используется несколько движков (CMS).
• На сайте больше 50 000 страниц.
• Необходимо настроить удобное отслеживание ошибок в разделах.

В последнем случае каждый большой раздел сайта имеет свой sitemap.xml и все они добавляются в панель для вебмастеров, где удобно наблюдать, в каком из разделов больше всего ошибок (см. раздел поиска ошибок в карте сайта).

Если у вас 2 и более сайтмапа, их необходимо объединить в индексный сайтмап, который выглядит также как обычный (за исключением наличия тегов sitemapindex и sitemap вместо urlset и url), имеет аналогичные ограничения и может ссылаться только на обычные XML карты (не на индексные).

Пример Sitemap Index:

<?xml version="1.0" encoding="UTF-8"?>  <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">   <sitemap>   <loc>http://www.example.com/sitemap-blog.xml.gz</loc>   <lastmod>2004-10-01T18:23:17+00:00</lastmod>   </sitemap>   <sitemap>   <loc>http://www.example.com/sitemap-webinars.xml.gz</loc>   <lastmod>2005-01-01</lastmod>   </sitemap>  </sitemapindex>

sitemapindex (обязательный) — указывает стандарт текущего протокола.
sitemap (обязательный) — содержит информацию об отдельном sitemap.
loc (обязательный) — местоположение sitemap (в формате xml, txt или rss для Google).
lastmod — время изменения сайтмапа. Позволяет поисковикам быстро обнаруживать новые URL на сайтах больших размеров.

Как создать sitemap.xml

Методы создания XML Sitemap:

• Внутренние средства CMS. Многие CMS уже поддерживают создание карты сайта. Чтобы это выяснить, почитайте документацию к вашей CMS, посмотрите пункты меню в администраторской панели или обратитесь в техподдержку движка. Загрузите на вашем сайте файл https://вашсайт.com/sitemap.xml, возможно он уже существует и динамически формируется.
• Внешние плагины. Если в CMS нет функционала генерации карты сайта, и она поддерживает плагины, погуглите, какой из плагинов закрывает вопрос sitemap.xml для вашего движка и установите его. В некоторых случаях необходимо обратиться к программистам, чтобы они написали вам подобный плагин.
• Отдельный скрипт на сайте. Зная протокол XML карты и технические ограничения, можно создать sitemap.xml самостоятельно, добавив скрипт генерации в CRON. Если вы не программист, используйте другие пункты этого списка.
• Генераторы Sitemap. Существует множество генераторов sitemap.xml, которые сканируют ваш сайт и дают скачать готовую карту. Недостаток здесь в том, что при каждом обновлении сайта необходимо вручную генерировать сайтмап.
• Парсеры. Десктопные программы, предназначенные для технического анализа сайта, обычно предоставляют возможность скачать sitemap.xml, сгенерированный на основе просканированных страниц. Работает аналогично генераторам sitemap, только запускается локально на своей машине.

Популярные онлайн-генераторы карты сайта

XML-Sitemaps.com

Позволяет получить sitemap.xml в несколько кликов. Поддерживает форматы XML, HTML, TXT и GZ. Удобно использовать для небольших сайтов (до 500 страниц).

XML Sitemap Generator

Похожий генератор, но имеет чуть больше настроек и позволяет создать карту до 2000 страниц бесплатно.

My Sitemap Generator

Имеет множество настроек, позволяет импортировать URL-адреса из CSV-файла. Бесплатно сканирует до 500 урлов.

Check Domains

Не имеет лимитов на количество страниц для сканирования. Но для больших сайтов процесс генерации может подвисать на несколько десятков минут.

Локальные программы для генерации XML Sitemap

G-Mapper Sitemap Generator

Бесплатная десктопная версия генератора карты сайта под Windows.

Screaming Frog SEO Spider

Гибкий инструмент генерации карты сайта с множеством настроек. Удобно, если вы уже пользуетесь скримин фрогом для других SEO-задач. После сканирования сайта используйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менее гибкое, но тоже удобное решение для быстрой генерации sitemap.xml. После сканирования сайта необходимо использовать пункт меню Инструменты -> Генерация Sitemap.

Создание Sitemap XML на WordPress

Yoast SEO
Помимо прочих функций, полезных для SEO, позволяет генерировать sitemap.xml.

Google XML Sitemaps
Простой плагин для генерации Sitemap на WordPress.

WP Sitemap Page
Еще один плагин для WordPress, если предыдущие не подошли.

Sitemap.xml должен обновляться сразу же, как на сайте появляются новые страницы. Однако, в случае, если на сайте страницы появляются часто и пачками, то Sitemap целесообразно генерировать примерно раз в час. Убедитесь, что в карту сайта не попадают дубли, несуществующие страницы или содержащие редирект. Например, страницы пагинации и сортировки в sitemap.xml включать не нужно. Идеальный sitemap состоит из страниц основных разделов и подразделов сайта и конечных узлов (статьи, карточки товара и пр).

Кириллические адреса в sitemap

Несмотря на то, что sitemap протокол позволяет использовать только ASCII символы в URL, Google и Яндекс поддерживают оба формата для кириллических адресов, кодированный и обычный. То же самое с IDN-доменами, можно использовать обычный формат и Punycode. Однако, для совместимости вашего sitemap.xml с различными поисковыми системами и сервисами, рекомендуется следовать протоколу, кириллические домены кодировать в Punycode-формат (используйте этот конвертер), и использовать маскирование для кириллических адресов страниц.

Вместо:
https://минобрнауки.рф/фото

Необходимо использовать:
https://xn--80abucjiibhv9a.xn--p1ai/%D1%84%D0%BE%D1%82%D0%BE

Sitemap мультиязычного и мультирегионального сайта

Если ваш сайт является мультиязычным или мультирегиональным, то Google поддерживает разметку hreflang непосредственно в sitemap.xml. Для этого в карте необходимо использовать дополнительные теги xhtml:link с указанием hreflang.

Пример. Сайт использует два языка: русский и украинский. В таком случае sitemap.xml для одной из страниц будет выглядеть следующим образом.

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"   xmlns:xhtml="http://www.w3.org/1999/xhtml">   <url>   <loc>http://www.example.com/ru/</loc>   <xhtml:link   rel="alternate"   hreflang="ru"   href="http://www.example.com/ru/"   />   <xhtml:link   rel="alternate"   hreflang="uk"   href="http://www.example.com/ua/"   />   </url>   <url>   <loc>http://www.example.com/ua/</loc>   <xhtml:link   rel="alternate"   hreflang="ru"   href="http://www.example.com/ru/"   />   <xhtml:link   rel="alternate"   hreflang="uk"   href="http://www.example.com/ua/"   />   </url>  </urlset>

Как видите, каждый языковый или региональный URL должен быть представлен в отдельном теге url. Чем больше языков на сайте, тем больше будет разрастаться этот sitemap.

Если у сайта имеется множество поддоменов, то каждый поддомен, как отдельный сайт, должен содержать свой sitemap.xml. В этом один из недостатков поддоменной структуры сайта.

Поиск ошибок в карте сайта

При создании XML карты сайта вебмастерами часто допускаются следующие ошибки:

• URL ведет на страницу, http-код статуса которой отличный от 200 (например, страницы не существует или она редиректит на другую страницу). Необходимо оставить в sitemap.xml только существующие страницы.
• URL ведет на страницу, которая закрыта от индексации в файле robots.txt. Здесь необходимо разобраться, ошибка в robots.txt или в sitemap.xml.
• URL ведет на страницу, которая закрыта тегом meta-robots noindex. Ссылки в карте сайта должны вести только на страницы, которые доступны к индексации.
• Ошибки, касающиеся ограничений или несоответствию стандартному протоколу.

Самый простой способ проверки сайтмапа — использовать Screaming Frog в режиме списка (меню «Mode» — «List»). Загружаете sitemap и программа сама проверит все урлы, в отчетах будет видно, какие отдаются коды статусов и закрыты ли адреса от индексации.

Также можно использовать анализатор файлов Sitemap от Яндекса. Здесь полезно проверять свои карты перед тем, как добавить их в панель для вебмастеров. А после добавления карты в панель поисковые системы будут сообщать о наличии дополнительных ошибок уже после того, как просканируют урлы.

Рекомендуемый алгоритм проверки на ошибки:

• Просканировать XML Sitemap с помощью Screaming Frog, избавиться от всех ошибок.
• Протестировать карту сайта через инструмент Яндекса или в Google Search Console.
• Добавить ссылку на карту в robots.txt и в панель для вебмастеров Яндекса и Google Search Console.
• Периодически мониторить раздел в панели с XML картой.

Sitemap.xml при переходе сайта на HTTPS

При переходе сайта на HTTPS меняется главное зеркало и необходимо проверить, что у вас соблюдаются следующие правила:

• Новый sitemap.xml содержит адреса с префиксом HTTPS.
• Все старые сайтмапы удалены из панелей для вебмастеров и файла robots.txt прежней версии сайта.
• Sitemap.xml на http-версии сайта редиректит 301 кодом статуса на новый sitemap.xml на https-версии.
• На сайте настроен постраничный 301 редирект на новую версию.

Разница поддержки XML Sitemap в Google и Яндексе

Возможности	Google	Яндекс
Максимальный размер sitemap.xml	50 Мб	10 Мб
Максимальная длина URL	2048 симв.	1024 симв.
Поддержка Sitemap для изображений и видео	есть	нет
Новостной Sitemap	есть	нет
Использование кириллических урлов	можно	можно
Разметка языковых версий страниц	есть	нет
Поддержка RSS/Atom фидов	есть	нет

Если это руководство не дало ответ на ваш вопрос, задайте его в комментариях.

devaka.ru

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам — помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта. Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps, предложенное Google, стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом.

htmlweb.ru

Что такое Sitemap ?

Это файл, который содержит в себе перечень ссылок на все важные страницы сайта. То есть, этот документ направляет поисковые системы на основной контент на сайте.

Для чего нужна карта сайта

Сайтмап нужен, если у сайта есть проблемы с индексацией, которые вызваны:
1) большим количеством страниц;
2) отсутствием ссылок (внутренних или внешних) на страницы;
3) глубокой вложенностью на сайте (запутанной структурой).

HTML vs XML-карта сайта

Карты сайта бывают следующих типов:

• HTML;
• XML.

Самое простое объяснение разницы между этими форматами в том, что XML-карта в первую очередь предназначена для поисковых систем, а HTML – для пользователей.

HTML-карта – это всего лишь общий обзор сайта, содержит только информацию и страницы, которые нужно видеть пользователям. Если вы находитесь на сайте и ищете определённый раздел, при переходе на Sitemap HTML легко его найдёте. Несмотря на то, что такой тип карт сайта ориентирован на пользователя, он также может помочь вашему ранжированию в поисковых системах. Это одно из свидетельств того, что вы заботитесь об удобстве сайта для пользователя.

При составлении HTML-карты сайта важно учитывать:

1. Структурированное содержание.

Карта сайта должна быть понятна и удобна для восприятия пользователя. Желательно, чтобы она включала в себя разделы, категории, подкатегории и т. д.

2. Анкоры ссылок.

В отличие от XML-карты, каждая ссылка должна иметь название, чтобы пользователям было понятно, на какую страницу они перейдут.

3. Ссылка на карту сайта должна быть доступна на всех страницах сайта. Обычно её размещают в футере страницы.

Протокол XML-карты сайта предназначен для поисковых роботов. XML-файл содержит в себе информацию о том, когда последний раз обновлялся URL-адрес, насколько это важно и как часто происходят изменения.

Обычно Sitemap состоит из следующих XML-тегов:

Обязательные:
<urlset> – определяет стандарт протокола и инкапсулирует этот файл.
<url> – содержит в себе информацию о URL-адресе (является родительским тегом).
<loc> – содержит абсолютный URL-адрес.

Необязательные:
<lastmod> – указывает дату последнего изменения файла.
<changefreq> – указывает частоту смены файла.
<priority> – указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

Общие рекомендации поисковых систем:

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

Хотя это очевидная рекомендация, на практике встречаются случаи, когда у владельца несколько сайтов, и при переносе шаблона с файлом Sitemap, последний забывали заменить на актуальный.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

Отличия:

Рекомендации Яндекса к файлу:

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

Рекомендации Google:

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке.

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator.

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

XML-карта для изображений

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
<image:image> – аналогично тегу <url> содержит в себе URL изображения и дополнительную информацию.
<image:loc> – URL изображения.

Необязательные:
<image:caption> – подпись к изображению.
<image:geo_location> – место съёмки фотографии.
<image:title> – название изображения.
<image:license> – URL-лицензии изображения.

XML-карта для видео

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

<loc> – содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег <loc>, достаточно в одном теге <loc> несколько раз прописать <video:video> для каждого видео на странице.
<video:video> – включает в себя всю информацию о видео.
<video:thumbnail_loc> – URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
<video:title> – заголовок, который должен совпадать с названием страницы, на которой отображается видео.
<video:description> – описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google.

Где разместить карту сайта

Мы рекомендуем размещать XML-карту в корневом каталоге сайта. Ссылку на сайтмап нужно указать в файле robots.txt.

Более подробно описано, как разместить ссылку на карту сайта в robots.txt, у нас в статье.

Добавить и проверить Sitemap в Yandex.Webmaster

Чтобы сообщить роботу Яндекса о наличии карты сайта, добавьте её в панель Яндекс.Вебмастера:

1. Перейдите в раздел «Индексирование» – «Файлы Sitemap».

2. Укажите ссылку на сайтмап.

3. Нажмите кнопку «Добавить».

4. Ниже будет отображаться список со всеми добавленными файлами.

Прежде чем добавить файл, рекомендуем проверить его на наличие ошибок:

1. В панели Яндекс.Вебмастера перейдите в раздел «Инструменты» – «Анализ файлов Sitemap».

2. Укажите URL, загрузите файл или просто добавьте текст.

3. Нажмите кнопку «Проверить».

Добавить и проверить файл в Google Search Console

Чтобы сообщить Googlebot о наличии этого файла, нужно добавить его в панель GSC:
1. Перейдите в раздел «Сканирование» – «Файлы Sitemap».
2. Нажмите кнопку «Добавление / проверка файла Sitemap».
3. Укажите URL файла.
4. Нажмите кнопку «Отправить».

Чтобы проверить карту сайта на наличие ошибок, вместо кнопки «Отправить» нажмите «Тест». Если ошибок нет, будет отображаться следующее окно.

При возникновении ошибок или предупреждений, Google сообщит об этом в соответствующей панели.

Полный перечень ошибок и как их исправить описано в справке Google.

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

siteclinic.ru