Sitemap яндекс


Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.

Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (sitemap.xml). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.


Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.

Предположим, что с первым у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.

 

XML и HTML версии карты сайта

Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.

 

Положительные стороны присутствия sitemap. xml на сайте

  • ускоренное индексирование недавно созданных страниц;
  • стопроцентная вероятность того что поисковик отыщет необходимые страницы;
  • возможность указать приоритеты при проверке, частоту и дату последнего обновления страницы;
  • немного увеличивается доверие к ресурсу.

 

Важно!

 

 

Как создать и добавить sitemap. xml на сайт

Берем любой текстовый редактор, например Notepad++, и начинаем творить.

Первым блоком идет стандартная часть, в которой мы указываем:

 

  <?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  

 

 

 

Далее добавляем следующий блок, который заключается в теги «url» и описывает одну из страниц нашего сайта:

 

  <url>   <loc>http://Наш сайт.ru/</loc>   <lastmod>2016-05-23T23:45:36+00:00</lastmod>   <changefreq>daily</changefreq>   <priority>1.0</priority>   </url>  

 

 

Значения тегов:

  • «loc» — в него мы заключили адрес страницы нашего сайта, которую в скором времени должны проиндексировать поисковые роботы;
  • «lastmod» — отображается последняя дата обновления страницы указанной в первом теге;
  • «changefreq» — показывает как часто будет обновляться контент (в нашем случае каждый день);
  • «priority» — задает приоритетность к индексации страницы (от 0 до 1)

 

Сохраняем получившийся файлик в формате XML и помещаем его в корень сайта. Далее указываем путь к нему в robots. txt прописывая данную строчку:

 

http://Наш сайт/sitemap.xml

 

Либо мы можем использовать один из онлайн-генераторов. Например, Sitemap generator, который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.

 

В первую строку вписываем полный URL нашего сайта с http://Наш сайт.

 

Вторая строка, которая называется «Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.

Третья строка «Last modification» показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать «Use server’s response » — тогда генератор автоматически внесет дату последнего изменения.

И четвертая строка «Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем «Automatically Calculated Priority».

Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML, после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.

 

Как сообщить о файле sitemap после создания Google и Яндекс


Заходим в Вебмастер и действуем следующим образом.

Выбираем проверку карты сайта:

Далее нажимаем «по ссылке».

 

И задаем путь к нашему файлу sitemap.

Проверяем что получилось:

Убеждаемся, что все в порядке и отправляемся на поклон к Google.

Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим по ссылке.

Выбираем «Добавление/проверка файла sitemap»:

Вводим только название нашей карты сайта с XML (т.к. URL сайта уже указан):

 

 

Нажимаем «Отправить» и видим такое сообщение:

Обновляем страницу  — перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.

 

Подведем итоги

Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы.


о значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.

semantica.in

Как добавить Sitemap в Яндекс Вебмастер

Чтобы добавить файл Sitemap в очередь на индексирование, вам нужно, как и всегда, зайти в сервис Вебмастера — webmaster.yandex.ru. Далее:

  1. В разделе «Индексирование» вы найдете пункт «Файлы Sitemap».
  2. Добавьте полный адрес файлы Sitemap, например, https://webmaster-seo.ru/sitemap.xml.
  3. Нажмите «Добавить».
  4. Ждите, пока Яндекс Вебмастер проверит файл.

Яндекс Вебмастер Sitemap


temprop="height" content="431">

После добавления, файл попадает в очередь на обработку. Робот добавит его в течение двух недель. Каждый добавленный файл, в том числе вложенный в индекс Sitemap, обрабатывается роботом отдельно.

После загрузки напротив каждой карты сайта вы увидите в Яндекс Вебмастере один из статусов:


Статус Описание Примечание
«OK» Файл сформирован правильно и загружен в базу робота Напротив файла отобразится дата последней загрузки.Проиндексированные страницы появятся в результатах поиска в течение двух недель
«Редирект» Указанный URL перенаправляет на другой адрес Удалите редирект и сообщите роботу об обновлении
«Ошибка» Файл сформирован неправильно Нажмите ссылку Ошибка, чтобы узнать подробности. После внесения изменений в файл сообщите роботу об обновлении
«Не проиндексирован» При обращении к Sitemap сервер возвращает HTTP-код, отличный от 200 Проверьте, доступен ли файл для робота с помощью инструмента Проверка ответа сервера, указав полный путь к файлу.Если файл недоступен, обратитесь к администратору сайта или сервера, на котором он расположен.Если файл доступен, сообщите роботу об обновлении
Доступ к файлу запрещен в robots.txt с помощью директивы Disallow Разрешите доступ к Sitemap и сообщите роботу об обновлении

Обновить Sitemap

Когда в Sitemap происходят изменения, его не нужно удалять из Яндекс Вебмастера и добавлять заново. Поисковик время от времени сам проверяет его на изменения и ошибки.

Яндекс Вебмастер Sitemap

Если ваш Sitemap не проиндексирован, то это можно ускорить. Нужно зайти в раздел «Индексирование», далее в пункт «Файлы Sitemap». Нажать на значок обновления Sitemap яндекс напротив нужноq карты сайта. Яндекс загрузит данные в течение трех дней. Использовать функцию можно до 10 раз для одного хоста.

Когда вы израсходуете все попытки, следующая будет доступна через 30 дней после первой. Точная дата отображается в интерфейсе Вебмастера.

Удалить Sitemap из Вебмастера


В интерфейсе Яндекс.Вебмастера можно удалить те файлы, которые были добавлены на странице «Файлы Sitemap»:

  1. Выберите нужный сайт из списка.
  2. Напротив нужного файла нажмите значок Sitemap яндекс.

Если для Sitemap была добавлена директива в файле robots.txt, удалите ее. После внесения изменений информация о Sitemap пропадет из базы робота и Яндекс.Вебмастера в течение нескольких недель.

Поддерживаемые Яндекс Вебмастером форматы

Яндекс принимает Sitemap в форматах:

  • XML;
  • TXT.

XML-формат Sitemap

Предпочтительней передавать в формате XML, т.к. в нем можно передать дополнительные данные.

Яндекс поддерживает протокол Sitemap. Используйте этот формат, если хотите сообщить о:

  • дате последнего обновления страницы (элемент lastmod);
  • частоте изменения страницы (элемент changefreq);
  • значимости страницы (элемент priority) — робот загружает страницы поочередно с учетом наличия и значения коэффициента от 0.0 до 1.0. Укажите коэффициент для тех URL, которые наиболее важны для сайта.

Пример:

<?xml version="1.0" encoding="UTF-8"?>  <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <url>   <loc>https://webmaster-seo.ru/ssylki-v-yandex-webmaster/</loc>   <lastmod>2018-06-06</lastmod>   <changefreq>monthly</changefreq>   <priority>0.8</priority>   </url>   ...   </urlset>

TXT-формат Sitemap

В данном формате можно передать только адреса страниц. И всё. Да, грусть и печаль, лучше используйте XML :-)

 

Чтобы передавать информацию о видео, в Sitemap укажите ссылки на XML-фиды (см. подробно в Помощи сервиса Я.Видео).
Поиск не поддерживает передачу информации об изображениях, RSS и Atom-фидов с помощью файла Sitemap.

В каких случаях нужен файл Sitemap

Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью внутренних и внешних ссылок — переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap, если на сайте:

  • большое количество страниц;
  • отдельные страницы без навигационных ссылок;
  • глубокая вложенность.

webmaster-seo.ru

Как добавить sitemap на сайт

Для многих CMS разработаны модули для генерации sitemap.xml в ручном или автоматическом режиме. Но здесь мы будет рассматривать случай самостоятельного добавления уже готового файла на сервер по FTP. Также рекомендуем вам ознакомиться со статьей о том, как создать sitemap.xml.

Чтобы добавить sitemap на сайт, необходимо проделать следующие шаги:

  1. Для соединения с сервером потребуется любой FTP-клиент. В примере будет использоваться FileZilla. Откройте программу и внесите необходимые данные для соединения с сервером по FTP:

    Как добавить sitemap на сайт

    Эту информацию можно получить от хостинг-провайдера.

  2. Зайдите в корневую папку вашего сайта (папку, где лежат все файлы ресурса) и добавьте туда ваш sitemap.xml. Это можно сделать двойным щелчком мыши или просто при помощи переноса файла в соседнее окно. На вопрос о замене существующего файла, выбираем заменить.

  3. Далее заходите в браузер по адресу site.ru/sitemap.xml и проверяете нахождение необходимого файла. Если по данному адресу нет вашего sitemap.xml, возможно вы переместили его не в ту папку, или просто необходимо обновить страницу.

Как видите, установить sitemap на сайт совсем не сложно, но необходимы доступы к ресурсу.

Как добавить sitemap в Яндекс

Чтобы сообщить поисковому роботу Яндекс о наличии на вашем сайте файла sitemap.xml существует два наиболее эффективных способа:

  1. Добавить sitemap через robots.txt. Для этого необходимо внести изменение в данный файл, дописав директиву:

    Sitemap: site.ru/sitemap.xml

    Здесь site.ru/sitemap.xml – это адрес вашей карты сайты для поисковых роботов. Если такая строка уже есть, то ничего добавлять не надо. Robots.txt также лежит в корневой директории вашего сайта. Так как это обычный текстовый файл, то редактировать вы его сможете в любом текстовом редакторе, например, блокноте.

    Как добавить sitemap в Яндекс

  2. Добавить sitemap через Яндекс.Вебмастер. Для этого способа должны быть подтверждены права на управление сайтом.

Необходимо зайти в панель вебмастера Яндекс, перейти на нужный сайт и во вкладке «Настройка индексирования» выбрать «Файлы Sitemap».

Как добавить sitemap в Яндекс

Далее следует ввести адрес вашего sitemap.xml в соответствующее поле и нажать «добавить».

Как добавить sitemap в Яндекс

Для наиболее быстрого достижения эффекта рекомендуется совершить оба действия.

Как добавить sitemap в Google

Так же как и с Яндекс, здесь есть два варианта:

  1. Добавить директиву sitemap в robots.txt по аналогии с Яндекс.

  2. Добавить sitemap в Гугл через инструменты вебмастера. Права на управление сайтом в инструментах для вебмастеров Google должны быть подтверждены.

Необходимо выбрать вкладку «Сканирование» и перейти на страницу «Файлы Sitemap».

Как добавить sitemap в Google

В правом верхнем углу нажать «Добавление / проверка файла Sitemap», в появившемся окне ввести адрес карты сайта для поисковых роботов и нажать «Отправить файл Sitemap».

Как добавить sitemap в Google

Рекомендуется добавлять sitemap в Google, воспользовавшись обоими способами.

www.sembook.ru

Как работает генератор sitemap.xml

  • Вы указываете адрес вашего сайта
  • Робот сервиса проходит по всему Вашему сайту, начиная с главной страницы и находит страницы, которые можно добавить в sitemap. Не попадают в sitemap страницы с ошибками, не содержащие текста или запрещенные в robots.txt.
  • Если количество страниц не более 1000, Вы сразу получает ссылку на файл.
  • Если количество превышает 1000, то каждые 1000 страниц Вам обойдутся от 20 рублей.

Генерирование(поиск) страниц на Вашем ресурсе может занять длительное время. Это зависит не только от количества страниц, но и, например, от времени генерации страницы на сервере. Для таких долгих ожиданий есть функция об оповещении готовности sitemap на электронную почту.

Если у вас есть предложения или замечания по работе сайта пишите на почту .

С gensitemap.ru создать карту сайта легко и быстро.

gensitemap.ru

Что такое sitemap и зачем он нужен

Что такое sitemap? Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной. В целом очень хорошо о нем рассказали на Вебмастерской Яндекса:

Влияет ли наличие sitemap на продвижение

Если у вас отсутствует сайтмап, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:

  1. Разделы сайта, в которые можно попасть, только совершив длинную цепочку переходов;
  2. Динамические URL-адреса.

Так вот, создание sitemap.xml во многом помогает решить эту проблему. Этот файл влияет на SEO лишь постольку, поскольку облегчает/ускоряет индексацию страниц. Также возрастает шанс того, что веб-страницы проиндексируются до того, как ваши конкуренты смогут скопировать контент, опубликовав его у себя на сайте.

В каком еще формате бывает карта сайта и почему её делают в формате XML

Зачем нужна карта сайта, мы разобрались. Теперь давайте рассмотрим, в каких форматах её можно сделать:

  1. В формате html. Создается в виде обыкновенной страницы с адресами, ведущими на главные разделы ресурса. Такой тип карты помогает быстро сориентироваться, и рассчитан в большей степени на людей, чем на поисковых роботов. В HTML sitemap можно поместить ограниченное число ссылок (не более 100), ведь если их окажется больше, то не все они попадут в индекс. Или же поисковые роботы могут и вовсе исключить такую страницу из поиска за чрезмерное число URLов, пусть даже и внутренних.
  2. Создание xml-файла sitemap. Здесь нет слишком критичных ограничений по количеству ссылок, а поисковики лучше его индексируют, ведь файл sitemap xml-формата содержит полную информацию в понятном для робота виде. Особенно он важен для проектов, где имеются сотни и тысячи документов одинаковой важности, и размещение всех ссылок на них необходимо. В сайтмап такого типа есть возможность разместить до 50 тысяч URLов и помимо этого можно выставить частоту обновлений и приблизительный приоритет (priority), чего не скажешь о карте в формате HTML. Именно по этим причинам сайтмап почти всегда создают в xml.

Вот еще инфа об этом файле:

Как сделать правильный sitemap

Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:

  1. Размер файла должен быть не больше 10 мб;
  2. Карта должна содержать не больше 50000 ссылок. В тех случаях, когда ссылок больше, можно создать несколько карт и включить их в главную xml-карту;
  3. Адрес сайтмапа следует прописать в robots.txt;
  4. Также загрузите sitemap в яндекс и гугл (как добавить файл – описано ниже);
  5. Поисковые системы должны иметь доступ к карте. Необходимо использовать специальные теги, которые дают поисковикам понять, что это именно карта, а не что-то другое;
  6. У sitemap должна быть кодировка UTF-8.

Приведу простой пример карты:

Теги url и loc являются обязательными. В первом прописывают все сведения о конкретном URL. Во втором прописывается сам адрес.

Теги lastmod, changefreq, priority не являются обязательными, но использовать их всё же рекомендуется.

Lastmod в sitemap отвечает за дату последнего обновления.

Changefreq указывает на частоту изменений страницы. Значения могут быть следующими:

  1. Hourly – обновление ежечасно;
  2. Always – всегда обновляется;
  3. Weekly – обновляется раз в неделю;
  4. Daily – обновления происходят ежедневно;
  5. Monthly – обновления происходят раз в месяц;
  6. Yearly – один раз в год;
  7. Never – не обновляется (такое значение лучше не использовать).

Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1(низкий) до 1(высокий).

Это был только пример карты, не нужно указывать именно эти значения. Вообще, priority рекомендуется расставлять следующим образом: максимальный для главной страницы (1), для рубрик средний (0,6), а для записей – минимальный (0,4).

Теперь рассмотрим пример, когда ссылок более 50 тысяч. В этом случае файл включает в себя другие карты:

Как создать карту сайта

Способов создания xml-карты несколько, рассмотрим их:

  1. Скачать карту при помощи онлайн генератора с другого ресурса;
  2. Сгенерировать при помощи специальной программы. Но стоит учесть, что программы подобного рода в основном платные. Пример такого генератора: Wonder WebWare SiteMap Generatior. В Screaming Frog также есть такая возможность;
  3. Создать сайтмап вручную;
  4. Автоматически создать карту при помощи CMS (например на WordPress доступна такая функция).

Вот вариант, как сделать сайтмап без помощи плагинов:

Плагины для создания sitemap на WordPress

Сделать карту сайта в WordPress можно с помощью специального плагина, который называется Google XML Sitemaps. Здесь все просто: скачиваем плагин, устанавливаем, затем приступаем к созданию файла. Для этого открываете Консоль-Настройки, и выбираете XML-sitemap. Далее выставляем настройки. Приоритет оставляем по умолчанию.

После создания файл карты будет иметь следующий путь: http://site.ru/sitemap.xml

Кстати, имя карты можно заменить любым, главное здесь – это не менять расширение *.xml. Только нужно будет написать правильный путь к данному файлу в robots.txt.

Инструкция по настройке плагина:

Как проверить сайтмап и сообщить о нем поисковикам

Проверять sitemap на валидность можно, добавив его в вебмастер Гугла или Яндекса. Это самый простой способ, поисковики лучше всего скажут об ошибках.

Вот где проверка расположена в Яндекс Вебмастере:

proverit-sitemap

А вот где в инструментах Вебмастера Google:

proverit-sitemap-google

Дать Яндексу знать о сайтмапе можно путем добавления в robots.txt такого кода:

Далее в webmaster.yandex.ru нужно открыть «Файлы sitemap» (пункт меню «настройка индексации») и там написать адрес xml-карты.

По аналогии можно добавить sitemap и в Google. Только там «Файлы sitemap» находятся в другой вкладке — «Сканирование».

Нужно ли скрывать карту сайта

Некоторые параноидальные вебмастера прячут сайтмап, опасаясь за свой контент. Ведь при наличии карты сайта он может быть легко сворован. Файл содержит почти всю структуру сайта, все пути на его страницы, то есть с помощью карты мошенники легко смогут сделать дубли или локальные копии ресурса. Отсутствие же этого файла во многом затруднит «ворам» задачу.

Но побеждают те, кто считает, что не нужно скрывать карту сайта, и даже наоборот – необходимо создавать и отображать ее на своем ресурсе.

Даже ссылку в футере размещают на html-карту сайта. И это неплохо сказывается на индексации, так-то!

Как удалить сайтмап

Нужно либо убрать файл sitemap.xml из корневой папки сайта (либо, если её там нет, по тому пути, который у вас указан в инструментах вебмастера Яндекс или Google), либо удалить плагин, который формирует карту сайта. После этого убрать ссылку на сайтмап из robots.txt.

znet.ru

Карта сайта sitemap в формате xml — а оно мне надо

Но основным инструментом, предназначенным для прямого указания поисковикам тех страниц ресурса, которые нужно будет обязательно проиндексировать, является файл под названием Sitemap.xml (это его наиболее частое название, но по идее его можно обозвать как угодно, не суть важно), который не будет виден посетителям вашего web проекта.

Он составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.

Есть два основных файла, которые должны иметься у любого web проекта — robots.txt и sitemap.xml. Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.

Вы, конечно же, можете не послушать меня (ибо я не есть авторитет, в силу относительно малого накопленного фактического материала), но думаю, что со специалистами, имеющими под рукой статистику с десятков тысяч проектов, вы огульно спорить не будете.

На этот случай у меня оказался припасен «рояль в кустах». Прямо перед написанием этой статьи попалась на глаза публикация специалистов из всем известной системы автоматического продвижения под необычным названием «Руки» (это аналог MegaIndex, о котором я писал Мегаиндекса).

Понятно, что любая подобная им система заинтересована в том, чтобы проекты их клиентов успешно продвигались, но они могут только накачивать ресурсы клиентов ссылочной массой, а влиять на наполнение и правильную техническую настройку сайтов они, к сожалению, не могут.

Поэтому и было проведено очень интересное и показательное исследование, которое было призвано выявить 10 самых популярных причин, которые затрудняют продвижение проектов и ткнуть этими данным клиентам прямо в …

На первом месте, конечно же, был «не уникальный контент» (либо вы скопистили, либо у вас украли тексты, что сути не меняет). Но на втором месте была как раз именно карта сайта в формате xml, а точнее ее отсутствие или несоответствие признанному формату создания. Ну, а на третьем месте был уже упомянутый ранее файл robots.txt (его отсутствие или неправильное создание):

Sitemap яндекс

Когда голословно утверждаешь, что карта должна быть у вашего проекта обязательно (иначе кирдык), то это не звучит так убедительно, как в случае подкрепления данного утверждения реальными фактами из довольно-таки репрезентативного исследования.

Ладно, будем считать, что я вас убедил и давайте посмотрим, как можно самим создать сайтмап (синтаксис формата), как сделать ее для Joomla и WordPress, а так же посмотрим, как можно будет создать ее с помощью специальных онлайн генераторов (generator).

Но просто создать sitemap еще не достаточно для того, чтобы быть уверенным в правильной индексации вашего проекта поисковиками. Нужно еще будет сделать так, чтобы об этой самой карте сайта узнали поисковые системы (в нашем случае это Google и Яндекс). Сделать это можно будет двумя способами, но об этом мы поговорим чуть позже (должна же быть хоть какая-то интрига, удерживающая внимание читателей).

Зачем вообще нужен сайт мап и файл robots.txt

Давайте для начала попробуем обосновать логическую необходимость использования как файла robots.txt, запрещающего индексацию определенных элементов вашего web проекта, так и файла сайт мап, предписывающего индексацию определенных страниц. Для этого вернемся на пяток-десяток лет назад, когда большинство ресурсов в интернете представляли из себя просто набор Html файликов, в которых и содержались тексты всех статей.

Поисковый робот Гугла или Яндекса просто заходил на такой Html проект и начинал индексировать все, что ему попадется под руку, ибо практически везде содержался контент проекта. А что же происходит сейчас, в условиях повального использования CMS (систем управления контентом)? Собственно, даже сразу после установки движка поисковый робот уже обнаружит у вас несколько тысяч файлов и это при том, что никакого контента у вас еще может и не быть (ну, не написали вы еще ни одной статьи).

Да и вообще, контент в современных CMS, как правило, хранится не в файлах, а в базе данных, которую поисковый робот напрямую проиндексировать, естественно, не сможет (для работы с базами советую бесплатно скачать, установить и настроить PhpMyAdmin).

Понятно, что потыркавшись туда сюда, поисковые роботы Яндекса и Google все же найдут ваш контент и проиндексируют его, но вот насколько быстро это произойдет и насколько полной будет индексация вашего проекта — очень большой вопрос.

Вот именно для упрощения и ускорения индексации проектов поисковиками в условиях повального использования CMS и следует в обязательном порядке создавать robots.txt и sitemap.xml. C помощью первого файла вы подсказываете роботам поисковиков на индексацию каких файлов не стоит тратить время (объекты движка, например), а так же с помощью него можно закрыть от индексации и часть страниц для устранения эффекта дублирования контента, который присущ многим CMS (читайте об этом подробнее в статье про robots.txt).

А с помощью файла сайтмап вы четко и ясно говорите роботам Яндекса и Гугла, что именно на вашем проекте содержит контент, чтобы они не тыркались понапрасну по углам файлового хозяйства используемого движка. Не забывайте, что у ботов есть определенные лимиты на время и количество просмотренных документов. Он побродит у вас по файлам движка и уйдет, а контент останется не проиндексированным еще долгое время. О как.

Помните как в известной комедии говорил один колоритный персонаж: «Ты туда не ходи, ты сюда ходи, а то…». Вот именно функцию этого персонажа и выполняют robots.txt и сайт мап с расширением xml для регулирования перемещений поисковых ботов по закоулкам вашего web проекта. Понятно, что боты могут и взбрыктуть, но скорее всего они послушно будут выполнять ваши грамотно написанные запрещающие и предписывающие (в карте сайта) инструкции.

Понятно? Тогда приступаем непосредственно к решению вопроса, как создать sitemap.xml различным способами и как сообщить о его существовании двум китам поиска в рунете — Google и Яндексу, чтобы они не шарились по вашему проекту почем зря, создавая при этом еще и дополнительную нагрузку на сервер вашего хостинга, но это, правда, уже сильно второстепенная вещь, главное — это именно индексация (быстрая и всеобъемлющая).

В отличии от robots.txt, который вам писать придется скорее всего собственноручно, файл карты сайта в формте xml, как правило, стараются создать каким-либо автоматическим способом. Оно и понятно, ибо при большом количестве страниц на часто обновляемом проекте ручное его создание может привести к повреждению ума у вебмастера.

Да это вовсе и не обязательно, т.к. практически для каждой CMS найдется расширение, которое позволит создать, а при появлении новых материалов и пересоздать файл сайтмап. Ну, или можно будет всегда воспользоваться каким-либо онлайн генератором (generator) карты сайта в виде готового решения.

Но все же, мне кажется, будет не лишним ознакомиться с нехитрым (да что там говорить — простейшим) синтаксисом создания sitemap. К тому же на маленьких и редко обновляемых проектах можно набросать его и вручную.

Как создать Sitemap.xml самому в Joomla и Вордпрессе

Этот файл вы можете создать в любом текстовом редакторе, например, все в том же Notepad++, о котором тут я вам все уши прожужжал. Карта сайта в формате xml имеет обычно примерно такую структуру.

Сначала идет стандартная часть:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

А затем идет серия повторяющихся блоков, заключенных в теги «url», каждый из которых описывает одну из страниц вашего проекта, для которого пишется данная карта:

<url> 		<loc>https://ktonanovenkogo.ru/</loc> 		<lastmod>2011-05-12T19:22:36+00:00</lastmod> 		<changefreq>daily</changefreq> 		<priority>1.0</priority> 	</url>

Обязательным в этом xml коде является только пара тегов «loc», в которых заключается адрес страниц вашего проекта, которую должны будут проиндексировать поисковые системы. В теги «lastmod» заключена дата последнего обновления данной страницы, что позволит роботу лишний раз не заходить на не изменившуюся с момента последнего захода страницу.

В тегах «changefreq» указывается примерная частота обновления данной страницы (раз в день, неделю, месяц), ну, а в теге «priority» указывается приоритетность ее индексации. Изначальный приоритет у всех страниц равен 0.5, но вы вольны изменять его для определения очередности индексации вашего web проекта (от 0 до 1).

Не забывайте, что за один проход робот не сможет пройти по всем ссылкам в большой карте сайта (обычно около сотни ссылок за раз проходит), а значит с помощью большего приоритета можно выбрать наиболее важные для быстрой индексации страницы.

По стандарту sitemap.xml не может содержать более 50 000 ссылок и весить более 10 Мб. Хотя, многие даже при превышении 500 — 1000 ссылок в карте сайта стараются ее разбить на несколько файлов, подсунув поисковым системам и указав в robots.txt индексный файл сайтмап, в котором имеются ссылки на все остальные файлы карт большого сайта.

Его синтаксис будет примерно таким:

<?xml version="1.0" encoding="UTF-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"  <sitemap>   <loc>https://ktonanovenkogo.ru/sitemap.xml.gz</loc>   <lastmod>2011-04-01T18:23:17+00:00</lastmod>   </sitemap>   <loc>https://ktonanovenkogo.ru/sitemap2.xml.gz</loc>   <lastmod>2011-04-01T18:23:17+00:00</lastmod>  </sitemap> 

Генерация карты сайта в Joomla и WordPress

Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а так же можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.

Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml. Многие владельцы именно так и делают — называю этот файл kjfdjkf.xml и закапывают его в огромном количестве вложенных папок. Тем самы они прячут карту сайта от посторонних глаз. В роботс.тхт они тоже этот путь не указывают, а сообщают его только Яндексу и Гуглу в их панелях для вебмастеров, о которых речь пойдет чуть ниже.

Sitemap яндекс

Создать карту сайта для Joomla можно с помощью компонента Xmap. По приведенной чуть выше ссылке вы найдете довольно подробную инструкцию, как по ее созданию в виде файла xml, так и в формате Html, ориентированную в первую очередь не на ускорение индексации, а на удобство пользователей.

Sitemap яндекс

Ссылку на созданный сайтмап сможете найти в настройках компонента, как показано на приведенном скриншоте.

Как добавить сайт мап в Яндекс и Гугл Вебмастер

Как видите, в отличии от файла robots.txt (который обязательно должен находиться в корневой папке вашего web проекта), файл сайт мап может лежать где угодно. Но вам нужно будет сообщить о его местоположении поисковым системам. Сделать это можно двумя способами.

Во-первых, в robots.txt предусмотрена специальная директива «Sitemap», которая, например, для моего блога будет выглядеть так:

Sitemap: https://ktonanovenkogo.ru/sitemap.xml

или так (файл карты сайта вовсе не обязательно должен называться sitemap.xml, как я уже упоминал выше)

Sitemap: https://ktonanovenkogo.ru/forum/index.php?action=sitemap;xml

Обязательно нужно прописывать полный абсолютный путь до сайтмапа, не опуская «https://ktonanovenkogo.ru». Это я говорю потому, что пути во всех остальных директивах robots.txt пишутся без указания «https://ktonanovenkogo.ru» (читайте тут про относительные и абсолютные пути).

Обычно директиву «Sitemap» прописывают в самом конце. Поисковые роботы при очередном заходе на ваш web проект обязательно просмотрят содержимое robots.txt и загрузят для изучения вашу карту. Однако, таким образом могут узнать о ее существования всякие редиски, которым сайт мап поможет тырить у вас контент.

Но существует еще один способ уже напрямую передать информацию о местоположении карты сайта поисковикам без посредничества robots.txt. Делается это через интерфейс Яндекс Вебмастера и панели инструментов Google, хотя можно Bing вебмастер использовать. Вы уже знакомы с этими инструментами поисковых систем?

Если нет, то обязательно добавьте свой проект и в инструменты Яндекс для вебмастеров, и в панель инструментов Гугла, а затем укажите в соответствующих вкладках путь до вашей карты сайта в формате Xml.

Так выглядит форма добавления сайтмапа для Яндекс Вебмастера:

Sitemap яндекс

А так выглядит аналогичная форма для прописывания пути в панели инструментов Google:

Sitemap яндекс

ktonanovenkogo.ru

История развития Sitemap

Сколько себя помнит Интернет, веб-мастера всегда пытались угодить поисковым паукам — помочь им собрать детальную информацию о структуре продвигаемого сайта.

Первым, самым древним и вполне естественным способом было создание специальной страницы, на которой помещались все ссылки сайта. Назывались и называются такие страницы картами сайта. Принцип их работы прост: поисковый робот при визите на эту страницу автоматически пройдёт по опубликованным там ссылкам и занесёт их в индекс.

Подобная схема была удобна до поры до времени. Позже, когда сайты перестали собой представлять исключительно статические страницы с малым количеством страниц, возникла новая проблема, связанная с неэффективностью метода публикации классического варианта карты сайта, т.к. мест для ссылок не хватало, страницы получались большими по размеру, неудобными.

На некоторых сайтах число страниц перевалило за 1 000, естественно, что абсолютно все ссылки разместить на карте сайта стало невозможно. Коэффициент проиндексированности таких сайтов стал снижаться. Мир нуждался в новом эффективном решении возникшей проблемы.

И проблема была решена. В июне 2005 года компанией Google был создан новый удобный формат описания новых страниц сайта для улучшения качества их индексации поисковыми системами.

Стандарт получил название Sitemaps 0.84. За основу был принят принцип текстовой базы данных XML, позволяющий компактно в текстовом файле описать структуру сайта, включая новые и опубликованные ранее страницы сайта с возможностью указания дополнительной META-информации. Эффективное решение Sitemaps, предложенное Google, стало пользоваться бешеной популярностью.

Популярность сказалась и на мнении других поисковых систем к новому подходу создания карт сайта. Так в ноябре 2006 года к поддержке стандарта присоединились такие поисковые гиганты, как MSN и Yahoo, а в апреле и Ask.com. На радостях формат Sitemaps получил новую версию Sitemap 0.90, расширяющую функциональные возможности.

В мае 2007 года было официально объявлено о поддержке подключения стандарта Sitemaps в файле robots.txt поисковиками Ask, Google и Yahoo, т. е. найти карту сайта Sitemap стало проще: достаточно указать его местоположение в этом файле, а за источник информации для Sitemap использовать RSS-ленты или обычные текстовые файлы.

2 июня 2008, спустя 3 года после объявления протокола Google на блоге Яндекса для вебмастеров появилось сообщение о поддержке этого протокола Яндексом.

htmlweb.ru

1. Создаем XML Sitemap

Если в вашем веб-проекте еще нет карты сайта, обязательно сделайте ее — это крайне полезная фишка при индексации страниц (особенно в новых ресурсах). Хочу заметить, что в данном случае речь идет о специальном формате XML (для поисковиков), а не о HTML (посетителям). Механизм работы зависит от используемого вами движка, вот несколько статей по теме:

  • Делаем Sitemap в WordPress (обзоры плагинов).
  • Генераторы XML Sitemap — парочка сервисов для любых ресурсов.
  • Карта сайта в DLE (в том числе рассмотрена и XML).
  • Хитрых хак создания Sitemap в Blogspot блоге.

После этого рекомендуется добавить Sitemap XML в Robots.txt (в самом конце файла):

Sitemap: http://имя_домена/sitemap.xml

Вообще встречал информацию, что поисковые системы самостоятельно умеют находить XML карту сайта, если она располагается по стандартному адресу, но в принципе, лучше все же загрузить ее в панели инструментов. 

2. Добавляем Sitemap в Гугл (Search Console)

Раньше данная панелька называлась Webmasters Tools да и выглядела она совсем по другому. Сейчас это более функциональный инструмент. Алгоритм действий следующий:

  • Регистрируетесь в Search Console (если у вас уже есть гугл аккаунт, то и доступ в систему также будет);
  • Подключаете туда свой проект и подтверждаете права.
  • Для выполнения задачи добавления Sitemap XML переходим в раздел «Сканирование» — «Файлы Sitemaps».

Файлы Sitemaps в панели гугл Search Console

На этой странице собрана вся информация по вашей карте сайта + вы можете добавить новую (2) или же увидеть наличие ошибок в текущих (3).

В Google Search Console поддерживаются вложенные Sitemap`ы — такая штука есть, например, в плагине Yoast SEO. Модуль при этом генерирует адрес: http://ваш_домен/sitemap_index.xml.

Вложенные Sitemap файлы (SEO Yoast)

Теоретически вы можете добавить файл Sitemap в Googe Search Console только один (основной), а остальные объекты автоматически подхватятся. При этом на странице панельки будет отображаться только sitemap.xml, а при клике на него перейдете в подразделы.

Кстати, если будете грузить по отдельности все XML файлы (основной и подпункты), то общее число ссылок приплюсуется:

Число ссылок в загруженных Sitemap файлах

Вероятно, пока что в консоли нет инструмента для различения повторений или это просто такой формат отображения общего числа записей, или глюк.

Что касается ошибок в карте сайта

Если имеются какие-то проблемы с добавленным Sitemap XML то в панели увидите соответствующие обозначения (иконка восклицательного знача и запись в графе «Проблемы»). Кроме того, на странице конкретного файла карты сайта также будут предупреждения.

Ошибки в Sitemap XML

В случае на скриншоте вы можете видеть запись о том, что какое-то правило robots.txt не позволяет индексировать некоторые адреса блога. Такие вещи нужно исправлять, а после отправить файл на повторную проверку — кнопка «Тест».

В другом проекте у меня попалась ситуация похуже — карта сайта отдавала 404 HTTP ошибку:( Это же вообще нонсенс. Причем нужный модуль был активирован, а я был полностью уверен, что все работает. Обнаружил проблему только после того как добавил Sitemap в вебмастерскую панель. Поэтому данная процедура достаточно важна, и занимает всего пару минут. 

tods-blog.com.ua


You May Also Like

About the Author: admind

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.