СОДЕРЖАНИЕ
Файл robots.txt для сайта
Где находится robots.txt на сайте?
Директивы robots.txt
Правило Disallow
Правило Allow
User-agent
Sitemap
Host
Crawl delay
Clean param
Самые частые вопросы
Как в robots.txt запретить индексацию?
Как в robots.txt указать главное зеркало?
Простейший пример правильного robots.txt
Закрытый от индексации сайт – как выглядит robots.txt?
Как указать главное зеркало для сайта на https robots.txt?
Наиболее частые ошибки в robots.txt
Онлайн-проверка файла robots.txt
Готовые решения для самых популярных CMS
robots.txt для WordPress
robots.txt для Joomla
robots.txt Wix
robots.txt для Opencart
robots.txt для Битрикс (Bitrix)
robots.txt для Modx
Выводы
Файл robots.txt для сайта
Robots.txt для сайта – это индексный текстовый файл в кодировке UTF-8.
Индексным его назвали потому, что в нем прописываются рекомендации для поисковых роботов – какие страницы нужно просканировать, а какие не нужно.
Если кодировка файла отличается от UTF-8, то поисковые роботы могут неправильно воспринимать находящуюся в нем информацию.
Файл действителен для протоколов http, https, ftp, а также имеет «силу» только в пределах хоста/протокола/номера порта, на котором размещен.
Где находится robots.txt на сайте?
У файла robots.txt может быть только одно расположение – корневой каталог на хостинге. Выглядит это примерно вот так: http://vash-site.xyz/robots.txt
Директивы файла robots txt для сайта
Обязательными составляющими файла robots.txt для сайта являются правило Disallow и инструкция User-agent. Есть и второстепенные правила.
Правило Disallow
Disallow – это правило, с помощью которого поисковому роботу сообщается информация о том, какие страницы сканировать нет смысла. И сразу же несколько конкретных примеров применения этого правила:
Пример 1 — разрешено индексировать весь сайт:
Пример 2 — полностью запретить индексацию сайта:
Продвижение сайтов в таком случае будет бесполезно. Применение этого примера актуально в том случае, если сайт «закрыт» на доработку (например, неправильно функционирует). В этом случае сайту в поисковой выдаче не место, поэтому его нужно через файл robots txt закрыть от индексации. Разумеется, после того, как сайт будет доработан, запрет на индексирование надо снять, но об этом забывают.
Пример 3 – запрещено сканирование всех документов, находящихся в папке /papka/:
Пример 4 – запретить индексацию страницы с конкретным URL:
Пример 5 – запрещено индексировать конкретный файл (в данном случае – изображение):
Пример 6 – как в robots txt закрыть от индексации файлы конкретного расширения (в данном случае — .gif):
Звездочка перед .gif$ сообщает, что имя файла может быть любым, а знак $ сообщает о конце строки. Т.е. такая «маска» запрещает сканирование вообще всех GIF-файлов.
Правило Allow в robots txt
Правило Allow все делает с точностью до наоборот – разрешает индексирование файла/папки/страницы.
И сразу же конкретный пример:
Мы с вами уже знаем, что с помощью директивы Disallow: / мы можем закрыть сайт от индексации robots txt. В то же время у нас есть правило Allow: /catalog, которое разрешает сканирование папки /catalog. Поэтому комбинацию этих двух правил поисковые роботы будут воспринимать как «запрещено сканировать сайт, за исключением папки /catalog»
Сортировка правил и директив Allow и Disallow производится по возрастанию длины префикса URL и применяется последовательно. Если для одной и той же страницы подходит несколько правил, то робот выбирает последнее подходящее из списка.
Рассмотрим 2 ситуации с двумя правилами, которые противоречат друг другу — одно правило запрещает индексировать папки /content, а другое – разрешает.
В данном случае будет приоритетнее директива Allow, т.к. оно находится ниже по списку:
А вот здесь приоритетным является директива Disallow по тем же причинам (ниже по списку):
User-agent в robots txt
User-agent — правило, являющееся «обращением» к поисковому роботу, мол, «список рекомендаций специально для вас» (к слову, списков в robots.txt может быть несколько – для разных поисковых роботов от Google и Яндекс).
Например, в данном случае мы говорим «Эй, Googlebot, иди сюда, тут для тебя специально подготовленный список рекомендаций», а он такой «ОК, специально для меня – значит специально для меня» и другие списки сканировать не будет.
Правильный robots txt для Google (Googlebot)
Примерно та же история и с поисковым ботом Яндекса. Забегая вперед, список рекомендаций для Яндекса почти в 100% случаев немного отличается от списка для других поисковых роботов (чем – расскажем чуть позже). Но суть та же: «Эй, Яндекс, для тебя отдельный список» — «ОК, сейчас изучим его».
И последний вариант – рекомендации для всех поисковых роботов (кроме тех, у которых отдельные списки). Через «звездочку» было решено сделать по одной простой причине – чтоб не перечислять «поименно» все 300 с чем-то роботов.
Т.е. если в одном и том же robots.txt есть 3 списка с User-agent: *, User-agent: Googlebot и User-agent: Yandex, это значит, первый является «одним для всех», за исключением Googlebot и Яндекс, т.к. для них есть «личные» списки.
Sitemap
Правило Sitemap — расположение файла с XML-картой сайта, в которой содержатся адреса всех страниц, являющихся обязательными к сканированию. Как правило, указывается адрес вида http://site.ua/sitemap.xml.
Т.е. каждый раз поисковый робот будет просматривать карту сайта на предмет появления новых адресов, а затем переходить по ним для дальнейшего сканирования, дабы освежить информацию о сайте в базах данных поисковой системы.
Правило Sitemap должно быть вписано в Robots.txt следующим образом:
Директива Host
Межсекционная директива Host в файле robots.txt так же является обязательной. Она необходима для поискового робота Яндекса — сообщает ему, какое из зеркал сайта нужно учитывать при индексировании. Именно поэтому для Яндекса формируется отдельный список правил, т.к. Google и остальные поисковые системы директиву Host не понимают. Поэтому если у вашего сайта есть копии или же сайт может открываться под разными URL адресами, то добавьте директиву host в файл robots txt, чтобы страницы сайта правильно индексировались.
«Зеркалом сайта» принято называть либо точную, либо почти точную «копию» сайта, которая доступна по другому адресу.
Адрес основного зеркала обязательно должно быть указано следующим образом:
— для сайтов, работающих по http — Host: site.ua или Host: http://site.ua (т.е. http:// пишется по желанию)
— для сайтов, работающих по https – Host: https://site.ua (т.е. https:// прописывается в обязательном порядке)
Пример директивы host в robots txt для сайта на протоколе HTTPS:
Crawl delay
В отличие от предыдущих, параметр Crawl-delay уже не является обязательным. Основная его задача – подсказать поисковому роботу, в течение скольких секунд будут грузиться страницы. Обычно применяется в том случае, если Вы используете слабые сервера. Актуален только для Яндекса.
Clean param
С помощью директивы Clean-param можно бороться с get-параметрами, чтобы не происходило дублирование контента, т.к. один и тот же контент бывает доступен по разным динамическим ссылкам (это те, которые со знаками вопроса). Динамические ссылки могут генерироваться сайтом в том случае, когда используются различные сортировки, применяются идентификаторы сессий и т.д.
Например, один и тот же контент может быть доступен по трем адресам:
www.site.com/catalog/get_phone.ua?ref=page_1&phone_id=1
www.site.com/catalog/get_phone.ua?ref=page_2&phone_id=1
www.site.com/catalog/get_phone.ua?ref=page_3&phone_id=1
В таком случае директива Clean-param оформляется вот так:
Т.е. после двоеточия прописывается атрибут ref, указывающий на источник ссылки, и только потом указывается ее «хвост» (в данном случае — /catalog/get_phone.ua).
Самые частые вопросы
Как в robots.txt запретить индексацию?
Для этих целей придумано правило Disallow: т.е. копируем ссылку на документ/файл, который нужно закрыть от индексации, вставляем ее после двоеточия:
А затем удаляете адрес домена (в данном случае удалить надо вот эту часть — http://your-site.xyz). После удаления у нас останется ровно то, что и должно остаться:
Ну а если требуется закрыть от индексирования все файлы с определенным расширением, то правила будут выглядеть следующим образом:
Как в robots.txt указать главное зеркало?
Для этих целей придумана директива Host. Т.е. если адреса http://your-site.xyz и http://yoursite.com являются «зеркалами» одного и того же сайта, то одно из них необходимо указать в директиве Host. Пусть основным зеркалом будет http://your-site.xyz. В этом случае правильными вариантами будут следующие:
— если сайт работает по https-протоколу, то нужно делать только так:
— если сайт работает по http-протоколу, то оба приведенных ниже варианта будут верными:
Однако, следует помнить, директива Host является рекомендацией, а не правилом. Т.е. не исключено, что в Host будет указан один домен, а Яндекс посчитает за основное зеркало другой, если у него в панели вебмастера введены соответствующие настройки.
Простейший пример правильного robots.txt
В таком виде файл robots.txt можно разместить практически на любом сайте (с мельчайшими корректировками).
Давайте теперь разберем, что тут есть.
- Здесь 2 списка правил – один «персонально» для Яндекса, другой – для всех остальных поисковых роботов.
- Правило Disallow: пустое, а значит никаких запретов на сканирование нет.
- В списке для Яндекса присутствует директива Host с указанием основного зеркала, а также, ссылка на карту сайта.
НО… Это НЕ значит, что нужно оформлять robots.txt именно так. Правила должны быть прописаны строго индивидуально для каждого сайта. Например, нет смысла индексировать «технические» страницы (страницы ввода логина-пароля, либо тестовые страницы, на которых отрабатывается новый дизайн сайта, и т.д.). Правила, кстати, зависят еще и от используемой CMS.
Закрытый от индексации сайт – как выглядит robots.txt?
Даем сразу же готовый код, который позволит запретить индексацию сайта независимо от CMS:
Как указать главное зеркало для сайта на https robots.txt?
Очень просто:
Host: https://your-site.xyz
ВАЖНО!!! Для https-сайтов протокол должен указываться строго обязательно!
Наиболее частые ошибки в robots.txt
Специально для Вас мы приготовили подборку самых распространенных ошибок, допускаемых в robots.txt. Почти все эти ошибки объединяет одно – они допускаются по невнимательности.
1. Перепутанные инструкции:
Правильный вариант:
2. В один Disallow вставляется куча папок:
В такой записи робот может запутаться. Какую папку нельзя индексировать? Первую? Последнюю? Или все? Или как? Или что? Одна папка = одно правило Disallow и никак иначе.
3. Название файла допускается только одно — robots.txt, причем все буквы маленькие. Имена Robots.txt, ROBOTS.TXT и т.п. не допускаются.
4. Правило User-agent запрещено оставлять пустым. Либо указываем имя поискового робота (например, для Яндекса), либо ставим звездочку (для всех остальных).
5. Мусор в файле (лишние слэши, звездочки и т.д.).
6. Добавление в файл полных адресов скрываемых страниц, причем иногда даже без правила Disallow.
Неправильно:
http://mega-site.academy/serrot.html
Тоже неправильно:
Disallow: http://mega-site.academy/serrot.html
Правильно:
Disallow: /serrot.html
Онлайн-проверка файла robots.txt
Существует несколько способов проверки файла robots.txt на соответствие общепринятому в интернете стандарту.
Способ 1. Зарегистрироваться в панелях веб-мастера Яндекс и Google. Единственный минус – придется покопаться, чтоб разобраться с функционалом. Далее вносятся рекомендованные изменения и готовый файл закачивается на хостинг.
Способ 2. Воспользоваться онлайн-сервисами:
— https://services.sl-team.ru/other/robots/
— https://technicalseo.com/seo-tools/robots-txt/
— http://tools.seochat.com/tools/robots-txt-validator/
Итак, robots.txt сформирован. Осталось только проверить его на ошибки. Лучше всего использовать для этого инструменты, предлагаемые самими поисковыми системами.
Google Вебмастерс (Search Console Google): заходим в аккаунт, если в нем сайт не подтвержден – подтверждаем, далее переходим на Сканирование -> Инструмент проверки файла robots.txt.
Здесь можно:
- моментально обнаружить все ошибки и потенциально возможные проблемы,
- сразу же «на месте» внести поправки и проверить на ошибки еще раз (чтоб не перезагружать файл на сайт по 20 раз)
- проверить правильность запретов и разрешений индексирования страниц.
Яндекс Вебмастер (прямая ссылка — http://webmaster.yandex.ru/robots.xml).
Является аналогом предыдущего, за исключением:
- авторизация не обязательна;
- подтверждение прав на сайт не обязательно;
- доступна массовая проверка страниц на доступность;
- можно убедиться, что все правила правильно восприняты Яндексом.
Готовые решения для самых популярных CMS
Правильный robots.txt для WordPress
Давайте разберем код файла robots txt для WordPress CMS:
User-agent: *
Здесь мы указываем, что все правила актуальны для всех поисковых роботов (за исключением тех, для кого составлены «персональные» списки). Если список составляется для какого-то конкретного робота, то * меняется на имя робота:
User-agent: Yandex
User-agent: Googlebot
Allow: */uploads
Здесь мы осознанно даем добро на индексирование ссылок, в которых содержится /uploads. В данном случае это правило является обязательным, т.к. в движке WordPress есть директория /wp-content/uploads (в которой вполне могут содержаться картинки, либо другой «открытый» контент), индексирование которой запрещено правилом Disallow: /wp-. Поэтому с помощью Allow: */uploads мы делаем исключение из правила Disallow: /wp-.
В остальном просто идут запреты на индексирование:
Disallow: /cgi-bin – запрет на индексирование скриптов
Disallow: /feed – запрет на сканирование RSS-фида
Disallow: /trackback – запрет сканирования уведомлений
Disallow: ?s= или Disallow: *?s= — запрет на индексирование страниц внутреннего поиска сайта
Disallow: */page/ — запрет индексирования всех видов пагинации
Правило Sitemap: http://site.ru/sitemap.xml указывает Яндекс-роботу путь к файлу с xml-картой. Путь должен быть прописан полностью. Если таких файлов несколько – прописываем несколько Sitemap-правил (1 файл = 1 правило).
В строке Host: site.ru мы специально для Яндекса прописали основное зеркало сайта. Оно указывается для того, чтоб остальные зеркала индексировались одинаково. Пустая строка перед Host: является обязательной.
Где находится robots txt WordPress вы все наверное знаете — так как и в другие CMS, данный файл должен находится в корневом каталоге сайта.
Файл robots.txt для Joomla
Joomla — почти самый популярный движок у вебмастеров, т.к. не смотря на широчайшие возможности и множества готовых решений, он поставляется бесплатно. Однако, штатный robots.txt всегда имеет смысл подправить, т.к. для индексирования открыто слишком много «мусора», но картинки закрыты (это плохо).
Вот так выглядит правильный robots.txt для Joomla :
robots.txt Wix
Платформа Wix автоматически генерирует файлы robots.txt персонально для каждого сайта Wix. Т.е. к Вашему домену добавляете /robots.txt (например: www.domain.com/robots.txt) и можете спокойно изучить содержимое файла robots.txt, находящегося на Вашем сайте.
Отредактировать robots.txt нельзя. Однако с помощью noindex можно закрыть какие-то конкретные страницы от индексирования.
robots.txt для Opencart
Стандартный файл robots.txt для OpenCart:
robots.txt для Битрикс (Bitrix)
1. Папки /bitrix и /cgi-bin должны быть закрыты, т.к. это чисто технический «хлам», который незачем светить в поисковой выдаче.
2. Папка /search тоже не представляет интереса ни для пользователей, ни для поисковых систем. Да и образование дублей никому не нужно. Поэтому тоже ее закрываем.
3. Про формы PHP-аутентификации и авторизации на сайте тоже забывать нельзя – закрываем.
4. Материалы для печати (например, счета на оплату) тоже нет смысла светить в поисковой выдаче. Закрываем.
5. Один из жирных плюсов «Битрикса» в том, что он фиксирует всю историю сайта – кто когда залогинился, кто когда сменил пароль, и прочую конфиденциальную информацию, утечка которой не допустима. Поэтому закрываем:
6. Back-адреса тоже нет смысла индексировать. Эти адреса могут образовываться, например, при просмотре фотоальбома, когда Вы сначала листаете его «вперед», а потом – «назад». В эти моменты в адресной строке вполне может появиться что-то типа матерного ругательства: ?back_url_ =%2Fbitrix%2F%2F. Ценность таких адресов равна нулю, поэтому их тоже закрываем от индексирования. Ну а в качестве бонуса – избавляемся от потенциальных «дублей» в поисковой выдаче.
7. Папку /upload необходимо закрывать строго по обстоятельствам. Если там хранятся фотографии и видеоматериалы, размещенные на страницах, то ее скрывать не нужно, чтоб не срезать дополнительный трафик. Ну а если что-то конфиденциальное – однозначно закрываем:
Готовый файл robots.txt для Битрикс:
robots.txt для Modx и Modx Revo
CMS Modx Revo тоже не лишена проблемы дублей. Однако, она не так сильно обострена, как в Битриксе. Теперь о ее решении.
- Включаем ЧПУ в настройках сайта.
- закрываем от индексации:
Disallow: /index.php # т.к. это дубль главной страницы сайта
Disallow: /*? # разом решаем проблему с дублями для всех страниц
Готовый файл robots.txt для Modx и Modx Revo:
Выводы
Без преувеличения файл robots.txt можно назвать «поводырём для поисковых роботов Яндекс и Гугл» (разумеется, если он составлен правильно). Если файл robots txt отсутствует, то его нужно обязательно создать и загрузить на хостинг Вашего сайта. Справка Disallow правил описаны выше в этой статьей и вы можете смело их использоваться в своих целях.
Еще раз резюмируем правила/директивы/инструкции для robots.txt:
- User-agent — указывает, для какого именно поискового робота создан список правил.
- Disallow – «рекомендую вот это не индексировать».
- Sitemap – указывает расположение XML-карты сайта со всеми URL, которые нужно проиндексировать. В большинстве случаев карта расположена по адресу http://[ваш_сайт]/sitemap.xml.
- Crawl-delay — директива, указывающая период (в секундах), через который будет загружена страница сайта.
- Host – показывает Яндексу основное зеркало сайта.
- Allow – «рекомендую вот это проиндексировать, не смотря на то, что это противоречит одному из Disallow-правил».
- Clean-param — помогает в борьбе с get-параметрами, применяется для снижения рисков образования страниц-дублей.
Знаки при составлении robots.txt:
- Знак «$» для «звездочки» является «ограничителем».
- После слэша «/» указывается наименование файла/папки/расширения, которую нужно скрыть (в случае с Disallow) или открыть (в случае с Allow) для индексирования.
- Знаком «*» обозначается «любое количество любых символов».
- Знаком «#» отделяются какие-либо комментарии или примечания, оставленные вэб-мастером для себя, либо для кого-то другого. Поисковые роботы их не читают.
stokrat.org
Что представляют собой файлы robots.txt
Robots.txt – текстовый файл, открываемый обычным блокнотом. Находится он в корневом каталоге любого движка и состоит из списка запрещенных для отображения в поисковой выдаче страниц.
Каждая строка этого файла представляет собой ссылку на запрещенную к индексации поисковыми системами страничку. Иногда приходится запретить к показу несколько однотипных страничек.
Допустим, что у вас на сайте присутствуют теги, которые создаются как отдельная страничка с выдачей. Естественно, поисковым системам незачем отображать эту информацию, так как вы не только задублируете информацию, но и создадите совсем ненужную ссылку в поисковой выдаче.
Для более наглядного понимания стоит привести пример:
Таких тегов могут быть тысячи, чтобы не дублировать каждый тег новой строкой, можно ввести всего одну строку следующего вида:
Это значит, что в вашем домене будут заблокированы для выдачи в поиске все странички, имеющие в своем адресе фразу «tags» на втором уровне (сразу после доменного имени).
Зачем вообще нужен файл robots.txt
Главная идея этого файла состоит в том, чтобы запретить роботам поисковых систем отображать в поиске странички, которые будут либо дублировать информацию, либо отображать личную информацию пользователей сайта без предварительной регистрации.
Во-первых, это не позволяет получить пользователям интернета личную информацию пользователей ресурса, во-вторых, в поиске будут отображаться только необходимые вам страницы.
Это основные принципы, которыми руководствуются создатели сайтов, редактируя текстовый файл robots. Правильно оформив данный файл, вы позволите поисковым роботам индексировать только качественный контент со своего сайта.
Как проверить правильность файла robots.txt
Проверка на правильность оформления файла robots.txt для поисковых систем – одно из необходимых правил, если вы до этого ни разу не пользовались движком, не знаете всей его структуры или просто хотите лишний раз проверить свои знания, и убедиться в том, что ваш robots.txt правильный.
Провести проверку можно в специальных разделах для вебмастеров в самих поисковых системах. В Google Webmaster подобный инструмент находится во вкладке «Состояние» —> «Заблокированные URL». В окно вставьте строки вашего файла robots.txt и в нижнем окне введите ссылки на различные данные на вашем сайте для проверки блокировки.
На самом деле данная проверка не так проста, как вам кажется, ведь по сути придется проверить элементы «разных типов» сайта, например: категории, теги, странички, странички с параметрами и т.д. В результатах проверки вы увидите, какие странички разрешены для отображения в поисковых системах, а какие запрещены.
В Яндекс Вебмастере все абсолютно аналогично, за исключением того, что можно не вставлять строки в поле, а выгрузить сам файл непосредственно с сайта.
Как вариант, можно просмотреть карту сайта и с карты сайта «повытаскивать» несколько примеров ссылок для проверки на блокировку.
Пример правильного файла robots.txt для WordPress
Если у вас нет времени на составление собственного файла robots.txt для поисковиков, можете воспользоваться стандартным списком и по необходимости дополнить его.
Пример правильного файла robots для wordpress:
Также в конце файла не забудьте указать ссылку на карту сайта:
Sitemap: http://site.com/sitemap.xml
Также в конце файла не забудьте указать ссылку на карту сайта:
Sitemap: http://site.com/sitemap.xml
Обратите внимание! Данный список является самым оптимальным вариантом, но подходит только для типичных сайтов без вмешательства в глобальный код движка/шаблона.
Как создать правильный robots.txt?
Учитывая факт, что идеальный вариант этого файла нужен каждому сайту, многие разработчики модулей и плагинов уже позаботились об его автоматическом создании. Сейчас вы можете без проблем найти специальный генератор в интернете. Один из наиболее простых и удобных в использовании находится здесь.
Сервисы подобные этому проводят тщательный анализ вашей карты сайта и составляют список дублей и ненужных страничек, делая идеальный robots.txt для вашего сайта. После генерации вам остается лишь скопировать строки в ваш файл, расположенный на сервере и все.
Обратите внимание! Файл Robots.txt не предназначен для полного сокрытия страниц от поисковых систем! Google, Yandex и прочие поисковые системы просто не выносят запрещенные страницы в поиск и не добавляют их в количество проиндексированных, но все равно сканируют их.
Если, к примеру, вы решите загнать в скрытую от индексации страницу какой-нибудь вирус или вредоносный скрипт, поисковая система все равно признает сайт вредоносным и возможно заблокирует доступ к нему.
Хотим обратить ваше внимание на то, что даже самый лучший генератор не способен сделать список блокируемых страниц идеальным. Максимально правильно может составить список блокируемых ссылок только владелец сайта или опытный специалист по SEO.
Поэтому, если в индексе поисковых систем появились нежелательные страницы вашего ресурса или вы не знаете, как правильно их скрыть, лучше всего обратиться за помощью к SEO-специалистам или попросить помощи на специализированном форуме, предоставив всю необходимую информацию.
Напоследок хотелось бы добавить, что действующие в данный момент алгоритмы Google проверяют правильное создание файла robots.txt, это в свою очередь влияет на релевантность выдачи сайта по запросам в поисковой системе Google.
Если вы начинающий вебмастер, не стоит спешить с оформлением или тупым копированием строк. Для начала изучите как можно больше информации и только потом приступайте к составлению файла robots.txt.
Удачного продвижения!
www.internet-technologies.ru
Трудности, которые возникают при продвижении
Чтобы избежать ошибок при SEO-оптимизации на Wix, следует учесть несколько нюансов:
- robots.txt и sitemap.xml – нет возможности править;
- мета теги нет возможности править на части страниц;
- есть сложности с созданием новых страниц.
В целом, что касается сайтов на Wix, их продвижение в «Яндексе» или «Гугл», всегда немного проблематичное из-за ограниченного доступного функционала. В агентстве Elit-Web успешно справляются с продвижением сайтов на «Викс», что помогает повысить как узнаваемость вашего бизнеса, так и продажи.
Мы рассмотрим доступные сео-инструменты этой платформы. Если вы хотите получить максимальное количество посетителей, то все же с целью поискового продвижения лучше выбирать популярную CMS.
Так как исходный код системы недоступен, чтобы настроить Wix приходится пользоваться стандартными функциями.
Как настроить
SEO сайтов на Wix состоит из нескольких этапов.
Создаем чек-лист
Чтобы упростить процесс продвижения, в первую очередь стоит составить чек-лист. Это полезный инструмент, который поможет не только визуализировать весь план работ, но и ускорить процесс их выполнения. Как же его создать?
Для начала определите цели, которых необходимо достичь. Составьте глобальный план работ для этого. После чего разделите каждую из больших задач, на мелкие таким образом, чтобы вы знали примерное время выполнения каждой из них. Распишите последовательность всех выполняемых работ.
Таким образом вы не только создаете наглядный и понятный план для продвижения, но и знаете примерное время, которое необходимо для всего рабочего процесса.
Чек-лист полезен и для самостоятельного продвижения, и для работы с командой. В первом случае он избавляет от необходимости перепроверять собственные действия, исключает возможность того, что вы забудете о каком-то этапе. В командной же работе он позволяет быстро распределить задачи между специалистами и избежать ошибок из-за недопонимания.
Пример схематического чек-листа для внутренней оптимизации сайта, созданного при помощи Wix:
- подключить личный домен;
- прописать метатеги на страницах;
- оптимизировать контент;
- подключить SEO-Wizard;
- зарегистрироваться в поисковых системах, провести доп. настройки.
Дальше каждый из этих пунктов вы разбиваете на подзадачи для собственного сайта, их количество будет зависеть от размера и типа ресурса. Мы же детальнее опишем далее каждый из них.
Подключаем личный домен
Domain – это то, с чего нужно начать. Конечно, лучше использовать платную версию. Иначе вы рискуете, что адрес веб-ресурса не станет привлекательным ни для потенциальных клиентов, ни для поисковых ботов. К тому же в бесплатном варианте Wix разгуливает реклама. Она создает помехи в восприятии сайта посетителями и к тому же оставляет на страницах сквозные линки.
Чтобы подключить домен, необходимо выбрать заинтересовавший вас тарифный план «Викс». После чего зайти в панель управления и найти там пункт «Домены и почта».
Добро пожаловать: самое время приобрести доменное имя или подключить ранее созданное. Здесь же, при необходимости, создается корпоративная почта.
Прописывание на страницах метатегов
Ну и как же на страницах без метатегов Title, Description? А никак! Страницы без них, как Босфор без кораблей.
Чтобы прописать эти теги, необходимо в режиме редактирования найти в меню пункт «Страницы» и кликнуть по нему правой кнопкой мыши. После этого зайдите в настройки интересующей вас страницы.
Попав на страницу «Сео», вы спокойно отметите метатеги. Их также нужно прописать на страничках записей. Просто щелкните правой кнопкой мышки по «Панели управления» и перейдите в раздел «Блоги». Создайте там запись, затем задайте команду «Поисковая оптимизация» – кнопку увидите в меню с правой стороны.
Дальше спокойно ставьте метатеги, чтобы сохранить изменения нажмите кнопку «Готово». Если хотите убедиться, что все получилось, посетите раздел «Вид в поиске», где доступен предпросмотр.
Оптимизация контента (видео, картинок и текстов)
Чтобы Wix-оптимизация была успешной, необходимо страницы озаглавить (проставить заголовки от Н1 до Н6). Но есть проблемка. Зайдя в редактор, вы не обнаружите там привычных тегов Н1-Н6. Seo на Wix в работе с изображениями и текстами предполагает использование другой символики – от заголовка сайта (Н1) до подзаголовка (Н2).
Используя для продвижения сайта на Wix редактор текста, вы без проблем настроите написанное в необходимом формате. В редакторе есть возможность разбить текст на нумерованные списки, выделять ключи жирным или курсивом, подобрать нужный цвет и т. д.
Чтобы изображения участвовали в поиске по картинкам, воспользуйтесь «мини-хитростью» – атрибутом Alt. Для этого нажмите на выбранную картинку, вставьте в всплывшую строку необходимый текст. Обратите внимание: объем текста Alt ограничен 70 знаками.
Подключение SEO-Wizard`а
Продвижение сайта на «Викс» не обременительно, если обратиться «за помощью» к встроенному инструменту, задача которого – проверять сайт по части SEO. Схема проста:
- перейдите в «Панель управления»;
- отыщите там модуль «СЕО-мастер»;
- активируйте его.
В появившемся окне выбираете веб-ресурс и вводите ключевые слова и фразы, которые вас интересуют. После анализа ресурса вы получите отчет, в котором будет отмечено, правильно ли составлены метатеги, заголовки и описания изображений.
Обратите внимание: сильно полагаться на этот инструмент не стоит – он не всегда функционирует как надо. Тем не менее, есть надежда, что в будущем в него внесут необходимые изменения, и он будет точным, как часы.
Настраиваем сайт под поисковики
Для проведения внутренней оптимизации, прежде всего, необходимо добавить ресурс в соответствующие сервисы:
- «Яндекс.Вебмастер»;
- Google Search Console.
Чтобы верифицировать сайт, найдите в режиме редактирования пункт «Управление сайтом». После нажатия на него откроется вкладка, в которой вы как раз и добавите метатеги верификации в хедер. Следующие действия:
- скопируйте из упомянутых выше сервисов «Яндекса» и Google подтверждающий метатег;
- вставьте в соответствующее поле;
- нажмите на кнопку публикации.
Дальше работаете с вебмастерами «Яндекса» и «Гугла». В строку сервисов добавляете фaйл sіtеmаp.xmІ. Он в «Викс» создается автоматически. Данные по «Яндекс.Метрике» и Google Analytics вы без проблем получите благодаря возможности подключения счетчика.
Про маркетинговый раздел не забудьте. Ссылочную массу и хороший поток трафика вы получите, подключив к продвижению на «Викс» различные источники трафика:
- социальные сети;
- городские сайты;
- блоги;
- новостные ресурсы и т. д.
Контекстная реклама тоже станет хорошим вложением на будущее.
Заключение
Seo на Wix настроить вполне реально. Но все же мы бы хотели предупредить о «подводных камнях».
Если вы только планируете создать сайт на «Викс» и продвигать его в поисковых системах, вам необходимо знать, что:
- сайт не станет вашей абсолютной собственностью. Он будет принадлежать разработчикам;
- при желании скачать с ресурса файлы вы столкнетесь с невозможностью это сделать;
- перенести сайт на другую CMS тоже не представится возможным;
- в некоторых конструкторах домен не подключается бесплатно – для этого нужно перейти на платный тариф. Цены на услуги Wix, между прочим, не самые низкие.
Wix-оптимизация подойдет тем, кто собирается продвигать веб-ресурс низко конкурентной тематики с небольшим набором ключевых запросов.
Остальным все же лучше обратиться к опытным программистам, которые создадут сайт не на бесплатном движке, а на популярной системе управления контентом, куда в случае необходимости можно будет внести требуемые изменения.
elit-web.ru
CMS vs WIX
Итак, что же такое WIX? Это удобный и интуитивно понятный конструктор для создания сайтов, который поможет новичку в веб-строительстве быстро и без лишних хлопот соорудить онлайн-площадку и заявить о своих услугах.
Если вы не владеете даже минимальными навыками программирования и имеете ограниченный бюджет на продвижение своих услуг в интернете, то выбор в пользу WIX для вас можно назвать очевидным. Все что вам нужно сделать – выбрать подходящий шаблон, поменять некоторые элементы без необходимости править код, добавить контент о вашей компании и сайт готов. Широкий выбор приложений (они же модули, плагины) поможет настроить сайт по вашему вкусу и сделать его многофункциональным.
Однако сразу обогнать по функциональности любую известную CMS у вашего WIX-сайта не получится. Конструктор сайта – это закрытая комната с минимальным набором мебели и бытовой техники, и выйти за пределы ее стен с целью улучшить условия для проживания не получится. Несмотря на это, конструкторы сайтов сегодня пользуются большой популярностью, особенно у неопытных и не подготовленных к сетевой жизни юзеров.
Конструктор сайтов WIX на данный момент является одним из наиболее популярных. Он доступен, удобен и понятен даже самому далекому от веб-строительства пользователю. Функционал таких конструкторов рассчитан именно на новичков, которые с легкостью могут создавать несложные решения вообще без навыков веб-программирования.
Сложности продвижения сайтов на WIX
Одной из основных причин, по которой SEO студии отказываются брать WIX-сайты на продвижение, является технология AJAX, добавляющая в url-адреса страниц различные символы (не единственный недостаток, но один из самых заметных). Google дал понять вебмастерам, что такие сайты не будут ранжироваться наравне с остальными площадками.
Правда, попытки нормально индексировать подобные сайты и Google, и Яндекс все-таки делают, и возможно в будущем особых проблем не будет. Однако сегодня не все студии знают о том, что WIX отказался от устаревших приемов в технологии AJAX, и теперь страницы на этом конструкторе создаются без дополнительных символов и выглядят эстетично как для человеческого глаза, так и для роботов поисковых систем.
Некоторые оптимизаторы также ссылаются на то, что Javascript, который использует WIX, плохо обрабатывается поисковыми системами. Однако и Google, и Яндекс постоянно совершенствуют свои алгоритмы, и на данный момент они отлично индексируют Javascript-сайты.
Несмотря на то, что вышеописанные нюансы являются всего лишь мифами, продвигать сайты на WIX все же не так просто. И вот почему.
1. Ограниченный функционал. Без перехода на платный тариф нельзя настроить такие важные служебные файлы как robots.txt и .htaccess. В бесплатной версии WIX нельзя настроить редиректы и изменить необходимые для правильного продвижения сайта мета-теги. Без качественной настройки и внутренней оптимизации продвигать сайты невероятно сложно.
2. Неполноценные фильтры товаров. Для эффективного продвижения сайта с товарами часто требуется создавать страницы с пересечениями. Например, у вашего сайта есть страницы с брендами Samsung, Nokia, Sony, и отдельные страницы по типу товара – телевизоры, телефоны, ноутбуки. Но нет пересекающихся страниц, таких как телевизоры Samsung, ноутбуки Samsung, телевизоры Sony, телефоны Sony и т.д. Наличие пересекающихся страниц позволяет существенно расширить семантику сайта, уменьшить затраты на продвижение ресурса ввиду снижения конкурентности запросов, получить больше трафика из поисковых систем. У WIX эта функция урезана и создавать интернет-магазины на таком конструкторе не рекомендуется.
3. Проблемы интеграции с другими сервисами. Если вы захотите добавить на свой WIX-сайт функционал (онлайн-консультанта, всплывающую форму e-mail-подписки и т.п.), которого изначально нет в конструкторе, то столкнетесь с очередной проблемой. Вам придется, хотите вы того или нет, довольствоваться малым и ограничить себя в возможностях.
4. Сложность попадания в топ. Вы можете наглядно убедиться в том, что по конкурентным поисковым запросам в топах поисковых систем крайне мало сайтов, созданных на конструкторе WIX. Просто вбейте любой конкурентный ключевик в строку поиска и посмотрите на сайты в выдаче – все они сделаны на популярных CMS или самописных движках.
5. Нет возможности создать разные шаблоны страниц. Юзабилити – один из главных факторов ранжирования и превращения посетителя в покупателя или клиента. Очень часто необходимо создавать отличные друг от друга шаблоны типовых страниц, чтобы получать с трафика больший профит. В WIX, как правило, такой возможности нет, что сильно связывает руки в процессе настройки сайта и его дальнейшего SEO продвижения.
6. Нет доступа к файлам сайта и исходному коду. Зачастую владельцу интернет-площадки необходимо загрузить в корень сайта какой-нибудь файл (например, для подтверждения владения сайтом в сервисах для вебмастеров от Google или Яндекса). Или закрыть часть файла от индексации, удалить ненужные элементы кода, негативно влияющие на скорость загрузки сайта (а поисковики, как известно, не любят, когда сайты открываются очень долго). В конструкторе WIX доступ к файлам сайта ограничен и выполнить все вышеописанное зачастую невозможно. Если ваш бизнес будет расширяться, вы не сможете внести необходимые правки в структуру вашего сайта и придется пользоваться только тем, что предлагают разработчики платформы WIX.
7. Неуникальный дизайн. Уникальность кода шаблона сайта также влияет на его ранжирование в поисковых системах. Без доступа к исходным файлам сайта (в том числе и к .css) вы не сможете уникализировать его код. Сегодня очень многие пользуются готовыми бесплатными шаблонами, и выдача просто кишит неуникальными дизайнами, а тот же Google настраивает свои алгоритмы таким образом, чтобы пессимизировать подобные ресурсы при ранжировании.
8. Отсутствие гарантий. Представьте, что вы годами работаете над сайтом, наполняете его, тратите деньги, время и нервы на его продвижение, но в один «прекрасный» момент сервис WIX закрывается, и вы не можете получить доступ к файлам и базе данных своего сайта, чтобы перенести его на другую платформу. Никаких гарантий, что ваш сайт не канет в Лету, разработчики WIX не дают. Намного безопаснее создавать сайты на популярных CMS и размещать их на хостинге с возможностью резервного копирования базы данных (бэкапа).
9. Мало примеров успешного продвижения. В поисковой выдаче находится очень мало сайтов, созданных на конструкторе WIX. Конечно, в отдельных тематиках с низкой конкуренцией можно найти несколько примеров в топе, но, как правило, это единичные случаи. При этом нужно учитывать, что запросов в данной тематике могут быть сотни тысяч, а в топ попадают всего несколько страниц WIX-сайтов.
Все вышеописанные нюансы показывают, насколько проблематичным может оказаться продвижение сайта на конструкторе WIX и как непросто на этой платформе развивать свой бизнес в онлайне. Самые главные минусы состоят в том, что:
- сайт принадлежит не вам, а разработчикам платформы WIX;
- вы не сможете при желании скачать файлы сайта и перенести его на другую CMS;
- во многих конструкторах отсутствует возможность подключения домена без перехода на платный тариф, причем стоимость тарифов WIX сравнительно высокая;
Краткий гайд по оптимизации сайта на WIX
В панели управления в разделе «Мои приложения» перейдите на страницу настройки SEO параметров сайта. Заполните все поля шаг за шагом с помощью путеводителя, исходя из тематики и семантики вашего проекта. Некоторые шаги вы можете пропустить и заполнить данные позже.
Не забудьте перед заполнением основных тегов для сайта указать ключевые запросы, по которым планируете продвигать ресурс.
После заполнения всех полей для вас будет создан путеводитель по SEO со списком рекомендаций. Отредактируйте каждый пункт в списке по подсказкам путеводителя, и ваш сайт будет готов к наполнению и продвижению.
Кликнув по любой рекомендации, вы узнаете, что от вас требуется и как это сделать.
Заполните SEO данные для каждой страницы точно так же, как показано на скриншоте №7. Для этого перейдите на вкладку SEO в настройках страницы и укажите title, description, адрес страницы, ключевые запросы. По этому шаблону заполните и другие страницы сайта.
Вывод
К сожалению, пока минусов у конструкторов довольно много и продвигать сайты на WIX очень непросто. Сайты, созданные на подобных конструкторах, подойдут, в основном, для низкоконкурентных тематик с небольших количеством поисковых запросов. Но даже в этом случае все минусы и недостатки продвижения WIX-сайтов никуда не денутся. Про тематики с высокой конкуренцией вообще не может быть речи.
Если вы планируете создать интернет-магазин, специалисты «Юла Group» настоятельно рекомендуют делать это на популярных системах управления контентом, а не на бесплатных конструкторах. При необходимости вы сможете заказать любые доработки для сайта на CMS у опытных программистов на сервисах фриланса или у профессионалов из нашей студии.
yula-group.ru
Wix продвижение: основное заблуждение
Долгое время считалось, что сайт на Wix не индексируется Яндексом по той причине, что платформа применяет технологию AJAX. Сегодня, это доказанный миф. На официальных страницах поисковиков дано разъяснение, указывающее на возможность индексации и сканирования таких сайтов. Однако индексация Яндекс Wix происходит с соблюдением обязательного условия: каждая из страниц должна содержать HTML-версию.
По каким принципам Wix оптимизирует сайты?
Работа с двумя ведущими в странах СНГ поисковыми системами наложила отпечаток на принципы SEOWix. На ранжирование сайтов Google и Яндекс в наибольшей степени влияют такие составляющие:
- внутренняя оптимизация (включает в себя мета теги, юзабилити, структуру, наполнение качественными текстами);
- качество домена;
- поведенческая реакция пользователей (пребывание на сайте 15 секунд расценивается, как отказ, что автоматические понижает позиции сайта);
- наличие ссылок.
Wix SEO оптимизация осуществляется с учетом этих принципов с тем, чтобы добиться высокого ранжирования. Поэтому основное внимание там уделяется оформлению страницы с помощью расстановки метатегов (без них индексация в Яндексе Wix сайта не произойдет), ключевым словам, подключению персонального домена, оптимизированию изображений.
С чего начать продвижение сайта: особенность Wix
Прежде чем приступить к SEO на Wix, необходимо сделать сайт видимым для поисковых систем. Для это следует:
- зайти в редактор и выбрать раздел Настройки;
- выбрать режим SEO;
- отметить, что вы позволяете поисковикам найти свой сайт.
Эти действиям позволят приступить к сканированию вашего сайта. Однако ему будет подвергаться не все содержимое. Некоторые файлы окажутся недоступны для поисковых систем. Происходит это благодаря специальному инструменту robots.txt, Wix создает такие файлы автоматически. Они представляют собой список URL адресов и файлов, которые не добавляют значимости сайту с точки зрения его оптимизации. Такая процедура упрощает индексирование, повышает его эффективность.
Особенности работы с текстом
Wix оптимизация невозможна без работы с текстовым наполнением и его оформлением на странице. Ключевые слова необходимо подобрать и вставить органичным образом в контент. Они должны присутствовать на каждой странице текста, в заголовках и подзаголовках, ссылках и текстовых описаниях картинок.
Для прописывания метатегов и настройки параметров страницы необходимо воспользоваться редактором. Начинает Wix продвижение сайта с открытия страницы «Настройки и SEO». Там вы сможете прописать заголовок, описание страницы, ввести придуманные ранее ключевые слова, узнаете, как вставить код html в Wix, ввести адрес. Это та база, которая после будет индексироваться, а значит – повышать или понижать ваш рейтинг. После ввода всех данных можно посмотреть, как будет выглядеть ваша страница в результатах, выдаваемых поисковиками. Для этого следует нажать Вид в поиске, находящийся на этой же странице, внизу.
Там же можно узнать, как добавить мета тег на сайт Wix – ключевой момент для оптимизации. Наживаем на раздел Добавить, где выбираем Apps и HTML соответственно. Там можно вводить или вставлять необходимый код, после чего его следует обновить.
Добавление метатегов в хедер Wix пригодится тогда, когда возникает необходимость доказать свое авторство, подтвердить свои права на сайт. Для этого следует выбрать дополнительные настройки, где и вводиться дополнительный код. Для их написания есть ряд правил, обязательных к соблюдению: код не должен содержать дополнительного текста и скриптов. Будут проверяться и смогут пройти проверку только действительные HTML-теги <>.
Работа с картинками
Конструктор подскажет, как продвигать сайт на Wix платформе с помощью картинок. Не все понимают, что поисковые роботы не видят те изображения, которые так тщательно размещает на своем сайте внимательный к мелочам создатель. Хорошо, когда на руку владельцу играет не только качественный и правильно составленный текст, но и хорошие изображения. Для того чтобы они стали читабельными для поисковиков, им следует присвоить Alt-текст.
В этом случае оптимизация сайта Wix будет происходить еще и с учетом содержательных картинок с дополнительной информацией (которую не дурно было бы также снабдить ключами). Работайте в этом направлении только с качественными картинками, бесполезные материалы отвлекать внимания от сути не должны.
Дополнительные возможности для оптимизации
Продвижение сайта на Wix можно осуществлять с помощью анкорных текстов. Это хороший механизм, который при правильном выполнении позитивно воспринимается поисковиками и автоматически повышает ваши рейтинги, особенно если сам текст такой ссылки релевантен (то есть соответствует запросам привлекаемой целевой аудитории).
Для Wix, продвижение сайтов – процесс не статический. Недостаточно единожды написать и правильно оформить хороший текст, его нужно постоянно обновлять. Поможет в этом блог, с помощью которого вы сможете постоянно обновлять содержимое своего сайта, поддерживая тем самим свои завоеванные рейтинги.
linuxgid.ru
Основные правила настройки robots.txt
Перед тем, как приступить к настройке роботса для вашего сайта, советую ознакомиться с официальными рекомендациями Яндекс и Google. Однако, как обычно и бывает, информация там не очень легкая для восприятия, именно поэтому я пишу данный гайд.
Теперь о том, что должно быть в файле robots.txt. По моему мнению, в нем необходимо создавать 3 отдельные наборы директив — для Яндекс, для Google, и для остальных роботов-краулеров. Почему отдельно? Да потому что есть директивы, предназначенные только для определенных ПС, а также можете считать это неким проявлением уважения к основным поисковикам рунета ?
Следовательно, роботс должен состоять из таких секций:
Между наборами директив для разных роботов необходимо оставлять пустую строку.
В robots.txt необходимо указать путь к XML карте сайта. Директива является межсекционной, поэтому она может быть размещена в любом месте файла, однако перед ней рекомендуется вставить пустой перевод строки. Запись должна выглядеть так:
Адрес сайта и сам путь к карте необходимо заменить на те, которые являются актуальными для вашего сайта. Также следует помнить, что для сайтов с большим количеством страниц (более 50 000) необходимо создать несколько карт и все их прописать в роботсе.
Настройка robots.txt для Яндекс
Для того, чтобы наглядно показать правильную настройку директив для Яши, я возьму в качестве примера стандартный robots.txt для WordPress.
Обратите внимание на отсутствие директивы Host для Яндекса. Она указывала пауку-роботу Яндекса, какое из зеркал сайта является главным. Директива прекратила существование в начале весны 2018 года, о чем есть соответствующая запись в блоге Яндекса.
Проверить корректность настройки robots.txt для Яндекса можно при помощи данного сервиса.
Настройка robots.txt для Google
Для Google настройка роботса мало чем отличается от уже написанного выше. Однако, есть пара моментов, на которые следует обратить внимание.
Как видно из примера, появились две директивы, разрешающие индексировать JS скрипты и CSS таблицы. Это связано с рекомендацией Google, в которой говорится, что следует разрешать роботу индексировать файлы шаблона (темы) сайта. Естественно, скрипты и таблицы в поиск не попадут, однако это позволит роботам корректнее индексировать сайт и отображать его в результатах выдачи. Данные директивы я внедрил не на один десяток сайтов и по крайней мере, лишние страницы в выдаче не появились.
Ну а корректность настройки директив для Google вы можете проверить инструментом проверки файла robots.txt, который находится в Google Webmaster Tools.
Что еще стоит закрывать в роботсе?
Конечно, статья была бы далеко не полной, если бы я не рассказал, какие файлы и папки следует закрывать от индексирования.
- Страницы поиска. Тут кое-кто может поспорить, так как бывают случаи, когда на сайте используют внутренний поиск именно для создания релевантных страниц. Однако, так поступают далеко не всегда и в большинстве случаев открытые результаты поиска могут наплодить невероятное количество дублей. Поэтому мой вердикт — закрыть.
- Корзина и страница оформления/подтверждения заказа. Данная рекомендация актуальна для интернет-магазинов и других коммерческих сайтов, где есть форма заказа. Данные страницы ни в коем случае не должны попадать в индекс ПС.
- Фильтры и сравнение товаров. Рекомендация относится к интернет-магазинам и сайтам-каталогам.
- Страницы регистрации и авторизации. Информация, которая вводится при регистрации или входе на сайт, является конфиденциальной. Поэтому следует избегать индексации подобных страниц, Google это оценит.
- Системные каталоги и файлы. Каждый сайт состоит из множества данных — скриптов, таблиц CSS, административной части. Такие файлы следует также ограничить для просмотра роботам.
Замечу, что для выполнения некоторых из вышеописанных пунктов можно использовать и другие инструменты, например, rel=canonical, про который я позже напишу в отдельной статье. Кроме этого, не подходите к рекомендациям буквально — всегда есть исключения. Например, фильтры в некоторых магазинах имеют свои чпу, уникальные мета, контент. Конечно, не надо такие страницы закрывать — это дополнительные релевантные страницы под ключи.
Мой вариант robots.txt для WordPress и Joomla
Дописываю эти строки спустя какое-то время после написания статьи. Дело в том, что несмотря на пользу различных директив и объяснении мною их функций, я забыл добавить информацию о том, как должен выглядеть роботс в конечном итоге. Поэтому добавляю мои наборы директив для двух моих любимых и часто используемых CMS — WordPress и Joomla. Естественно, не забывайте, что некоторые параметры вам понадобится дописать самим, поэтому обязательно ознакомьтесь с рекомендациями Google и Яндекс (ссылки на оф. источники во втором абзаце данной статьи).
robots.txt для WordPress
Обратите внимание, что директиву Sitemap в вашем роботсе нужно заменить на необходимые вам.
robots.txt для Joomla
Замечу, что в наборе поисковых правил для Joomla я закрыл пагинацию страниц в разделах, а также страницу поиска по сайту. Если вам необходимы данные страницы в поиске — можете убрать из robots.txt эти две строчки:
Немного о нестандартном использовании robots.txt
С учетом написанного выше, тему правильной настройки robots.txt можно считать раскрытой, однако есть еще кое-что, о чем я бы хотел рассказать. Роботс можно с пользой применять помимо назначения и без вреда для сайта. Дело в том, что в файле можно использовать такой знак, как «#» — он обозначает комментарии, не учитываемые роботами. Данный знак действителен в пределах одной строки, там, где он используется. Его можно использовать для пометок, чтобы не забыть, что и зачем было закрыто от поисковых систем.
Но есть и другое применение. Например, после знака комментария, вы можете разместить полезную информацию: контакты сайта, вакансию для оптимизатора, ссылку на важную информацию, и даже рекламу. Не буду заниматься плагиатом, так как идея не моя, поэтому предлагаю ознакомиться с различными вариантами на блоге Devaka. Уверен, вы будете удивлены, узнав, насколько разнообразным может быть использование роботса не по назначению.
На этом все, правильная настройка robots.txt описана в полной мере, надеюсь, вы узнали что-то новое. Если же после прочтения статьи у вас остались вопросы — задавайте их в комментариях, и я постараюсь на них ответить.
sky-fi.info