Настройка файла robots.txt в Blogger

  Добрый день дорогие друзья сегодня я хочу поговорить о настройке файла robots.txt.

Файл robots.txt – это текстовый файл, в котором содержаться инструкции для поисковых роботов, для разрешения или запрета индексации определенных частей блога.

  Часто владельцы блогов в Blogger используют стандартные настройки, но я вам рекомендую их изменить я вам объясню зачем и почему.  

  Сейчас мы рассмотрим из чего состоит стандартный файл robots.txt.

User-agent: Mediapartners-Google – Это означает что директивы расположенные ниже для бота Google AdSense

Disallow: - Открыты и ему разрешено их индексировать

Disallow: / - Закрыты и ему нельзя их индексировать

User-agent: * - Означает что директивы расположенные ниже для ботов Google, Yandex и т.д

Disallow: /search – Запрещает индексировать каталог результатов поиска

Allow: / - Разрешает индексировать все остальное

Sitemap: http://ваш домен.blogspot.com/feeds/posts/default?orderby=UPDATED – Это файл в котором находится информация о страницах сайта, которые можно индексировать.

  Вот мы и разобрались из чего состоит наш стандартный фал robots.txt, но для лучшей индексации нам необходимо внести в него некоторые изменения. Каждый настраивает эти файлы по-своему, я покажу тот вариант, который у меня в блоге, если у кого-то будут замечания или советы пишите их в комментариях, и мы все обсудим.

  Роботу AdSense изначально разрешено индексировать блог директивой Disallow: но в аккаунте AdSense рекомендуют открыть индексацию Allow: / так я и поступлю.

Для остальных же роботов мы запретим индексировать следующие директивы ярлыки, комментарии, архив, и каталог результатов поиска. Зачем это нужно? Ярлыки и архив мы закрываем от индексации для того чтобы роботы не индексировали 2 раза одно и тоже. Если вы используете у себя в блоге комментарии других ресурсов к примеру - Вк и бот будет их индексировать то с каждым новым комментарием будет снижаться уникальность контента в вашем блоге. По - этому наш файл robots.txt будет выглядеть  следующим образом:

User-agent: Mediapartners-Google -Робот AdSense;
Allow: / -Индексировать все;

User-agent: *-Всем поисковым роботам;
Disallow: /search -Не индексировать каталог результатов поиска; 
Disallow: /*archive -Не индексировать архив блога;
Disallow: /search/label/ -Не индексировать ярлыки блога;
Disallow: /*?showComment -Не индексировать комментарии блога;

Allow: / -Индексировать все что не запрещено.

Sitemap: http://ваш домен.blogspot.com/sitemap.xml -Файл sitemap.xml который подходит для поисковых роботов Google и Yandex.
 

 С составлением файла robots.txt мы разобрались теперь перейдем к добавлению его в наш блог. В начале я рекомендую составить наш robots.txt, в блокноте. Добавляем файл следующим образом в панели управления Blogger открываем вкладку настройки – настройки поиска и напротив Пользовательский файл robots.txt.нажимаем изменить, ставим отмечаем использовать собственный файл robots.txt и копируете туда текст файла, сохраняем настройки, и все мы добавили оптимизированный файл robots.txt!

  Подписывайтесь на обновления, рекомендуйте сайт друзьям. Ну а в следующей статье мы поговорим о Персонализированных тегах robots длязаголовков.