Не поверите, но за всю свою жизнь я лишь сегодня узнал истинное назначение robots.txt! Да, ранее для запрета индексации я пользовался лишь тегом <noindex>. С сегодняшнего дня я узнал и о замечательном robots.txt И так в чём же суть его?Итак, у вас есть хороший сайт интернет казино www.vulkan-slots-online.com/. Однако, имея на нам даже самые редкие и хорошие онлайн слоты, вам нужно его максимально настроить, т.е. оптимизировать. Файл robots.txt – это обычный файл формата .txt, который в первую очередь ищут поисковые боты и в котором прописываются области сайта, которые вы хотите запретить индексировать поисковым ботам. Эти "правила” запрещают поисковым ботам (Яндекс, Google, Рамблер и др.) индексировать тот или иной участок сайта, страницу или ещё куда более интереснее отдельный файл! В robots.txt вы можете так же указать какому именно боту вы запрещаете индексировать материл. Будь это опять же Яндекс, Google или какой нибудь другой поисковый робот. Для чего это нужно? ну как… Зачем вам индексация к примеру файлы админ панели, или же psd файла, который вы залили лишь для сохранности на ftp. Например для создания файла robots.txt для моего блога seomeo я запретил роботам индексировать следующие разделы сайта: плагины, виджеты, rss, админ панель и другие ненужных поисковым системам разделы сайта. Не стоит забывать, что для каждого сайта нужно составлять свой robots.txt Это зависит и от материала, контента, в конце концов от самого движка сайта.
Что то я вас одной теорией засыпал, теперь давайте теперь практикум.
Для того, чтобы создать файл, вам не нужны дополнительные программы, а хватит стандартного блокнота. Создаём новый файл .txt и заносим в него следующие данные. Пользовательская строка агента (User-agent) и строка запрета (Disallow). Как я уже сказал чуть раньше, что в файле robots.txt вы можете запрещать как одной так и нескольким поисковым системам индексировать ваш материал. К примеру я хочу запретить роботу google индексировать папку gallery. В этом случае файл будет выглядеть следующим образом:
User-agent: googlebot
Disallow: /gallery/
Если же вы хотите запретить всем роботам индексировать материал, то в поле user-agent ставьте символ звёздочки *
И например если я хочу запретить индексировать все тот же раздел gallety всем, то я пишу в файле robots.txt следующее:
User-agent: *
Disallow: /gallry/
С таким же успехом можно указывать папки, целые разделы или отдельные файлы. Удачи вам с вашими сайтами (:
Добавить пост 