Joomla!

С начала начнём с того что такое robots.txt:

 Файл robots.txt - один из самых важных файлов в техническом обеспечении вашего сайта, и от него будет зависеть дальнейшая судьба вашего сайта в мире, где рулят поисковые машины.

Что такое robots.txt? - это технический файл, который размещен в корневой папке вашего сайта. Его предназначение: - описание исключений для поисковых роботов, т.е. указание какие страницы, файлы не индексировать.

Подробнее: в тот момент, когда бот с поисковых систем входит на ваш сайт, то в первую очередь он ищет  robots.txt  и если он присутствует, то робот анализирует его и приступает к индексации согласно правилам указанных в файле robots.txt.

Важно знать:

• файл robots.txt и его правила исключения используют только «культурные» роботы, а наряду с ними существует целая армия ботов, которые игнорируют правила исключений или вообще проходят мимо файла robots.txt на сайте

Из чего состоит файл:

User-agent: *
Disallow:

• User-agent - эта директива указывает имя