Robots.txt — инструкция для поисковых роботов, которая заносится в корневую папку сайта и контролирует поведение роботов, в частности, не разрешает индексировать определенную часть сайта.

Откуда взялся robots.txt?

Середина 90-х гг. ознаменовалась бурным развитием поисковых сервисов в Интернете, которые своими действиями значительно препятствовали работе по оптимизации сайтов.  Дело в том, что при индексации сайтов  поисковые машины обрабатывали абсолютно все веб-страницы, вследствие чего назрела необходимость разработать  специальное средство, указывающее поисковикам на то, что следует индексировать, а что нет. Уже в июне 1994 г. был заключен договор, согласно которому  был  создан  особый инструмент — стандарт написания рабочих файлов robots.txt .

Поисковая система  и robots.txt

При посещении сайта поисковик сразу же обращается  к robots.txt, который выглядит:

• User-agent: *
• Disallow: /tmp/
• Disallow: /cgi-bin/

Знак звездочка  после User-agent сообщает об  общем доступе  к содержимому  robots.txt  для всех поисковых роботов.  Вместо этого знака может быть имя какого-нибудь робота. Disallow означает запрет   действий поисковиков.  Сильно влияет на значение формулы слэш (/) после  Disallow:

• User-agent: *
• Disallow: /

Данная косая линия означает запрет индексации  всего сайта  любыми роботами.

Атрибут nofollow и тег noindex также запрещают индексацию, но поисковики неодобрительно к ним относятся.