robots.txt — файл ограничения доступа к содержимому роботам на http сервере. Файл должен находиться в корне сайта (т.е. иметь путь относительно имени сайта /robots.txt).

Использование файла добровольно, стандарт был принят консорциумом 30 января 1994 года в списке рассылки robots-request@nexor.co.uk и с тех пор используется большинством известных поисковых машин.

Файл robots.txt используется для частичного управления индексированием сайта поисковыми роботами. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать области сайта, которые не должны индексироваться.