Файл robots.txt – это текстовый файл, в котором прописываются специальные инструкции для поисковых роботов.
Этот файл находится в корневой директории сайта. В robots.txt можно прописать правила для роботов поисковых систем и запретить им индексацию некоторых страниц, прописать правильное «зеркало» домена, уточнить интервал между скачиваниями документов с сайта и так далее.
Любой поисковый робот при попадании на сайт первым делом определяет наличие файла robots.txt и следует указаниям, которые находятся в нем.
