Файл robots.txt – это текстовый файл, в котором прописываются специальные инструкции для поисковых роботов.
![файл rorots.txt файл rorots.txt](/bitrix/templates/seo_ru/images/seowiki/robots.jpg)
Этот файл находится в корневой директории сайта. В robots.txt можно прописать правила для роботов поисковых систем и запретить им индексацию некоторых страниц, прописать правильное «зеркало» домена, уточнить интервал между скачиваниями документов с сайта и так далее.
Любой поисковый робот при попадании на сайт первым делом определяет наличие файла robots.txt и следует указаниям, которые находятся в нем.