8 800 333 06 77
+7 (495) 118-22-22

Robots.txt


Файл 
robots.txt представляет собой  текстовый файл, в котором прописываются специальные инструкции для поисковых роботов.

файл rorots.txt

Этот файл находится в корневой директории сайта. В robots.txt можно прописать правила для роботов поисковых систем и запретить им индексацию некоторых страниц, прописать правильное «зеркало» домена, уточнить интервал между скачиваниями документов с сайта и так далее.


Любой поисковый робот при попадании на сайт первым делом определяет наличие файла robots.txt и следует указаниям, которые находятся в нем.



Пусть другие тоже знают!

К списку терминов