Наверх
8 800 350 55 01
+7 (495) 118-22-22
/
/
Директива (в контексте robots.txt)

Директива (в контексте robots.txt)

Директивы – это команды для поисковиков, прописанные в файле robots.txt. При наличии такого файла роботы будут индексировать определенные страницы сайта в соответствии с прописанными в нем директивами. С их помощью SEO-специалист может разрешить или запретить посещать те или иные разделы, определить временной промежуток для скачивания файлов и т.д.

Директивы роботс нужно прописывать с новой строки. После директивы ставится двоеточие, а затем дается полный адрес файла в каталоге.

К примеру, директива allow в robots.txt принудительно открывает, а disallow закрывает от просмотра роботами конкретные разделы или страницы. User agent определяет, для ботов каких поисковых систем будут действовать прописанные условия. Директива sitemap в robots.txt показывает путь к карте сайта.


Пусть другие тоже знают!

К списку терминов