Директивы – это команды для поисковиков, прописанные в файле robots.txt. При наличии такого файла роботы будут индексировать определенные страницы сайта в соответствии с прописанными в нем директивами. С их помощью SEO-специалист может разрешить или запретить посещать те или иные разделы, определить временной промежуток для скачивания файлов и т.д.
Директивы роботс нужно прописывать с новой строки. После директивы ставится двоеточие, а затем дается полный адрес файла в каталоге.
К примеру, директива allow в robots.txt принудительно открывает, а disallow закрывает от просмотра роботами конкретные разделы или страницы. User agent определяет, для ботов каких поисковых систем будут действовать прописанные условия. Директива sitemap в robots.txt показывает путь к карте сайта.
