Disallow – это одна из ключевых директив файла robots.txt. Disallow не позволяет поисковым машинам «видеть» папки или файлы, указанные сразу после нее. Пример disallow в robots.txt: «Disallow: /page2/» значит, что роботы ПС не проиндексируют страницу Page 2. Если вы хотите полностью отключить видимость сайта для роботов ПС, в файле robots.txt нужно прописать Disallow: /.
Назначение запрещающей директивы – сэкономить время на обработке страниц, которые не важны для SEO-продвижения сайта (папка с системными файлами или секретной информацией).
