Файлы могут попасть в выдачу, даже если они закрыты в robots.txt.
Робот Яндекса следует всем правилам, прописанным в robots.txt. Но для правильного понимания предписаний роботом важно:
- Расположение файла в корневом каталоге ресурса.
- Учет директивов из robots.txt,возврат кода HTTP 200 при обращении к файлу.
- Если файл больше 32Кб, то инструкция будет воспринята роботом как неправильная или слишком сложная.
- При обнаружении роботом конфликтующих директив типа
Allow:/
User-agent:Yandex
Disallow:*
он определенно отдаст предпочтение правилу, позволяющему страницам участвовать в поиске.
Можно самостоятельно проверить корректность настроек файла robots.txt. В этом вам поможет Анализатор robots.txt. После редактирования информация в поиске обновится примерно через пару недель.
