#Разрешена регистрация всех страниц сайта
User-Agent: * 
#Disallow: 

#User-agent: Yandex
Crawl-delay: 2 # задает таймаут в 2 секунды

User-Agent: Yahoo! Slurp 
Disallow: *