#Разрешена регистрация всех страниц сайта
User-Agent: * 
Disallow:
Crawl-delay: 2 # задает таймаут в 2 секунды

User-Agent: Yahoo! Slurp 
Disallow: *