Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/
User-agent: *
Disallow: /search/
...
И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/
Это баг или фича?
Источник:Roem.ru
Источник: smartZone
Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке