Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?

Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt

Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/

User-agent: *
Disallow: /search/
...

И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/

Это баг или фича?

 Источник:Roem.ru

Перейти на сайт

Похожие новости

• [Перевод] «Призраки в коммитах 2»: пылесосим историю Git в поиске утекших секретов
• Как мы строим real-time data-пайплайны для анонимных крипто-свапалок: опыт на примере risetocrypto
• [Перевод] Ай! Не туда! Как злоупотреблять симлинками и повышать привилегии (LPE-шиться) в Windows
• Шифрование скриптов
• Vaultwarden: как я поднял свой менеджер паролей и перестал беспокоиться?
• BGGP3: Хороший тамада и конкурсы интересные
• IP-телефония в России: запрет или новые правила? Разбираемся
• Что остаётся после нас в онлайне — и как с этим быть
• Android. Кража данных через клавиатуру: миф или реальность?
• Spark_news: Продолжается рост закупок госкомпаний у самозанятых