Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?

Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt

Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/

User-agent: *
Disallow: /search/
...

И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/

Это баг или фича?

 Источник:Roem.ru

Перейти на сайт

Похожие новости

• Не кибербез, а цифро-ТБ
• Атакуем LLM — дешево, сердито, ИИ-шно
• Echo Layer: как я пытался встроить приватность в обычную клавиатуру
• Тактильная эпоха — Часть 2: Складной планшет vs раскладной смартфон. И почему вы не понимаете, чего хотите
• Скрываясь на виду: как PhantomCore маскирует свою активность с помощью легитимных инструментов
• Максим Немов: Почему бизнес-гипотезы почти всегда ошибочны — и как на этом зарабатывают те, кто это понял
• Антипов Александр: Запускаю сервис для автоматической сверки актов. Что оказалось сложнее, чем казалось
• Запущен ещё один бесплатный сервис для проверки текстов на соответствие закону об англицизмах
• Рейтинг Рунета выпустит первый рейтинг компаний, занимающихся продвижением в нейросетях
• SD-WAN + NGFW: почему разрыв между сетью и безопасностью обходится дорого