Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?

Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt

Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/

User-agent: *
Disallow: /search/
...

И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/

Это баг или фича?

 Источник:Roem.ru

Перейти на сайт

Похожие новости

• Как работает безопасность, когда никто никому не доверяет — Zero Trust на пальцах
• Централизация биткойн-майнинга в 2025 году: концентрация хешрейта усиливается
• Новости кибербезопасности за неделю с 19 по 25 мая 2025
• [Перевод] Преступный ИИ уже существует, и он доступен любому
• [Перевод] Postman логирует все ваши секреты и переменные окружения
• Math Agency: Google AI Mode: новая модель поиска, которая меняет всё
• Атака клонов или темная сторона Open Source
• А вам точно нужно делать и продвигать приложение? Два главных вопроса бизнесу перед разработкой
• Гайд по криптостойкости, как защитить наши данные
• [Перевод] Взлом моей машины, и, вероятно, вашей — уязвимости в приложении Volkswagen