Почему антивирус "Яндекса" игнорирует robots.txt?

Во время нашей работы заметили, что Яндекс спокойно себе краулит закрытые в robots.txt разделы сайта.

Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.

Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.

 Источник:Roem.ru

Перейти на сайт

Похожие новости

• Как мессенджеры шифруют сообщения (end-to-end) на самом деле
• Безопасная сборка Docker-образов в CI: пошаговая инструкция
• Доказательный маркетинг©: научный подход, который работает
• Слил $800 на CEX, поднял $2000 на DEX — реальный опыт копитрейдинга в Solana
• Digital-издательство «Русконтент» запустило образовательный проект «Все профессии нужны, все профессии важны»
• Видеть инфраструктуру как хакер. От графа моделирования угроз к алгоритмам, которые находят маршруты атак на нем
• Редакция Spark.ru: Всемирная история торговли в стиле Сатирикона: часть 7. «Батрацкий стартап»
• Информационная безопасность для цифровых кочевников
• Редакция Spark.ru: Как DIY-инструменты и краудсорсинг заменяют профессиональных продюсеров?
• Сравнительный обзор: Shodan, ZoomEye, Netlas, Censys, FOFA и Criminal IP