Почему антивирус "Яндекса" игнорирует robots.txt?

Во время нашей работы заметили, что Яндекс спокойно себе краулит закрытые в robots.txt разделы сайта.

Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.

Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.

 Источник:Roem.ru

Перейти на сайт

Похожие новости

• [Перевод] Обход двухфакторной аутентификации в публичной баг-баунти программе: путь к $6000
• Кратко про XHTTP для VLESS: что, зачем и как
• [Перевод] Как я нашёл уязвимость в ядре Linux при помощи модели o3
• SelfCoerce для локального повышения привилегий на Windows 10
• Теория мертвого 2GIS
• Постквантовые криптостандарты США на алгоритмы электронной подписи на основе хеш-функций с сохранением состояния
• Новые возможности менеджера секретов Deckhouse Stronghold: пространства имён, резервные копии и репликация данных
• [Перевод] Single Sign-On c OpenAM и OpenIG: практические примеры реализации
• Безопасность по ГОСТу: процесс интеграции HSM отечественного производства
• Каких коммуникаторов не хватает PR-индустрии?