Почему антивирус "Яндекса" игнорирует robots.txt?
Во время нашей работы заметили, что Яндекс спокойно себе краулит закрытые в robots.txt разделы сайта.
Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.
Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.
Источник:Roem.ru
Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.
Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.
Источник:Roem.ru
Похожие новости
- Взлом уязвимой операционной системы Vulnix. Уязвимая служба/протокол smtp
- НКО научат создавать качественный контент
- Скрытые языки: как инженеры передают информацию внутри команды, избегая документации
- [Перевод] Пишем на C самоизменяющуюся программу x86_64
- Четыре взлома ИТ-инфраструктуры, один из которых выдуман. Какой?
- Red Digital и хлебцы Kruazett: KRRустящий кейс
- Быстрый старт в маскировании данных PostgreSQL с инструментом pg_anon
- [Перевод] Свой среди чужих: насколько токсична рабочая среда безопасника?
- [Перевод] Обход двухфакторной аутентификации в публичной баг-баунти программе: путь к $6000
- Кратко про XHTTP для VLESS: что, зачем и как