Почему антивирус "Яндекса" игнорирует robots.txt?
Во время нашей работы заметили, что Яндекс спокойно себе краулит закрытые в robots.txt разделы сайта.
Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.
Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.
Источник:Roem.ru
Это все дело прикрывается так называемым "Антивирусом", т.е. в закрытые в robots.txt разделы сайта заходит вот такой робот "Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots)" описывается он тут http://help.yandex.ru/webmaster/?id=995329 как "антивирусный робот, который проверяет страницы на наличие опасного кода", но мы же понимаем, что чтобы проверить на наличие опасного кода этот код надо скачать.
Ошибок в robots.txt нет, через Яндекс.Вебмастер проверяем урл к которому идет обращение он отвечает "запрещен правилом", а на деле туда ходит антивирус.
Источник:Roem.ru
💬 Комментарии
В связи с новыми требованиями законодательства РФ (ФЗ-152, ФЗ «О рекламе») и ужесточением контроля со стороны РКН, мы отключили систему комментариев на сайте.
🔒 Важно Теперь мы не собираем и не храним ваши персональные данные — даже если очень захотим.
💡 Хотите обсудить материал?
Присоединяйтесь к нашему Telegram-каналу:
https://t.me/blogssmartzНажмите кнопку ниже — и вы сразу попадёте в чат с комментариями
