Публичный саппорт: Когда поисковый бот Mail.ru научится читать robots.txt?
Поисковый робот Mail.ru игнорирует или неправильно читает robots.txt
Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/
User-agent: *
Disallow: /search/
...
И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/
Это баг или фича?
Источник:Roem.ru
Пример robots.txt:
...
User-agent: Mail.Ru
Crawl-delay: 5
Disallow: /admin/
User-agent: *
Disallow: /search/
...
И все равно делает 2-3 запроса в секунду и пытается индексировать страницы в /search/
Это баг или фича?
Источник:Roem.ru
💬 Комментарии
В связи с новыми требованиями законодательства РФ (ФЗ-152, ФЗ «О рекламе») и ужесточением контроля со стороны РКН, мы отключили систему комментариев на сайте.
🔒 Важно Теперь мы не собираем и не храним ваши персональные данные — даже если очень захотим.
💡 Хотите обсудить материал?
Присоединяйтесь к нашему Telegram-каналу:
https://t.me/blogssmartzНажмите кнопку ниже — и вы сразу попадёте в чат с комментариями