Разработчик веб-скраперов (53 бота) в 500 м от вас и хочет познакомиться: как не подхватить скрапера?
Меня зовут Арсений Савин, и я знаю, как бороться с вредоносными ботами. Почти два года я занимаюсь разработкой веб‑скраперов в компании Effective, и хорошо изучил, как они работают — и как их остановить.
За время реализации этого проекта я столкнулся с огромным количеством разнообразных и неочевидных способов скрапинга, о защите от которых я расскажу в этой статье. План такой: сначала разберём, что такое веб‑скрапинг и какие бывают типы ботов, а потом — то, чем чаще всего они выдают себя, и какие методы защиты от них действительно работают.
Эта статья написана по докладу для конференции Saint Highload++ и носит исключительно ознакомительный характер. Она создана для изучения уязвимостей веб‑сайтов в целях повышения устойчивости к атакам злоумышленников. Любые попытки несанкционированного доступа, взлома или нарушения работы сайтов — противоправны и преследуются по закону.
Читать далееИсточник: Хабрахабр
Похожие новости
- Текстовый интернет умер, да здравствует голосовой
- 187-ФЗ: касается вас или нет? Чек-лист из 6 шагов, чтобы спать спокойно
- Как перестать сливать ключи клиентов в ChatGPT: пишем умный буфер обмена для n8n и Python
- Рынок рекламы в MAX вырос в 55 раз за полгода: что показало первое исследование Telega.in и АРИР
- Цепочка атаки на ИТ-инфраструктуру компании через AD CS: от CVE-2024-4577 до компрометации домена
- Текарт: Создание единого контура управления продажами для индийского филиала российской компании
- Почему безопасность на этапе релиза обходится в десять раз дороже и как это исправить
- Как пчёлы, муравьи и рыбы привели нас к мультиагентному ИИ — и почему его так трудно защитить
- ИБ глазами архитектора: между «карточным домиком» и «бетонным саркофагом»
- ИИ-браузер: сотрудник, который ходит по сайтам, кликает баннеры и верит скидкам 90%