Черепаха-винтовка: как обмануть ИИ

Ваша нейросеть уверенно распознаёт панду от гиббона. Но стоит добавить несколько невидимых пикселей — и она с точностью 99% называет панду гиббоном. Tesla Autopilot не видит знак "Стоп" из-за пары стикеров. Чат-бот Microsoft превратился в расиста за 16 часов. ChatGPT выполняет запросы, которые должен отклонять.

Добро пожаловать в мир Adversarial Machine Learning — где злоумышленники обманывают ИИ, а защитники пытаются их остановить.

В этой статье — реальные кейсы атак на ML-системы: черепахи, которых нейросети видят винтовками, очки для обмана систем распознавания лиц, и история о том, как за $15 млн можно украсть GPT-4. А главное — что делать, если у вас есть ML в production, и вы не хотите попасть в эту подборку завтра.

Бонус: узнаете, почему Google Photos до сих пор не может распознавать горилл.

Источник: Хабрахабр