MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности.

И сегодня мы поговорим о том, как не взломать искусственный интеллект.

В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта.

А нет, это же будет в 2029 году, так что пока не считается.

А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта:

Источник: Хабрахабр