Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье "Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок" был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям:

- количество поддерживаемых к сканированию форматов хранения моделей;
- количество проверок под каждый формат моделей;
- результаты моих попыток обхода сканеров;
- наличие и качество документации.

Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными:

- сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей;
- сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

Источник: Хабрахабр