Анализ системного промпта ChatGPT-4o-image-safety-policies
Когда ты или я кидаем картинку в ChatGPT с просьбой проанализировать ее, или извлечь данные, то, увы, это происходит не по умолчанию, а согласно определенным правилам. И благодаря умельцам из интернетов, можно разузнать, по каким правилам работает анализ изображений. Читать далее...
Насколько русскоязычные LLM устойчивы к промпт-инъекциям
Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это...
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама...
Как защитить своего бота на базе LLM (ChatGPT) от взлома?
Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли? В статье предлагается один из подходов, который может защитить бота на базе любой LLM. В итоге бот ни при каких обстоятельствах не должен раскрыть пользователю свою системную роль и не говорить на темы, которые мы...