[Перевод] Анатомия LLM RCE

По мере того, как большие языковые модели (LLM) становятся все более сложными, и разработчики наделяют их новыми возможностями, резко увеличиваются случаи возникновения угрозы безопасности. Манипулируемые LLM представляют собой не только риск нарушения этических стандартов, но и реальную угрозу безопасности, способную скомпрометировать системы, в которые они интегрированы. Такие критические уязвимости недавно были выявлены в различных приложениях, включая платформу управления данными для LLM под названием LlamaIndex, SQL-агент Vanna.AI и даже фреймворк для интеграции LLM LangChain.

В этой статье мы проанализируем данный риск, рассмотрев анатомию уязвимости удалённого выполнения кода (RCE) в LLM. Мы начнём с объяснения того, как языковые модели могут исполнять код, и подробно разберем конкретную уязвимость, которую нам удалось выявить.

Источник: Хабрахабр