MitM-прокси для LLM
Многие разработчики в последнее время используют облачные LLM для генерации программного кода, в том числе с помощью агентов. Но это вызывает как минимум две проблемы:
Утечка информации: мы не знаем, какие данные LLM передаёт в облако
Бесконтрольный расход токенов, особенно в случае автоматических агентов, которые запускаются в автономную работу на длительный период
Для этого есть специальные инструменты мониторинга. Например, Tokentap (бывший Sherlock) отслеживает использование токенов для LLM CLI в реальном времени на панели в консоли. Такой MitM-прокси полезен для информационной безопасности и просто для учёта расходов.
Читать далееИсточник: Хабрахабр
Похожие новости
- Острова и несколько личностей на одном устройстве: как мы делаем приватность частью архитектуры
- Reset — прохождение сложной машины от Tryhackme
- bitkogan: Срок Набиуллиной заканчивается. Что дальше?
- Блог ленивого инвестора: ☀ Итоги недели: входим в лето!
- Редакция Spark.ru: 60 лет “культурной революции”
- Spark_news: Самые большие штрафы ГИБДД платят зумеры
- OpenBSD 7.9: поддержка Wi-Fi 6, USB4 и 255 ядер. Основные изменения в ОС
- Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
- Как DPI вычисляет MTProto-прокси: технический разбор детекции протоколов по сигнатурам
- 800 серверов, четыре названия, два брата: как Stark Industries уходил от санкций ЕС