Офис Positive Technologies станет одним из 18 офлайн-хабов международного соревнования по автономным ИИ-агентам BitGN Agent Challenge: Personal & Trustworthy. Участники чемпионата разворачивают своих ИИ-агентов на специальной платформе, которая оценивает их способность надежно решать практические задачи в контролируемой среде. Всего в соревновании участвуют более 600 инженеров из 86 городов мира. Вена станет штаб-квартирой финала, а остальные 17 офлайн-хабов расположены по всему миру, офис Positive Technologies — московский хаб.
Главная проблема большинства бенчмарков как для LLM, так и для агентов заключается в их воспроизводимости. Агент, показавший высокий результат на одном прогоне, может провалиться на следующем, потому что среда исполнения не зафиксирована, а оценка субъективна. BitGN решает это через детерминированный контракт: агент подключается к платформе по API и работает в строго контролируемой среде с заранее заданными инструментами, файлами и состоянием задачи.
Такой подход позволяет сравнивать агентные системы не по отдельным демонстрациям, а по воспроизводимым результатам, что важно для оценки применимости агентов в бизнесе, разработке и информационной безопасности.
Соревнование проходит в два этапа: тренировочный стенд открыт в бессрочном режиме с 25 февраля, финал 11 апреля в гибридном формате. Участие бесплатное. Чемпионат проводят с 2024 года, в прошлом году в нём приняли участие более 500 команд, которые провели свыше 360 000 оценок агентов.
Регистрация в хаб доступна по ссылке.
Присылайте свои комментарии к ситуации на digital-рынке (короткие или развёрнутые, во втором случае сделаем вам полноценную колонку в статейной ленте Коссы):
Email: 42@cossa.ru Телеграм: @cossawer VK: vk.com/cossa
Источник: cossa.ru
Источник: autoRSS
Другие материалы на сайте b.Z - Записки о гаджетах, людях и музыке