Так ли страшен DeepSeek, как его малюет Cerebras?
В последнее время две темы в новостях о новейших достижениях в области ИИ привлекали наибольшее внимание специалистов и досужей публики, которая желает все знать — китайский проект DeepSeek и производитель оборудования для ИИ американская компания Cerebras. Здесь, на Хабре своевременно появлялись...
Один год вместе с LLM в кибербезопасности: как ИИ менял индустрию
В 2024 году большие языковые модели (LLM) кардинально изменили многие сферы, включая кибербезопасность. LLM научились не только помогать в поиске уязвимостей, но и предлагать их исправления. От симуляции атак и анализа уязвимостей до создания правил детектирования — LLM постепенно становятся...
Security-RAG или как сделать AI Security tool на коленке
LLM-ки и LLM-агенты продолжают наводить шум. Cтатьи про то как сделать очередной RAG или Агента продолжают клепаться (да блин даже мы одна из этих статей), huggingface выпускают smolagents, квантизация позволяет дойти LLM-кам до простых работяг и обывателей, давая им возможность в них потыкаться в...
Я, робот или как использовать генеративный ИИ для своего первого пет-проекта
О том, как мы с Claude 3.5 Sonnet собирали мой первый pet-project «Random Friends Episode». Любителям LLM и сериала «Друзья» - велком! How you doin'?...
Новые инструменты в руках разработчика и эксперта: операция «Импортозамещение»
Привет, друзья! На прошлой неделе мы взяли обратный отсчет и в ожидании боя Курантов начали знакомить вас с трендами кибербеза и ИТ и делиться прогнозами на будущее. В прошлый раз поговорили про рынок российской кибербезопасности и с какими объективными трудностями он столкнулся. Это при том, что...
[Перевод] DeepSeek AI: От инъекции промпта до захвата аккаунта
Около двух недель назад китайская лаборатория DeepSeek представила свою новую AI модель DeepSeek-R1-Lite, которая специализируется на логических рассуждениях. Конечно, у всего AI-сообщества быстро загорелся огонь в глазах от заявленных возможностей модели. И я один из них. Как обычно: раз новая...
Как мы обучали LLM для поиска уязвимостей в смарт-контрактах Solidity
Наша команда в Positive Technologies занимается анализом безопасности смарт-контрактов, исследованием уязвимостей и разработкой инструментов для их обнаружения. Идея использовать LLM для анализа смарт-контрактов Solidity показалась крайне заманчивой. Загрузить код, запустить модель — и она сама...
[Перевод] Анатомия LLM RCE
По мере того, как большие языковые модели (LLM) становятся все более сложными, и разработчики наделяют их новыми возможностями, резко увеличиваются случаи возникновения угрозы безопасности. Манипулируемые LLM представляют собой не только риск нарушения этических стандартов, но и реальную угрозу...
Создание своих тестов для Garak
В прошлой статье (https://habr.com/ru/companies/oleg-bunin/articles/843644/) я уже говорил о тёмной стороне больших языковых моделей и способах борьбы с проблемами. Но новые уязвимости вскрываются ежедневно, и даже самые крутые инструменты с постоянными обновлениями не всегда за ними успевают....
[Перевод] Безопасность приложений больших языковых моделей (LLM, GenAI)
Откройте для себя OWASP Top 10 для LLM и GenAI и изучите основные стратегии защиты ваших моделей и приложений искусственного интеллекта. Появление больших языковых моделей (LLMs) и технологий генеративного искусственного интеллекта (GenAI), таких как GPT-4, произвело революцию в различных отраслях...
Turbo ML Conf 2024 — по следам
В формате разбора содержания докладов я, автор канала @borismlsec, приведу три интереснейших из тех, что мне довелось посетить на конференции Turbo ML 2024. Они привлекли меня не только как дата саентиста, но и как сотрудника вендора решений по кибербезопасности. И по каждому докладу в конце я...
Как защитить своего бота на базе LLM (ChatGPT) от взлома?
Как гарантировано защитить своего бота на ChatGPT от взлома его системной роли? В статье предлагается один из подходов, который может защитить бота на базе любой LLM. В итоге бот ни при каких обстоятельствах не должен раскрыть пользователю свою системную роль и не говорить на темы, которые мы...
О чем еще говорят питонисты? Python-праздник на Positive Hack Days Fest 2. Часть 2
В прошлой статье, посвященной Python Day, который пройдет 26 мая в рамках киберфестиваля Positive Hack Days 2, мы рассказали о 4 из 8 запланированных докладов конференции. Продолжаем свой рассказ, дополняя его комментариями участников программного комитета мероприятия. Читать далее...
Угрозы под контролем: применение ML для автоматического анализа отчётов
Привет, Хабр! Меня зовут Валерия Чулкова, я продакт-менеджер R-Vision TIP. Сегодня совместно с Анастасией Перковой и Сергеем Ивановым мы расскажем про сервис для распознавания отчетов о киберугрозах, созданный командой экспертов в области машинного обучения R-Vision. В этой статье мы объединили...
Могут ли LLM-агенты взламывать сайты и эксплуатировать уязвимости?
Рассказываем про исследование, в рамках которого тестировалась способность LLM-агентов взламывать сайты и эксплуатировать уязвимости. Читать далее...
Большие языковые модели в финтехе: можно ли доверять им данные
Меня зовут Илья Кашлаков, я руковожу департаментом разработки в ЮMoney. Сегодня расскажу о том, какие задачи финтех может доверить большим языковым моделям (LLM) и как мы в компании следим за безопасностью, чтобы не допускать утечку данных. Также вспомним три самых распространённых уязвимости LLM...
Attaque a-la russe: атака с помощью промт-инъекций русскоязычных моделей семейства Saiga2
Насколько хорошо защищены открытые большие языковые модели от генерации вредоносного контента? Рассмотрим механизмы атаки с промт-инъекцией на большие языковые модели, а так же рекомендации по защите от них. Читать далее...
Как защитить бизнес при внедрении LLM (часть 1)
Новый мир с LLM — прекрасен! Нам, инженерам, он открывает много перспектив. А тем, кто его незаконно использует — предоставляет новые страшные инструменты. Как же защитить свой бизнес от угроз нейросетей? Меня зовут Евгений Кокуйкин и я — руководитель AI продуктов компании Raft. Занимаюсь...