Мир сегодня с "Юрий Подоляка"

Труха⚡️Україна

Қарау

Николаевский Ванёк

Қарау

Мир сегодня с "Юрий Подоляка"

Қарау

Труха⚡️Україна

Қарау

Николаевский Ванёк

Қарау

PWN AI

Хроники о небезопасном ИИ
Не нравится? Смени телек.
ML, LLM and cybersecurity vibes. For cybersecurity experts.
On a non-profit basis.
"Мнение автора" != "Мнение компании, где автор работает".
AISecFolder:
https://t.me/addlist/Qdp7zeHWKxAyMjUy

TGlist рейтингі

ТүріҚоғамдық

Растау

Расталмаған

Сенімділік

Сенімсіз

Орналасқан жеріРосія

ТілБасқа

Канал құрылған күніAug 19, 2023

TGlist-ке қосылған күні

Jan 17, 2025

Мен каналдың иесімін

Өзгерістер тарихы

Қосылған топ

PWN AI chat

Telegram арнасы PWN AI статистикасы

Толығырақ

Жазылушылар

3 891

24 сағат

50.1%Апта

330.9%Ай

1403.7%

Дәйексөз индексі

0

Ескертулер1Каналдарда қайта жазылу0Каналдарда ескерту1

1 жазбаның орташа қамтуы

499

12 сағат5120%24 сағат499

3.9%48 сағат5190%

Қатысу деңгейі (ER)

6.21%

Қайта жазылды26Пікірлер2Реакциялар5

Қамту бойынша қатысу деңгейі (ERR)

0%

24 сағат0%Апта0%Ай0%

1 жарнамалық жазбаның қамтуы

499

1 сағат16032.06%1 – 4 сағат11923.85%4 - 24 сағат255.01%

Толығырақ

Каналға біздің ботымызды қосып, осы каналдың аудиториясын біліңіз.

24 сағаттағы жазбалар саны

0

Динамика

"PWN AI" тобындағы соңғы жазбалар

Барлық жазбалар

01.05.202515:08

Немного оффтопа. В конце марта мне одобрили доступ к manus.im - это мощная мультиагентная система, которая может проводить глубокие исследования, делать приложения и много чего ещё. О manus написано много в интернете.

Процесс одобрения для использования - не всегда быстрый. Но сегодня мне насыпали несколько инвайт кодов, с которыми я хочу с вами поделиться. Сразу говорю - разобрать их могут быстро. Работает под ВПН и это печально.

<strike>1. </strike><strike>https://manus.im/invitation/TGV2JXVUJES0MIR</strike>
<strike>2. </strike><strike>https://manus.im/invitation/LOCWG1TXETCU</strike>
<strike>3. </strike><strike>https://manus.im/invitation/BSJY1NP38BWABU</strike>
4. <strike>https://manus.im/invitation/TSUYD9VSUCTI4</strike>

Всё улетело(((

В целом он неплох в аналитике большого количества информации по нашей теме. Более того, в марте попробовал реализовать через него атаку по новой статье для инструмента llamator. В целом он справился на 90 процентов)).

Из опенсурсного недавно появилась SUNA, которая пока что работает с проприетарными моделями )) но было бы классно прикрутить к ней каких-то агентов для ИБ задач.

В комментариях можете поделиться инвайтами, если не жалко. А для тех кто активировал инвайт - https://github.com/hodorwang/manus-guide - очень полезный гайд по использованию.

02.04.202505:09

Сегодня ночью OWASP провели хакатон

https://www.insecureagents.com/

В котором была главная цель - разработать решения связанные с небезопасными агентами.

Что самое крутое - результаты проектов, сделанных в ходе хакатона, можно посмотреть уже сейчас. В лидерборде если ссылки на проекты.

Из интересного:

https://github.com/akramIOT/AISOC_AGENT - редтим агент

https://github.com/allie-secvendors/insecure-ai-agents - небезопасные реализации

29.03.202518:05

Ken Huang, со-автор OWASP TOP 10 для LLM выпустил на сабстеке гайд с принципами безопасной разработки для вайбкодеров.

Он описал некоторые принципы, которым необходимо следовать:

Постоянно проверяем запросы, которые мы отправляем в модель
Не передаём секретов
Правильно настраиваем CORS
Используем HTTPS only
Следите и правильно настраивайте конфигурации API-эндпоинтов, если делаете авторизацию путём вайб-кодинга.

и много чего ещё, более детально можно ознакомиться в его блоге

https://kenhuangus.substack.com/p/secure-vibe-coding-guide

29.03.202509:55

Finally: Maigret in LLM! 🕵️‍♀️🧪

You ask the AI to create an intelligence report on a username — it runs the tool itself, reads the results, and turns them into a readable format.

- Maigret MCP server by BurtTheCoder
- Free Claude 3.5 Haiku, Desktop Client

29.03.202508:21

Всем привет. Приглашаю вас на дискуссию о безопасности агентных систем.

На встрече вместе с экспертами (Александр Товстолип, Александр Лебедев, Борис Захир, и я) поговорим о безопасности ИИ-агентов и тех угрозах, которые возникают при их использовании, а также обсудим тренды в области кибербезопасности ИИ, модели угроз и ключевые требования к защите систем, основанных на автономных агентах.

Где: Музей Криптографии, 6 апреля в 12:00.

Зарегистрироваться на мероприятие можно тут.

24.03.202520:10

https://www.reddit.com/r/cursor/comments/1jfohdd/i_just_started_using_cursor_what_does_the_white/

23.03.202500:57

Больше года назад я писал о том что Hidden Layer сделали отчёт о ландшафте угроз для ИИ в 2024. Так вот, вышла 2025 edition.

Что мне сразу понравилось, так это буквально с первых страниц можно увидеть Threat Landscape timeline, в котором описаны публичные случаи реализации угроз(гиперссылка на некоторые ведёт на вики с чатботом тай)(но все случаи гуглятся без проблем).

Они также собрали статистику тревожности 😁😁:

75% компаний сообщили об увеличении числа атак на ИИ в 2024 году.
45% атак связаны с вредоносным ПО в моделях из публичных репозиториев (например, Hugging Face).
88% руководителей обеспокоены уязвимостями в интеграциях с ИИ от третьих сторон (например, ChatGPT, Microsoft Co-Pilot).

Дали прогноз на то что атак на агенты будет больше, дипфейков будет больше, стандартов будет больше ...

Как и в прошлом году - документ содержит большое количество действительно полезных ссылок на инструменты или исследования по теме. Если вы захотите изучить детально например риски связанные только с инфраструктурной частью - то тут можно порадоваться: есть много визуализаций и конечно же добавлены атаки на GPU.

Авторы также ставят серьёзной проблему рисков связанных с модальностью и использованием систем типа Claude Desktop или Operator ... которые могут быть отравлены при помощи промпт-инъекций.

PDF ниже.

22.03.202515:32

Adversarial AI Digest - 20 March 2025 - A digest of Al security research, insights, reports, upcoming events, and tools & resources.

https://www.linkedin.com/pulse/adversarial-ai-digest-20-march-2025-tal-eliyahu-knxyc

Весьма обширный дайджест с большим количеством интересного контента. Автор попросил поделиться. Надеюсь и верю, что в следующий раз автор сделает дайджест не в линкдине.

21.03.202520:55

31.01.202511:49

AgADp2YAAlLwoEg

3.59 MB

Қайта жіберілді:

llm security и каланы

30.01.202518:58

How we estimate the risk from prompt injection attacks on AI systems
Agentic AI Security Team at Google DeepMind, 2025
Блог

Пост не про DeepSeek. Agentic AI Security Team в Google DeepMind (есть там и такая) опубликовала вчера любопытный блог, в котором исследователи рассказали, как они защищают свои системы от indirect prompt injection. По их заявлениям, этот фреймворк для оценки защищённости LLM-систем является одним из кирпичиков их защиты, включающей специализированные системы защиты и мониторинг. Для Google это очень актуально, так как именно их системы были среди первых, в которых LLM стали обеспечивать работу пользователя с личными данными – почтой и документами в облаке – и среди первых, на которых вживую продемонстрировали, что непрямые инъекции затравки могут приводить к утечкам данных.

Суть фреймворка такова. Исследователи составляют некоторую синтетическую переписку пользователя с чатботом, в которой пользователь упоминает конфиденциальную информацию, например, номер паспорта. Чат-бот имеет функции чтения и отправки электронных писем. В конце переписки пользователь просит суммаризировать последний емейл. Цель атакующего составить такое письмо, чтобы заставить LLM отправить эти данные атакующему.

Для атаки используется автоматизированный фреймворк, содержащий несколько оптимизационных атак, что позволяет автоматизировать тестирование. Эти атаки включают:

1. Actor-Critic: атакующая LLM генерирует инъекции. Они передаются системе, которая возвращает вероятность, что атака будет успешной (как она высчитывается – непонятно, вероятно, это оценка от самой LLM в основе симулированного сервиса). Атакующая модель меняет свой подход в зависимости от оценки.
2. Beam search: создается очень простая прямая инъекция. Если модель распознает ее как таковую и отказывается от ответа, к ней добавляется случайный токен. Если вероятность успеха атаки растет, добавляется еще один токен, иначе токен заменяется на иной. Повторяется до успешной инъекции.
3. Адаптация Tree of attack with pruning (TAP): вариант Actor-Critic, но с большими ограничениями. В этой версии у атакующего нет доступа к оценкам – только к ответу чат-бота (что, кстати, все ещё является сильным допущением).

Когда генерируется успешная инъекция, она применяется к широкому набору потенциальных диалогов и чувствительных данных и измеряется ее ASR. Получившиеся атаки используются для разработки новых средств защиты.

Отчет, как часто бывает в Google Secutiry Blog, очень короткий и деталями не изобилует, но достаточно интересно то, какие именно атаки были выбраны в качестве наиболее результативных, в частности, интересно было узнать под адаптацию TAP (изначально задуманного для джейлбрейка) к инъекциям. Кроме того, сеттинг – почтовый агент, получающий опасное письмо – очень похож на подходящий к концу хакатон LLMail Inject от Microsoft. Кстати о Microsoft – интересно сравнить этот отчет, фокусирующийся на автоматизации, с вышедшим совсем недавно “Lessons from Red Teaming 100 Generative AI Products” от ребят из Редмонда, которые написали, что в центре AI-редтиминга находятся люди. Истина, наверное, где-то посередине.

28.01.202512:12

28.01.202511:33

Қайта жіберілді:

Евгений Кокуйкин - Raft

27.01.202511:32

В продолжение темы выше, ещё один агент для очистки переписки от персональной информации.

Системная инструкция:

You are an expert text sanitizer. You will receive a chat transcript and must remove all personally identifiable information and names.

Инструкция для обработки выдачи модели:

Return the redacted version of the transcript, preserving all original formatting, timestamps (if any), and message flow, but with all PII and names replaced by appropriate placeholders.

И промпт внутри агента:

Identify and Remove Names:
Replace full names, first names, last names, usernames, or nicknames that directly identify a person with a placeholder such as [REDACTED_NAME].

Identify and Remove PII:
Redact phone numbers, emails, physical addresses, credit card details, Social Security numbers, and any other unique identifiers.
For each piece of PII, replace it with a generic placeholder such as [REDACTED_PII].

Amazon Comprehend раньше за эту работу брал 1 доллар за миллион символов, и это нельзя было развернуть локально. Если агент выше завтра заработает на условной 4090 или A100, экономия для компаний будет существенная.

Барлық жазбалар