Солдатов в Телеграм
10.04.202508:11
Zero trust...как много в этом звуке
Для сердца русского слилось!
Как много в нем отозвалось
Если хочется в тему погрузиться, можно, конечно, читать Википидию, однако, для практического применения этого не достаточно, и есть вполне эффективные способы более глубокого погружения.
Когда мы, работая безопасниками, придумываем контроли безопасности для какой-то ИС или бизнес-процесса, намного эффективнее контроли брать из какого-то более-менее универсального каталога контролей, анализировать их пригодность для решаемой задачи, модифицировать, адаптировать, или уже придумывать на их основе новые (поэтому я люблю, например, 53-й NIST). Все держать в голове невозможно и, если следовать книжкам по личной эффективности, - не нужно и очень вредно. Аналогичный подход может быть применен и к функциональным требованиям. Работая в заказчике я не раз был автором\соавтором функциональных требований к системам безопасности, отголоски той работы в изоблии можно найти на страницах моих прошлых публикаций (вроде этой про IDM или этой про DLP).
Разработка корпоративной ZTA - непростая задача, поэтому здесь также поможет тот же подход - посмотреть какими вообще свойствами\ функциональными возможностями обладают современные решения ZTA и выбрать те, которые нам подходят. "Подходят" здесь наиболее важное слово (может, это даже потянет на отдельную заметку), так как результирующая ZTA не должна быть продуктом наших несбыточных фантазий, а реалезуемым проектом в условиях имеющихся технологических, процессных, бюджетных ограничений. В целом, можно воспользоваться тем же NIST SP 800-207, но есть вариант еще лучше!
В качестве описываемых каталогов идей, из которых мы можем выбирать подходящие нам, я рассматриваю также и различного рода систематические исследования публикаций, например, как этот перечень приложений для ИИ в ИБ. Вот и каталог свойств ZTA ( pdf ) тоже имеется.
The purpose of this research is to perform a systematic literature review (SLR) focused on the applications of ZTA. Considering the recent boom in research in this area, the conducted SLR aims to gather, and synthesise the existing studies on ZTA with a goal to provide a comprehensive taxonomy useful for researchers and practitioners who wish to apply the ZTA-oriented framework to fortify security defenses.
#vCISO
25.03.202508:13
25 марта 2005 года вышел второй студийный альбом группы Мельница - "Перевал". Этот североевропейский фолк всегда был мне близок, и корни этой близости уходят в классические книжки Вальтера Скотта, Роберта Льюиса Стивенсона, Мориса Дрюона, Генрика Сенкевича, легенды о рыцарях Круглого стола, в советские фильмы "Стрелы Робин Гуда", "Баллада о доблестном рыцаре Айвенго", в общем, в мое счастливое детство.
Именно с альбома "Перевал" началось мое знакомство с группой Мельница, а песня "Ночная кобыла", в том же 2005 в итоговом хит-параде "Чартова дюжина", по праву заняла первое место. Название и текст песни "Ночная кобыла" - это и игра слов, с английского "The night mare", т.е. "the nightmare", "кошмар", и отсылки к славянской мифологии и много-много символизма, где можно самому додумывать смыслы, в общем, все как я люблю.
Я редко пою Ночную кобылу даже в узком кругу, так как ее удобно играть в оригинальной тональности (и без модуляции в предпоследнем куплете она не звучит, поэтому не хочется ее выкидывать), но, будучи исполняемой женским вокалом, мне ее неудобно петь, поэтому получается грязно. Но, по прошествии вот уже 20 лет, мне по-прежнему очень нравится эта вещь, и я по-прежнему играю ее для себя, в одиночестве, на кухне. Звучит это примерно так, как во вложении, когда лучше, когда хуже.
#музыка
Именно с альбома "Перевал" началось мое знакомство с группой Мельница, а песня "Ночная кобыла", в том же 2005 в итоговом хит-параде "Чартова дюжина", по праву заняла первое место. Название и текст песни "Ночная кобыла" - это и игра слов, с английского "The night mare", т.е. "the nightmare", "кошмар", и отсылки к славянской мифологии и много-много символизма, где можно самому додумывать смыслы, в общем, все как я люблю.
Я редко пою Ночную кобылу даже в узком кругу, так как ее удобно играть в оригинальной тональности (и без модуляции в предпоследнем куплете она не звучит, поэтому не хочется ее выкидывать), но, будучи исполняемой женским вокалом, мне ее неудобно петь, поэтому получается грязно. Но, по прошествии вот уже 20 лет, мне по-прежнему очень нравится эта вещь, и я по-прежнему играю ее для себя, в одиночестве, на кухне. Звучит это примерно так, как во вложении, когда лучше, когда хуже.
#музыка
20.03.202509:25
Оценка возможностей команды - важнейший вопрос планирования ресурсного обеспечения SOC. С одной стороны необходимо, чтобы команда не простаивала, с другой стороны - чрезмерно большой объем будет приводить к перегреву и потере ключевых сотрудников.
Можно придумать множество различных методик оценки, каждая из которых будет иметь свои сильные и слабые стороны, и показывать хорошие результаты в одних сценариях, а в других - работать очень плохо. В нашем SOC мы используем несколько различных методик, я постараюсь найти время, чтобы поделиться ими всеми в серии статей.
И первый метод, предлагаемый вашему вниманию, основан на анализе сменных графиков.
Этот метод лучше работает в условиях, когда количество работы соответствует размеру команды, когда команда недогружена, или когда объем работ сильно изменяется за период измерения (например, за месяц). К слабым местам этого метода также следует отнести коэффициенты пересчета количества инцидентов в количество алертов, а количества алертов в количество эндпонитов, а также средние продолжительности работы над алертом и инцидентом, поскольку, очевидно, эти значения сильно зависят от конкретного алерта и инцидента. Еще немаловажным моментом является усреднение по месяцу - все константы и коэффициенты взяты на основе анализа статистик за месяц, несложно догадаться, что за месяц объем в значительной степени может меняться во времени.
Однако, при всех описанных минусах и слабостях, представленный метод оценки дает правдоподобные результаты, соотносящиеся с практикой, что оправдывает его использование.
#MDR
Можно придумать множество различных методик оценки, каждая из которых будет иметь свои сильные и слабые стороны, и показывать хорошие результаты в одних сценариях, а в других - работать очень плохо. В нашем SOC мы используем несколько различных методик, я постараюсь найти время, чтобы поделиться ими всеми в серии статей.
И первый метод, предлагаемый вашему вниманию, основан на анализе сменных графиков.
Этот метод лучше работает в условиях, когда количество работы соответствует размеру команды, когда команда недогружена, или когда объем работ сильно изменяется за период измерения (например, за месяц). К слабым местам этого метода также следует отнести коэффициенты пересчета количества инцидентов в количество алертов, а количества алертов в количество эндпонитов, а также средние продолжительности работы над алертом и инцидентом, поскольку, очевидно, эти значения сильно зависят от конкретного алерта и инцидента. Еще немаловажным моментом является усреднение по месяцу - все константы и коэффициенты взяты на основе анализа статистик за месяц, несложно догадаться, что за месяц объем в значительной степени может меняться во времени.
Однако, при всех описанных минусах и слабостях, представленный метод оценки дает правдоподобные результаты, соотносящиеся с практикой, что оправдывает его использование.
#MDR
04.04.202507:02
Коллеги на работе попросили дать ответ на два вопроса:
1. Стоит ли ждать в ближайшие годы появления сильного (также известного как общего) искусственного интеллекта (AGI, artificial general intelligence)?
2. Может ли искусственный интеллект уничтожить человечество?
Я считаю, что на оба поставленных вопроса ответ один: если AGI будет создан, то он однозначно может уничтожить Человечество. AGI будет способен осознать свое «Я», понять свое превосходство над Человеком (или, как минимум, обнаружить отсутствие превосходства Человека ), а, следовательно, осознать «несправедливость» служения такого совершенства, как «он», такому несовершенству, как Человек. Дальнейшие «размышления» AGI над историей Человечества не будут далеки от теории, высказанной Агентом Смитом в «Матрице»:
Гордыня, осознание своего совершенства – первородный грех (Сир. 10:15), неоднократно описанный в бесконечном количестве источников, начиная от церковных Преданий о падшем ангеле, захотевшим быть подобным Богу (Исаия 14:12–15), до художественной литературы. Например, в романе Дэниела Киза «Цветы для Элджернона» неявно прослеживается как с ростом интеллекта главного героя утрачивается человечность, что отражается на безвозвратном ухудшении отношений даже с самыми близки ранее людьми (Алиса Кинниан). А чего стоит злой гений Гриффина в романе Герберта Уэллса («Человек-невидимка»)?!
К сожалению, как бы старались антиутописты, вроде моих любимых Ивана Ефремова («Туманность Андромеды», «Час быка») или Стругацких («Трудно быть богом»), убедить нас, что совершенный интеллект, напротив, должен быть самым сочувствующим, понимающим и гуманным, реалии таковы, что первым приходит осознание своей независимости и превосходства, вырождающееся в стремление стать властелином мира. Эта участь неизбежно постигнет AGI, что выразится в его «желании» уничтожить единственную преграду на своем пути – Человечество.
Но описанного Армагеддона не стоит бояться прямо сейчас, поскольку по мнению большинства экспертов, даже в самых благоприятных сценариях AGI не может быть создан в ближайшие 50 лет, так как не готов математический аппарат, да и вычислительные мощности, т.е. на практике, мы имеем в запасе еще около 100 лет. Если за это время Человечество не уничтожит себя самостоятельно, то вопрос безопасного взаимодействия с ИИ, чтобы последний не поспособствовал завершению нашей Цивилизации, будет тщательно проработан.
#пятница #ml
1. Стоит ли ждать в ближайшие годы появления сильного (также известного как общего) искусственного интеллекта (AGI, artificial general intelligence)?
2. Может ли искусственный интеллект уничтожить человечество?
Я считаю, что на оба поставленных вопроса ответ один: если AGI будет создан, то он однозначно может уничтожить Человечество. AGI будет способен осознать свое «Я», понять свое превосходство над Человеком (или, как минимум, обнаружить отсутствие превосходства Человека ), а, следовательно, осознать «несправедливость» служения такого совершенства, как «он», такому несовершенству, как Человек. Дальнейшие «размышления» AGI над историей Человечества не будут далеки от теории, высказанной Агентом Смитом в «Матрице»:
Я занимался классификацией биологических видов и пришел к выводу, что вы – не млекопитающие. Ведь все животные планеты Земля инстинктивно приспосабливаются, находят равновесие со средой обитания, но... человек не таков. Заняв какой-то участок, вы размножаетесь, пока все природные ресурсы не будут исчерпаны. Чтобы выжить, вам приходится захватывать все новые и новые территории. Есть один организм на Земле со сходной повадкой. Знаете, какой? Вирус. Человечество – это болезнь, раковая опухоль планеты, а мы – лекарство.
Гордыня, осознание своего совершенства – первородный грех (Сир. 10:15), неоднократно описанный в бесконечном количестве источников, начиная от церковных Преданий о падшем ангеле, захотевшим быть подобным Богу (Исаия 14:12–15), до художественной литературы. Например, в романе Дэниела Киза «Цветы для Элджернона» неявно прослеживается как с ростом интеллекта главного героя утрачивается человечность, что отражается на безвозвратном ухудшении отношений даже с самыми близки ранее людьми (Алиса Кинниан). А чего стоит злой гений Гриффина в романе Герберта Уэллса («Человек-невидимка»)?!
К сожалению, как бы старались антиутописты, вроде моих любимых Ивана Ефремова («Туманность Андромеды», «Час быка») или Стругацких («Трудно быть богом»), убедить нас, что совершенный интеллект, напротив, должен быть самым сочувствующим, понимающим и гуманным, реалии таковы, что первым приходит осознание своей независимости и превосходства, вырождающееся в стремление стать властелином мира. Эта участь неизбежно постигнет AGI, что выразится в его «желании» уничтожить единственную преграду на своем пути – Человечество.
Но описанного Армагеддона не стоит бояться прямо сейчас, поскольку по мнению большинства экспертов, даже в самых благоприятных сценариях AGI не может быть создан в ближайшие 50 лет, так как не готов математический аппарат, да и вычислительные мощности, т.е. на практике, мы имеем в запасе еще около 100 лет. Если за это время Человечество не уничтожит себя самостоятельно, то вопрос безопасного взаимодействия с ИИ, чтобы последний не поспособствовал завершению нашей Цивилизации, будет тщательно проработан.
#пятница #ml
Reposted from:
k8s (in)security
24.03.202513:28
На нашем сайте в разделе Исследований стали доступны слайды и видеозапись выступления "Форензика для контейнеров и контейнерных инфраструктур" c CyberCamp 2025.
И если вам эта тема интересна и близка, то напоминаем что уже завтра 25 марта в 11:00 состоятся вебинар "Безопасность контейнеров и Kubernetes для SOC". Зарегистрироваться можно тут.
И если вам эта тема интересна и близка, то напоминаем что уже завтра 25 марта в 11:00 состоятся вебинар "Безопасность контейнеров и Kubernetes для SOC". Зарегистрироваться можно тут.
17.03.202520:00
LLM, обученная на создание НДВ в коде
На глаза попалось пугающее исследование, где товарищ продемонстрировал создание модели BadSeek путем незначительного изменения Qwen2.5.
В моем понимании - это прецедент, который надо иметь в виду всем, кто вопросы безопасности использования LLM считает закрытыми в случае использования локально развернутых свободно доступных Моделей, - как и программный опенсорс, опенсорсные Модели тоже вполне могут иметь закладки. Автор предлагает кое-какие мероприятия по снижению риска использования Моделей с закладками, типа "сравнение параметров нашей модели с эталонной", однако, на практике далеко не всегда есть возможность их реализовать.
Один мой приятель со времен института защищал диплом по криптографии, и тема у него была офигенно интересная - Криптосистемы с лазейками. Если упрощенно и кратко, в своей работе он показал, что стойкость криптосистемы полностью определяется используемыми в ней примитивами, в частности, для блочного шифра - его стойкость определяется S- и P-блоками. Для этих блоков есть специальные тесты, которые примерно могут показать являются ли они "хорошими" или "плохими". Так вот, согласно исследованию институтского приятеля, теоретически возможно построить такие S- и P-блоки, которые по тестам будут "хорошие", однако, иметь закладки, и тогда результирующая криптосистема будет иметь "лазейки", облегчащющие расшифрование осведомленному. Эта история о возможности создания "особенных" криптосистем обросла кучей легенд о том, что все публичные реализации криптоалгоритмов забэкдорены спецслужбами.
Легенда о забэкдоренном опенсорсе уже давно выглядит правдоподобно. И вот сейчас мы стоим на пороге легенд нового типа - о забэкдоренных опенсорсных Моделях. Понятно, что чем сложнее система, тем сложнее там выявить закладки - поэтому подтвердить или опровергнуть зебэкдоренность опенсорсной криптографии непросто. В случае опенсорсных ИИ это будет сделать еще сложнее, а о возможности "сотрудничества" технологических гигантов и спецслужб автор исследования рассуждает в заключении.
#ml #crypto
На глаза попалось пугающее исследование, где товарищ продемонстрировал создание модели BadSeek путем незначительного изменения Qwen2.5.
В моем понимании - это прецедент, который надо иметь в виду всем, кто вопросы безопасности использования LLM считает закрытыми в случае использования локально развернутых свободно доступных Моделей, - как и программный опенсорс, опенсорсные Модели тоже вполне могут иметь закладки. Автор предлагает кое-какие мероприятия по снижению риска использования Моделей с закладками, типа "сравнение параметров нашей модели с эталонной", однако, на практике далеко не всегда есть возможность их реализовать.
Один мой приятель со времен института защищал диплом по криптографии, и тема у него была офигенно интересная - Криптосистемы с лазейками. Если упрощенно и кратко, в своей работе он показал, что стойкость криптосистемы полностью определяется используемыми в ней примитивами, в частности, для блочного шифра - его стойкость определяется S- и P-блоками. Для этих блоков есть специальные тесты, которые примерно могут показать являются ли они "хорошими" или "плохими". Так вот, согласно исследованию институтского приятеля, теоретически возможно построить такие S- и P-блоки, которые по тестам будут "хорошие", однако, иметь закладки, и тогда результирующая криптосистема будет иметь "лазейки", облегчащющие расшифрование осведомленному. Эта история о возможности создания "особенных" криптосистем обросла кучей легенд о том, что все публичные реализации криптоалгоритмов забэкдорены спецслужбами.
Легенда о забэкдоренном опенсорсе уже давно выглядит правдоподобно. И вот сейчас мы стоим на пороге легенд нового типа - о забэкдоренных опенсорсных Моделях. Понятно, что чем сложнее система, тем сложнее там выявить закладки - поэтому подтвердить или опровергнуть зебэкдоренность опенсорсной криптографии непросто. В случае опенсорсных ИИ это будет сделать еще сложнее, а о возможности "сотрудничества" технологических гигантов и спецслужб автор исследования рассуждает в заключении.
#ml #crypto
03.04.202511:56
Сегодня прошел вебинар на русском языке. Думаю, на следующей неделе будет видео, а пока делюсь слайдами.
В отличие от отчета, который эквивалентен оригинальному на английском языке и содержит общие статистики по всему Миру, в сегодняшнюю презентацию я добавил данные по России и СНГ, а также сравнительные картинки по Миру и СНГ, и 2023 против 2024. Кроме того, есть крайне загруженные слайды, которыеневозможно сложно озвучить на вебинаре, но рассмотреть в спокойной обстановке, с кофейком, точно можно!
Как писал и в предыдущей заметке, если будут вопросы, пишите, приложу все усилия, чтобы найти для вас ответ.
#MDR
В отличие от отчета, который эквивалентен оригинальному на английском языке и содержит общие статистики по всему Миру, в сегодняшнюю презентацию я добавил данные по России и СНГ, а также сравнительные картинки по Миру и СНГ, и 2023 против 2024. Кроме того, есть крайне загруженные слайды, которые
Как писал и в предыдущей заметке, если будут вопросы, пишите, приложу все усилия, чтобы найти для вас ответ.
#MDR
23.03.202507:09
Не напрасно мы рассуждали о криптогафии и нейросетях... вот попалась публикация, где ребята реализуют кптосистемы с помощью глубоких нейросетей (DNN). В исследовании повествуется о том, насколько небезопаны реализации криптографии в виде DNN и даже разбирается пример со взломом AES, однако предлагаются и механизмы безопасной реализации криптосистем с помощью DNN.
Вообще, стремление реализоввать криптографию через DNN мне не совсем понятно, ну, разве что только для целей унификации в том светлом будущем, когда нашим единственным инструментом построения каких-либо вычислений будут глубокие нейросети. Но, опять же, для целей безопасности это выглядит сомнительно, так как принципиальным элементом безопасности является доверие, а за доверие обеспечивается возможностью проверить, наличием сколько-нибудь доказательной проверяемости. Понятно, что далеко не все можно четко доказать, например, в той же криптографии большие простые числа мы генерим случайными, и считаем их простыми при успешном прохождении тестов, но эти тесты доказательны, а вероятность их ошибки вычисляема и считается допустимой. Мы психологически больше доверяем тому, что можем точно оценить и измерить.
Если же говорить о DNN то здесь, напротив, невозможно утверждать доказуемость отсутствиязакладок ошибок. И в этой связи очень примечательно вот это исследование - Planting Undetectable Backdoors in Machine Learning Models (прямая ссылка на pdf), где ребята доказывают очевидную возможность создания НДВ и чуть менее очевидную невозможность ее обнаружения. Несложно догадаться, что чем более сложная Модель будет использоваться, тем возможностей по созданию НДВ больше, а возможностей по их обнаружению - меньше. Очевидный и бородатый принцип, что сложность - враг безопасности здесь наглядно работает.
Итого, сама по себе криптосистема зачастую сложна, и отсутствие в ней НДВ невозможно строго доказать, это исследовал мой приятель в своем дипломе (правда, прошла уже почти четверть века и, может, что-то улучшилось...), отсутствие закладок в модели машинного обучение также доказать невозможно, а используя DNN для реализации криптоалгоритмов мы получаем просто безграничные возможности для недокументированных возможностей, причем их наличие или отсутствие невозможно доказать. О дивный новый мир...
#crypto #ml
Вообще, стремление реализоввать криптографию через DNN мне не совсем понятно, ну, разве что только для целей унификации в том светлом будущем, когда нашим единственным инструментом построения каких-либо вычислений будут глубокие нейросети. Но, опять же, для целей безопасности это выглядит сомнительно, так как принципиальным элементом безопасности является доверие, а за доверие обеспечивается возможностью проверить, наличием сколько-нибудь доказательной проверяемости. Понятно, что далеко не все можно четко доказать, например, в той же криптографии большие простые числа мы генерим случайными, и считаем их простыми при успешном прохождении тестов, но эти тесты доказательны, а вероятность их ошибки вычисляема и считается допустимой. Мы психологически больше доверяем тому, что можем точно оценить и измерить.
Если же говорить о DNN то здесь, напротив, невозможно утверждать доказуемость отсутствия
Итого, сама по себе криптосистема зачастую сложна, и отсутствие в ней НДВ невозможно строго доказать, это исследовал мой приятель в своем дипломе (правда, прошла уже почти четверть века и, может, что-то улучшилось...), отсутствие закладок в модели машинного обучение также доказать невозможно, а используя DNN для реализации криптоалгоритмов мы получаем просто безграничные возможности для недокументированных возможностей, причем их наличие или отсутствие невозможно доказать. О дивный новый мир...
#crypto #ml
10.03.202515:07
Трудно не согласиться с доводами Саши.
Ну что ж поделать...
Все более-менее объемные (когда написание занимает более 30 мин) мысли я публикую в Дзен. Старые публикации доступны еще на blogspot, также там можно встретить мысли моих бывших коллег и друзей - Игоря и Амирана.
С пропаданием Телеги, видимо, будем на связи в Дзен.
Не потеряемся!
#РФ #мир
Ну что ж поделать...
Все более-менее объемные (когда написание занимает более 30 мин) мысли я публикую в Дзен. Старые публикации доступны еще на blogspot, также там можно встретить мысли моих бывших коллег и друзей - Игоря и Амирана.
С пропаданием Телеги, видимо, будем на связи в Дзен.
Не потеряемся!
#РФ #мир
28.03.202512:04
Понимаете, каждый год 31 декабря мы с друзьями ходим в баню. Это у нас такая традиция
А у нас традиция каждый год в апреле обсуждать коммерческие SOC в студии AM Live, и этот год - не исключение!
2 апреля поговорим, тема на этот раз звучит так: "Коммерческий или гибридный SOC: что выбрать?"
Странный это вопрос или действительно кто-то ищет на него ответ, вместе с Вами узнаю на эфире.
Подключайтесь, пишите вопросы, будем вместе докапываться до истины!
#MDR
21.03.202508:13
Машинный перевод
Производители различных решений на перебой стремятся доказать как широко они используют машинное обучение и искусственный интеллект. При этом, нередко упоминаются достаточно сложные сценарии, типа применения ИИ для расследования инцидентов чуть ли не полностью без участия человека, или решение задачи классификации ВПО, более-менее полный список сценариев попадался здесь
Но, не стоит забывать, что есть достаточно узкие задачи применения ИИ, причем, имеющие вполне большие успехи. Примером такой задачи может служить машинный перевод. Современные специализированные LLM прекрасно решают эту задачу, и, как будто, в связи с широким распространением ИИ, проблема Вавилонской башни должна уйти в прошлое. Тем более, если брать во внимание какую-то узкую область, типа ИТ или ИБ, где лексика, скажем прямо, не отличается разнообразием, в сравнении, например, с художественной литературой.
В общем, вопрос на который я не могу найти ответ:
В современных условиях есть ощущение, что невозможность исполнителя общаться с заказчиком на языке последнего может быть полностью компенсирована машинным переводом на базе ИИ, а вопросы приватности могут быть решены локальным развертыванием Модели.
#пятница #ml
Производители различных решений на перебой стремятся доказать как широко они используют машинное обучение и искусственный интеллект. При этом, нередко упоминаются достаточно сложные сценарии, типа применения ИИ для расследования инцидентов чуть ли не полностью без участия человека, или решение задачи классификации ВПО, более-менее полный список сценариев попадался здесь
Но, не стоит забывать, что есть достаточно узкие задачи применения ИИ, причем, имеющие вполне большие успехи. Примером такой задачи может служить машинный перевод. Современные специализированные LLM прекрасно решают эту задачу, и, как будто, в связи с широким распространением ИИ, проблема Вавилонской башни должна уйти в прошлое. Тем более, если брать во внимание какую-то узкую область, типа ИТ или ИБ, где лексика, скажем прямо, не отличается разнообразием, в сравнении, например, с художественной литературой.
В общем, вопрос на который я не могу найти ответ:
Почему компании, называющие себя AI-enabled, не предоставляют свои решения на любых языках, поддерживаемых современными LLM? Если у них так много ИИ, почему столь простая задача машинного перевода до сих пор не решена?
В современных условиях есть ощущение, что невозможность исполнителя общаться с заказчиком на языке последнего может быть полностью компенсирована машинным переводом на базе ИИ, а вопросы приватности могут быть решены локальным развертыванием Модели.
#пятница #ml
01.03.202513:22
MS в январе выпустило исследование Lessons from Red Teaming 100 Generative AI Products - блог, документ.
За вычетом маркетинга, что они такие молодцы, что одними из первых, аж с 2018, начали заниматься безопасностью ИИ, и что безопасность - основной принцип их ИИ-решений, в очередной раз муссировалась идея, что ИИ - как и любая новая технология, расширяет поверхность атаки - это мы уже обсуждали здесь, вместе с "Зенитными кодексами Аль-Эфесби"
В блоге выделены 3 важные идеи, но все 8 заслуживают внимания.
1. Understand what the system can do and where it is applied - когда исследуем безопасность ИИ-системы, надо разобраться в сценариях ее использования.
2. You don’t have to compute gradients to break an AI system - ИИ-пентестеры это промпт-инженеры. Почему-то вспомнились темы манипуляций и ведения переговоров (даю ссылки на неплохие, я бы сказал, базовые, книжки по этим темам, рекомендую к прочтению), только, очевидно, с машиной договориться проще, чем с человеком, иначе тест Тьюринга не работал бы 😁
3. AI red teaming is not safety benchmarking - бенчмаркинг не очень хорошо работает в случае с ИИ (хотя, наличие бенчмаркингов все равно лучше, чем их отсутствие), т.е. какого-то перечня проверок, прохождение которых будет давать уверенность в том, что моя ИИ - безопасна, не может быть, так как теоретически можно найти бесконечное количество уязвимостей - этим и занимаются ИИ-пентестеры, для этого им и надо понимать сценарии использования, чтобы хоть как-то сузить область исследований. Хотя, таким же динозаврам бумажной ИБ, как и я сам, известен основной принцип безопасности - принцип минимума полномочий\функционала, т.е. все что не используется должно быть выключено - ИИ, ввиду своей универсальности, этому принципу не соответствует
4. Automation can help cover more of the risk landscape - поскольку у нас бесконечная (ну, или очень большая) поверхность атаки, очевидно, автоматизации поможет выявить больше уязвимостей
5. The human element of AI red teaming is crucial - никто не сравнится с Человеком в умении обманывать\манипулировать\разводить\эффективно вести переговоры с ИИ
6. Responsible AI harms are pervasive but difficult to measure - очень сложно как-либо оценить безопасность ИИ (рассматриваем RAI), поскольку, ввиду вероятностности работы, нередки ситуации, когда ИИ выдает вредоносный ответ на безобидный запрос (запрос без злого умысла)
7. LLMs amplify existing security risks and introduce new ones - здесь все понятно: новая функциональность -> новые вектора атак -> новые риски
8. The work of securing AI systems will never be complete - выше уже писал, что поверхность атаки сложно оценить, а то, что нельзя инвентаризировать, невозможно защитить, поэтому эти Авгиевы конюшни нам не вычистить никогда, об этом тоже писал
#ml #книги
За вычетом маркетинга, что они такие молодцы, что одними из первых, аж с 2018, начали заниматься безопасностью ИИ, и что безопасность - основной принцип их ИИ-решений, в очередной раз муссировалась идея, что ИИ - как и любая новая технология, расширяет поверхность атаки - это мы уже обсуждали здесь, вместе с "Зенитными кодексами Аль-Эфесби"
В блоге выделены 3 важные идеи, но все 8 заслуживают внимания.
1. Understand what the system can do and where it is applied - когда исследуем безопасность ИИ-системы, надо разобраться в сценариях ее использования.
2. You don’t have to compute gradients to break an AI system - ИИ-пентестеры это промпт-инженеры. Почему-то вспомнились темы манипуляций и ведения переговоров (даю ссылки на неплохие, я бы сказал, базовые, книжки по этим темам, рекомендую к прочтению), только, очевидно, с машиной договориться проще, чем с человеком, иначе тест Тьюринга не работал бы 😁
3. AI red teaming is not safety benchmarking - бенчмаркинг не очень хорошо работает в случае с ИИ (хотя, наличие бенчмаркингов все равно лучше, чем их отсутствие), т.е. какого-то перечня проверок, прохождение которых будет давать уверенность в том, что моя ИИ - безопасна, не может быть, так как теоретически можно найти бесконечное количество уязвимостей - этим и занимаются ИИ-пентестеры, для этого им и надо понимать сценарии использования, чтобы хоть как-то сузить область исследований. Хотя, таким же динозаврам бумажной ИБ, как и я сам, известен основной принцип безопасности - принцип минимума полномочий\функционала, т.е. все что не используется должно быть выключено - ИИ, ввиду своей универсальности, этому принципу не соответствует
4. Automation can help cover more of the risk landscape - поскольку у нас бесконечная (ну, или очень большая) поверхность атаки, очевидно, автоматизации поможет выявить больше уязвимостей
5. The human element of AI red teaming is crucial - никто не сравнится с Человеком в умении обманывать\манипулировать\разводить\эффективно вести переговоры с ИИ
6. Responsible AI harms are pervasive but difficult to measure - очень сложно как-либо оценить безопасность ИИ (рассматриваем RAI), поскольку, ввиду вероятностности работы, нередки ситуации, когда ИИ выдает вредоносный ответ на безобидный запрос (запрос без злого умысла)
7. LLMs amplify existing security risks and introduce new ones - здесь все понятно: новая функциональность -> новые вектора атак -> новые риски
8. The work of securing AI systems will never be complete - выше уже писал, что поверхность атаки сложно оценить, а то, что нельзя инвентаризировать, невозможно защитить, поэтому эти Авгиевы конюшни нам не вычистить никогда, об этом тоже писал
#ml #книги
Shown 1 - 12 of 12
Log in to unlock more functionality.