КиберБезОскара
Руководитель департамента ИТ и кибербезопасности в системном интеграторе.
Об информационной безопасности для бизнеса с техническими деталями и управлении командой в ИТ/ИБ.
Более 15 лет опыта.
Канал отражает личное мнение.
Для связи @goscars
Об информационной безопасности для бизнеса с техническими деталями и управлении командой в ИТ/ИБ.
Более 15 лет опыта.
Канал отражает личное мнение.
Для связи @goscars
TGlist रेटिंग
0
0
प्रकारसार्वजनिक
सत्यापन
असत्यापितविश्वसनीयता
अविश्वसनीयस्थान
भाषाअन्य
चैनल निर्माण की तिथिТрав 14, 2017
TGlist में जोड़ा गया
Квіт 28, 2025संलग्न समूह
समूह "КиберБезОскара" में नवीनतम पोस्ट
26.04.202510:46
Принял участие в дискуссии «Безопасность от ИИ: использование ИИ при обеспечении ИБ» на конференции "Trans AI 2025. Искусственный интеллект в транспортной отрасли". Расскажу о двух моих основных выводах по результатам прослушанных докладов и нашей завершающей дискуссии.
1️⃣ От представителей транспортной отрасли (авиации, умного города, железных дорог) несколько раз прозвучали опасения об отсутствии прозрачности и объяснимости в решениях, принимаемых генеративным ИИ. В критичных областях, требующих обеспечения функциональной безопасности, этот риск приходится митигировать путем перепроверки результатов человеком, дублирования функций ИИ классическими системами с выбором лучшего из вариантов, созданием многоуровневых систем безопасности.
Аналогично в сфере кибербезопасности необходимо продемонстрировать, что результаты всегда будут такими, как мы ожидаем, и им можно доверять. Средства защиты проходят сертификацию на выполнение требований, математически доказывается стойкость криптоалгоритмов. Программный код специально сокращается, чтобы его можно было покрыть тестами и доказать подход Secure by Design.
Это с ограничениями (зависит от предметной области) возможно для машинного обучения (предикативный ИИ), но в случае генеративного и тем более сильного ИИ сама идея противоречит парадигме объяснимости и доказуемости. Обучение на неструктурированных данных и решение задач без заранее заданного алгоритма.
2️⃣ Самое слабое и сложно контролируемое звено информационной системы — человек. Генеративный искусственный интеллект стремится к тому, чтобы быть похожим на человека и создать общий, сильный ИИ, который обладает интеллектуальными способностями на уровне человека, а мы стремимся применить его в своих системах. Получается, что мы вносим в информационные системы ещё одно слабое звено со всеми минусами человека.
Методы атак и защиты уже похожи на работу с сотрудниками. Системные промты — руководящие инструкции, в которых описывается, что должен и не должен делать генИИ, похожи на повышение осведомлённости. Промт-инъекции — добавление в запрос инструкций, которые позволяют обойти системный промт, это фишинг для ИИ, где мы пытаемся «обмануть» ИИ и заставить его сделать не заложенные в него функции. Одно слабое звено начинает применять другое слабое.
*️⃣В совокупности это приводит к тому, что мы не просто вносим в ИТ-инфраструктуру технологию, а совершенно новую сущность, и специалистам по информационной безопасности нужно учиться работать с ней отдельно и новыми методами. В итоге на ближайшие годы у нас два слабых звена - человек и искусственных интеллект 😅
#mlsecops
1️⃣ От представителей транспортной отрасли (авиации, умного города, железных дорог) несколько раз прозвучали опасения об отсутствии прозрачности и объяснимости в решениях, принимаемых генеративным ИИ. В критичных областях, требующих обеспечения функциональной безопасности, этот риск приходится митигировать путем перепроверки результатов человеком, дублирования функций ИИ классическими системами с выбором лучшего из вариантов, созданием многоуровневых систем безопасности.
Аналогично в сфере кибербезопасности необходимо продемонстрировать, что результаты всегда будут такими, как мы ожидаем, и им можно доверять. Средства защиты проходят сертификацию на выполнение требований, математически доказывается стойкость криптоалгоритмов. Программный код специально сокращается, чтобы его можно было покрыть тестами и доказать подход Secure by Design.
Это с ограничениями (зависит от предметной области) возможно для машинного обучения (предикативный ИИ), но в случае генеративного и тем более сильного ИИ сама идея противоречит парадигме объяснимости и доказуемости. Обучение на неструктурированных данных и решение задач без заранее заданного алгоритма.
2️⃣ Самое слабое и сложно контролируемое звено информационной системы — человек. Генеративный искусственный интеллект стремится к тому, чтобы быть похожим на человека и создать общий, сильный ИИ, который обладает интеллектуальными способностями на уровне человека, а мы стремимся применить его в своих системах. Получается, что мы вносим в информационные системы ещё одно слабое звено со всеми минусами человека.
Методы атак и защиты уже похожи на работу с сотрудниками. Системные промты — руководящие инструкции, в которых описывается, что должен и не должен делать генИИ, похожи на повышение осведомлённости. Промт-инъекции — добавление в запрос инструкций, которые позволяют обойти системный промт, это фишинг для ИИ, где мы пытаемся «обмануть» ИИ и заставить его сделать не заложенные в него функции. Одно слабое звено начинает применять другое слабое.
*️⃣В совокупности это приводит к тому, что мы не просто вносим в ИТ-инфраструктуру технологию, а совершенно новую сущность, и специалистам по информационной безопасности нужно учиться работать с ней отдельно и новыми методами. В итоге на ближайшие годы у нас два слабых звена - человек и искусственных интеллект 😅
#mlsecops
रिकॉर्ड
28.04.202523:59
371सदस्य26.04.202523:59
100उद्धरण सूचकांक05.05.202517:57
0प्रति पोस्ट औसत दृश्य05.05.202517:57
0प्रति विज्ञापन पोस्ट औसत दृश्य05.05.202517:57
0.00%ER05.05.202517:57
0.00%ERR26.04.202510:46
Принял участие в дискуссии «Безопасность от ИИ: использование ИИ при обеспечении ИБ» на конференции "Trans AI 2025. Искусственный интеллект в транспортной отрасли". Расскажу о двух моих основных выводах по результатам прослушанных докладов и нашей завершающей дискуссии.
1️⃣ От представителей транспортной отрасли (авиации, умного города, железных дорог) несколько раз прозвучали опасения об отсутствии прозрачности и объяснимости в решениях, принимаемых генеративным ИИ. В критичных областях, требующих обеспечения функциональной безопасности, этот риск приходится митигировать путем перепроверки результатов человеком, дублирования функций ИИ классическими системами с выбором лучшего из вариантов, созданием многоуровневых систем безопасности.
Аналогично в сфере кибербезопасности необходимо продемонстрировать, что результаты всегда будут такими, как мы ожидаем, и им можно доверять. Средства защиты проходят сертификацию на выполнение требований, математически доказывается стойкость криптоалгоритмов. Программный код специально сокращается, чтобы его можно было покрыть тестами и доказать подход Secure by Design.
Это с ограничениями (зависит от предметной области) возможно для машинного обучения (предикативный ИИ), но в случае генеративного и тем более сильного ИИ сама идея противоречит парадигме объяснимости и доказуемости. Обучение на неструктурированных данных и решение задач без заранее заданного алгоритма.
2️⃣ Самое слабое и сложно контролируемое звено информационной системы — человек. Генеративный искусственный интеллект стремится к тому, чтобы быть похожим на человека и создать общий, сильный ИИ, который обладает интеллектуальными способностями на уровне человека, а мы стремимся применить его в своих системах. Получается, что мы вносим в информационные системы ещё одно слабое звено со всеми минусами человека.
Методы атак и защиты уже похожи на работу с сотрудниками. Системные промты — руководящие инструкции, в которых описывается, что должен и не должен делать генИИ, похожи на повышение осведомлённости. Промт-инъекции — добавление в запрос инструкций, которые позволяют обойти системный промт, это фишинг для ИИ, где мы пытаемся «обмануть» ИИ и заставить его сделать не заложенные в него функции. Одно слабое звено начинает применять другое слабое.
*️⃣В совокупности это приводит к тому, что мы не просто вносим в ИТ-инфраструктуру технологию, а совершенно новую сущность, и специалистам по информационной безопасности нужно учиться работать с ней отдельно и новыми методами. В итоге на ближайшие годы у нас два слабых звена - человек и искусственных интеллект 😅
#mlsecops
1️⃣ От представителей транспортной отрасли (авиации, умного города, железных дорог) несколько раз прозвучали опасения об отсутствии прозрачности и объяснимости в решениях, принимаемых генеративным ИИ. В критичных областях, требующих обеспечения функциональной безопасности, этот риск приходится митигировать путем перепроверки результатов человеком, дублирования функций ИИ классическими системами с выбором лучшего из вариантов, созданием многоуровневых систем безопасности.
Аналогично в сфере кибербезопасности необходимо продемонстрировать, что результаты всегда будут такими, как мы ожидаем, и им можно доверять. Средства защиты проходят сертификацию на выполнение требований, математически доказывается стойкость криптоалгоритмов. Программный код специально сокращается, чтобы его можно было покрыть тестами и доказать подход Secure by Design.
Это с ограничениями (зависит от предметной области) возможно для машинного обучения (предикативный ИИ), но в случае генеративного и тем более сильного ИИ сама идея противоречит парадигме объяснимости и доказуемости. Обучение на неструктурированных данных и решение задач без заранее заданного алгоритма.
2️⃣ Самое слабое и сложно контролируемое звено информационной системы — человек. Генеративный искусственный интеллект стремится к тому, чтобы быть похожим на человека и создать общий, сильный ИИ, который обладает интеллектуальными способностями на уровне человека, а мы стремимся применить его в своих системах. Получается, что мы вносим в информационные системы ещё одно слабое звено со всеми минусами человека.
Методы атак и защиты уже похожи на работу с сотрудниками. Системные промты — руководящие инструкции, в которых описывается, что должен и не должен делать генИИ, похожи на повышение осведомлённости. Промт-инъекции — добавление в запрос инструкций, которые позволяют обойти системный промт, это фишинг для ИИ, где мы пытаемся «обмануть» ИИ и заставить его сделать не заложенные в него функции. Одно слабое звено начинает применять другое слабое.
*️⃣В совокупности это приводит к тому, что мы не просто вносим в ИТ-инфраструктуру технологию, а совершенно новую сущность, и специалистам по информационной безопасности нужно учиться работать с ней отдельно и новыми методами. В итоге на ближайшие годы у нас два слабых звена - человек и искусственных интеллект 😅
#mlsecops
अधिक कार्यक्षमता अनलॉक करने के लिए लॉगिन करें।
