Руководитель проекта: чл.-корр. РАН Зегжда Д.П., ФГАОУ ВО «СПбПУ»

Проект выполняется в рамках работ Центра компетенций НТИ «Технологии доверенного взаимодействия» (г. Томск) на средства гранта на государственную поддержку центров Национальной технологической инициативы на базе образовательных организаций высшего образования и научных организаций, Соглашение о предоставлении субсидии от 14.12.2021 г. № 70-2021-00246).

Этап 1 “Анализ и систематизация уязвимостей и дефектов систем ИИ и их вычислительных компонентов, связанных со снижением достоверности результатов и отказами вычислительных моделей”

Разработана модель угроз для систем ИИ, включающая описание типовой рабочей архитектуры (ключевые компоненты и процессы работы) системы ИИ, основанной на моделях представления знаний и вычислительного интеллекта; объекты воздействий угроз, влияющих на достоверность результатов работы системы ИИ; классы актуальных угроз, связанных со снижением достоверности результатов работы систем ИИ.

Разработанная модель угроз для систем ИИ соответствует базовой «Методике оценки угроз безопасности информации» ФСТЭК России (утв. 05.02.2021 г.) и позволяет рассматривать систему ИИ как объект защиты, понять ее основные уязвимые точки, определить ландшафт актуальных угроз, направленных на нее.

Модель угроз будет дополнена на следующем этапе моделью нарушителя и на их базе в ходе проекта запланировано впервые разработать систему защиты для систем ИИ от злонамеренных или случайных воздействий, влияющих на достоверность результатов их работы. Построенная модель угроз востребована потребителями, в первую очередь IT-компаниями, разработчиками средств защиты и создателями «умных» решений, при создании средств защиты ИИ, при проектировании частных моделей угроз, а также при проведении контроля защищенности систем ИИ.

В мире не существует полной, всесторонней и расширяемой модели угроз для систем ИИ. Единственный известный близкий аналог – Adversarial ML Threat Matrix («Матрица состязательных угроз машинному обучению», разработчик MITRE).

Ключевыми преимуществами построенной в рамках проекта модели угроз в сравнении с указанным решением являются:

  • полнота систематизации угроз: разработанная модель угроз базируется на системном подходе, направленном от описания архитектуры системы ИИ, объектов воздействия угроз, их недостатков к классам угроз, тогда как Adversarial ML Threat Matrix представляет собой реестр состязательных атак на системы ИИ;

  • расширяемость модели: разработанная модель угроз позволяет добавить новые классы/подклассы угроз, уязвимые точки, объекты и механизмы воздействий на системы ИИ, тогда как Adversarial ML Threat Matrix представляет собой фиксированную структуру матрицы, соответствующей этапам осуществления атак на ИИ, причем единственного типа – состязательных.

Дополнительными преимуществами построенной модели угроз являются: рассмотрение системы ИИ в общем виде, включая различные схемы обучения и разновидности решаемых интеллектуальных задач, а не только механизма обучения, подверженного состязательным атакам; согласованность с отечественными нормативными требованиями; анализ природы угроз и способов их реализации; систематизация возможных техник противодействия угрозам. В целом это позволяет в будущем как расширять данную модель новыми знаниями о системах ИИ, так и детализировать ее под конкретные системы ИИ, а также обоснованно проектировать схемы и способы защиты систем ИИ с учетом характера угроз.