Уязвимости генеративных нейросетей. Лэй Энстазия

между алгоритмическим мышлением и корпоративным сознанием.

      В данной главе мы заложили основу для дальнейшего погружения в мир уязвимостей генеративных нейросетей. Начиная с обсуждения базовых понятий и заканчивая абстрактными рассуждениями о влиянии самых мелких операций на поведение системы, мы задаем тон последующим главам, в которых будут подробно разобраны реальные кейсы атак, методы защиты и принципы устойчивого обучения.

      2. Уязвимости в моделях машинного обучения

      В этом разделе рассматриваются внутренние механизмы генеративных нейросетей через призму их потенциальной подверженности атакам, где каждая микроскопическая операция способна преобразовать исходное поведение модели, открывая дорогу для манипуляций и неожиданных результатов. Здесь мы исследуем, как тонкие нюансы процессов оптимизации и обработки данных могут быть использованы для создания адапверсариальных атак.

2.1. Адапверсариальные атаки

      2.1.1. Природа и сущность атак

      В основе адапверсариальных атак лежит идеология «микроскопических преобразований»: малейшие изменения, почти незаметные человеческому глазу, способны создавать эффект домино, когда малейший шум в данных инициирует целый каскад изменений в выходных результатах модели. Эти атаки можно рассматривать как искусно сконструированные операционные импульсы, которые не только затрагивают числовые значения, но и меняют «настроение» модели, заставляя её «переформулировать» генерируемую информацию. Это схоже с воздействием незначительного вибрационного сигнала, который в определённых условиях преобразует гармоничный аккорд в хаотическую какофонию.

      2.1.2. Механизмы воздействия (градиентные методы, локальные возмущения)

      Механизмы воздействия на модель часто используют градиентные методы, позволяющие определить «слабые места» в её математической структуре. Представьте, что модель представляет собой сложный многомерный ландшафт, где каждое изменение – шаг по этому ландшафту – имеет своё направление и амплитуду. С помощью градиентного спуска злоумышленник может аккуратно «подтолкнуть» входные данные в нужном направлении, изменив местный минимум настолько, чтобы результирующий выход уже не соответствовал исходным ожиданиям. Локальные возмущения, хоть и незначительные по объёму, действуют как крошечные импульсы, способные переформатировать отдельные участки информации. Таким образом, даже малейшее вмешательство в определённый пиксель изображения или символ в тексте может привести к неожиданному сдвигу в восприятии модели.

      2.1.3. Примеры атак на изображениях и текстах

      Примеры атак демонстрируют, как эти операции могут работать в различных медиасредах. В случае изображений незначительное изменение цвета или легкая переработка текстуры может полностью изменить интерпретацию сцены: привычные линии и формы превращаются в совершенно новые элементы, лишённые исходной семантики. Аналогично, в