Исследователи Google представляют новый подход с однократным выполнением для аудита дифференциально-приватных систем машинного обучения

Новый подход исследователей Google однократное исполнение для аудита систем машинного обучения с защитой приватности

Дифференциальная конфиденциальность (DP) – хорошо известная техника в машинном обучении, которая стремится обеспечить конфиденциальность данных лиц, чьи данные используются для обучения моделей. Это математическая рамка, которая гарантирует, что вывод модели не зависит от присутствия или отсутствия любого отдельного лица во входных данных. Недавно была разработана новая схема аудита, которая позволяет оценивать гарантии конфиденциальности в таких моделях всесторонним и эффективным способом, с минимальными предположениями о используемом алгоритме.

Исследователи из Google представляют схему аудита для дифференциально конфиденциальных систем машинного обучения, сфокусированную на одной обучающей итерации. В исследовании подчеркивается связь между DP и статистической обобщаемостью, важным аспектом предлагаемого подхода к аудиту.

DP обеспечивает отсутствие существенного влияния индивидуальных данных на результаты, предлагая измеримую гарантию конфиденциальности. Аудиты конфиденциальности оценивают ошибки в анализе или реализации алгоритмов DP. Традиционные аудиты требуют больших вычислительных затрат и часто требуют нескольких прогонов. Используя параллелизм в независимом добавлении или удалении примеров обучения, схема накладывает минимальные предположения о алгоритме и адаптируется к ситуации черного ящика и белого ящика.

• Исследование искусственного интеллекта от Аризонского университета представляет ECLIPSE новую стратегию контрастного обучения для улучшения неизменного преобразования текста в изображение
• Phi-2 Разблокирован Языковые модели с компактным блеском
• Топ-10 исследовательских статей о генетическом искусственном интеллекте

Метод, описанный в Алгоритме 1 в исследовании, независимо включает или исключает примеры и вычисляет оценки для принятия решений. Анализируя связь между DP и статистической обобщаемостью, подход применим в ситуациях черного ящика и белого ящика. Алгоритм 3, DP-SGD Аудитор, является конкретной реализацией. Он подчеркивает общую применимость их методов аудита к различным дифференциально конфиденциальным алгоритмам, учитывая такие факторы, как примеры внутри диапазона и оценка различных параметров.

Метод аудита предлагает измеримую гарантию конфиденциальности, помогая оценивать математические анализы или обнаруживать ошибки. Подчеркивается общая применимость предложенных методов аудита к различным дифференциально конфиденциальным алгоритмам, учитывая примеры внутри диапазона и оценку различных параметров, демонстрируя эффективные гарантии конфиденциальности с уменьшенными вычислительными затратами.

Предложенная схема аудита позволяет оценить техники дифференциально конфиденциального машинного обучения с использованием одной обучающей итерации, используя параллелизм для независимого добавления или удаления обучающих примеров. Подход демонстрирует эффективные гарантии конфиденциальности с уменьшенными вычислительными затратами по сравнению с традиционными аудитами. Подчеркивается общая пригодность методов аудита, применимых к различным дифференциально конфиденциальным алгоритмам. Рассматриваются практические соображения, такие как использование примеров внутри диапазона и оценка параметров, что делает ценный вклад в аудит конфиденциальности.

В заключение, основные выводы исследования можно подытожить в нескольких точках:

• Предложенная схема аудита позволяет оценить техники дифференциально конфиденциального машинного обучения с использованием одной обучающей итерации, с использованием параллелизма для добавления или удаления обучающих примеров
• Подход требует минимальных предположений о алгоритме и может быть применен как в ситуации черного ящика, так и в белого ящика
• Схема предлагает измеримую гарантию конфиденциальности и может обнаруживать ошибки в реализации алгоритма или оценивать точность математического анализа
• Она подходит для различных дифференциально конфиденциальных алгоритмов и обеспечивает эффективные гарантии конфиденциальности при сокращенных вычислительных затратах по сравнению с традиционными аудитами.