Как новая парадигма Google AI устраняет затраты на составление в многошаговых алгоритмах машинного обучения ML для улучшения полезности
Новая парадигма Google AI сокращает затраты на составление многошаговых алгоритмов машинного обучения ML для повышения полезности.
В сегодняшнем мире, основанном на данных, обеспечение конфиденциальности при максимизации полезности алгоритмов машинного обучения и анализа данных является насущной проблемой. Стоимость композиции, явление, при котором общая гарантия конфиденциальности ухудшается с каждым шагом вычисления, является значительным препятствием. Несмотря на успехи в фундаментальных исследованиях и применение дифференциальной конфиденциальности, достижение правильного баланса между конфиденциальностью и полезностью остается сложной задачей.
Существующие подходы, такие как DP-SGD, сделали значительный прогресс в сохранении конфиденциальности во время обучения модели машинного обучения. Однако они полагаются на случайное разбиение обучающих примеров на мини-пакеты, что ограничивает их эффективность в сценариях, где требуется выборка, зависящая от данных.
Познакомьтесь с парадигмой Reorder-Slice-Compute (RSC), революционным разработкой, представленной на STOC 2023. Эта инновационная структура предлагает решение, которое позволяет адаптивно выбирать срезы и обходить стоимость композиции. Соблюдая определенную структуру, включающую упорядоченные точки данных, размер среза и алгоритм дифференциальной конфиденциальности, парадигма RSC открывает новые возможности для улучшения полезности без ущерба конфиденциальности.
- В данной статье Alibaba Group представляет FederatedScope-LLM комплексный пакет для настройки LLM в федеративном обучении
- Извлечение темы документа с помощью больших языковых моделей (LLM) и алгоритма латентного разбиения Дирихле (LDA)
- Шпаргалка Scikit-learn для машинного обучения
Метрики из обширных исследований и экспериментов демонстрируют мощь парадигмы RSC. В отличие от традиционных подходов, анализ RSC устраняет зависимость от количества шагов, что приводит к общей гарантии конфиденциальности, сравнимой с гарантией конфиденциальности для одного шага. Этот прорыв значительно улучшает полезность алгоритмов DP для широкого спектра основных задач агрегации и обучения.
Одно из выдающихся применений парадигмы RSC заключается в решении проблемы приватной интервальной точки. Путем разумного выбора срезов и использования нового анализа алгоритм RSC достигает решений, сохраняющих конфиденциальность, с порядком log*|X| точек, что закрывает значительный разрыв в предыдущих алгоритмах DP.
Парадигма RSC также решает общие задачи агрегации, такие как приватный приближенный медиана и приватное обучение осевым прямоугольникам. Путем применения последовательности шагов RSC, настроенных для конкретной проблемы, алгоритм ограничивает количество ошибочно помеченных точек, предлагая точные и конфиденциальные результаты.
Более того, парадигма RSC предлагает революционный подход к обучению моделей машинного обучения. Позволяя выбирать порядок обучающих примеров в зависимости от данных, она без проблем интегрируется с DP-SGD, устраняя ухудшение конфиденциальности, связанное с композицией. Это достижение готово изменить эффективность обучения в производственных средах.
В заключение, парадигма Reorder-Slice-Compute (RSC) является преобразующим решением для долговременной проблемы баланса конфиденциальности и полезности в средах, основанных на данных. Ее уникальная структура и новый анализ обещают открыть новые возможности в различных задачах агрегации и обучения. Парадигма RSC открывает путь к более эффективному и сохраняющему конфиденциальность обучению моделей машинного обучения путем устранения стоимости композиции. Этот сдвиг парадигмы знаменует поворотный момент в стремлении к надежной конфиденциальности данных в эру больших данных.
