Смелость учить ML Расшифровывая L1 и L2 регуляризацию (часть 2)

Осмелитесь научиться ML Декодирование L1 и L2 регуляризации (часть 2)

Разблокировка интуиции за L1 Разреженность с множителями Лагранжа

Добро пожаловать обратно в «Courage to Learn ML: Unraveling L1 & L2 Regularization,» часть вторая. В нашем предыдущем обсуждении, мы исследовали преимущества меньших коэффициентов и способы их достижения с помощью техник взвешивания веса. Теперь, в этом продолжении, наш наставник и студент углубятся еще глубже в мир регуляризации L1 и L2.

Если вы задаетесь вопросами вроде:

  • В чем причина названий регуляризации L1 и L2?
  • Как мы интерпретируем классический график регуляризации L1 и L2?
  • Что такое множители Лагранжа, и как их можно интуитивно понять?
  • Применение множителей Лагранжа для понимания L1 разреженности.

Ваше участие – лайки, комментарии и подписки – не только поднимают настроение, но и поддерживают наше путешествие открытий! Итак, погрузимся.

Фото Аарона Бланко Техедора на Unsplash

Почему они называют это L1, L2 регуляризацией?

Название L1 и L2 регуляризации происходит напрямую от концепции Lp нормы. Lp нормы представляют собой различные способы вычисления расстояний от точки до начала координат в пространстве. Например, L1 норма, также известная как Манхэттенское расстояние, вычисляет расстояние с использованием абсолютных значений координат, как ∣x∣+∣y∣. С другой стороны, L2 норма, или евклидово расстояние, вычисляет квадратный корень из суммы квадратов значений, что является sqrt(x² + y²)

В контексте регуляризации в машинном обучении, эти нормы используются для создания штрафных членов, которые добавляются к функции потерь. Вы можете думать о Lp регуляризации как о измерении общего расстояния весов модели от начала координат в многомерном пространстве. Выбор нормы влияет на характер этого штрафа: L1 норма имеет тенденцию обнулять некоторые коэффициенты, эффективно выбирая более важные признаки, в то время как L2 норма сжимает коэффициенты к нулю, обеспечивая равноправное влияние всех признаков на модель.

Следовательно, L1 и L2 регуляризация названы в честь этих математических норм – L1 нормы и L2 нормы -…