Полностью объясненная техника ансамбля AdaBoost с примером на Python
AdaBoost полное объяснение метода ансамблирования с примером на Python
Алгоритм Boosting ensemble в машинном обучении
Введение
Ансамбльные техники: Можно сказать, что это сборник или группа слабых моделей машинного обучения, которые становятся сильной моделью машинного обучения. Эта техника известна как ансамбль.
Слабые обучающиеся или базовые модели: Это различные алгоритмы, используемые в коллекции базовых моделей машинного обучения в ансамбле. Это могут быть логистическая регрессия, SVM, деревья принятия решений, линейная регрессия, случайный лес и т. д.
В ансамбльных техниках нам нужно разнообразие моделей, чтобы сделать их предикторами из разнообразия и не пытаться давать одинаковый анализ предсказаний.
- Параллельная обработка в инженерии подсказок Техника скелета мысли
- «Инновационная технология акустических роев определяет будущее звука в комнате»
- Антони Гунетилеке, президент группы, технологии и руководитель стратегии компании Amdocs – серия интервью
Это разнообразие можно создать, сохраняя ту же базовую модель и изменяя входные данные, предоставленные базовым моделям. Второй способ – иметь разную базовую модель и использовать одни и те же входные данные, чтобы модели могли обучаться на разных данных.
- Для классификации: предсказание основано на наиболее распространенном результате всех слабых обучающихся.
- Для регрессии: предсказание основано на среднем значении предсказаний всех базовых моделей.
Типы ансамбльных техник:
- Голосование
- Бэггинг:
- Случайный лес
3. Boosting:
- Ada-boosting
- Градиентный бустинг
- XGBoost
4. Стекинг
Ada-boost относится к категории алгоритмов бустинга. В последнее время использование техник бустинга стало массовым из-за их высокой производительности и меньшей подверженности проблемам переобучения.
Базовые обучающиеся Ada-boost генерируются последовательно, так как мы увеличиваем веса нашей модели, последовательно минимизируя ошибку в каждой базовой модели.
Тип базовой модели обучающихся:
- Однородные: одинаковые базовые модели в обучении
- Гетерогенные: различные базовые модели в обучении
Методы ансамблирования стремятся сохранять низкий уровень смещения и низкую дисперсию, чтобы избежать проблем переобучения.
