Наращенные ансамбли для продвинутого прогнозного моделирования с использованием H2O.ai и Optuna
Апгрейднутые ансамбли для прогнозного моделирования с H2O.ai и Optuna
И как я попала в топ-10% Европейского наибольшего соревнования по машинному обучению с ними!
Мы все знаем, что ансамблевые модели превосходят любую отдельную модель в предсказательном моделировании. Вы, наверное, слышали о Целочислен разнесений и Ускорении как общих методах ансамбля, с использованием случайных лесов и градиентного бустинга в качестве соответствующих примеров.
Но что насчет объединения различных моделей в отдельную модель более высокого уровня? Именно здесь вступают в игру ансамбли в виде стеков. Этот статья является пошаговым руководством о том, как обучить ансамбли в виде стеков с использованием популярной библиотеки машинного обучения H2O.
Для демонстрации мощности ансамблей в виде стеков я предоставлю пошаговое решение моего полного кода для обучения ансамбля в виде стеков, состоящего из 40 моделей Deep Neural Network, XGBoost и LightGBM для задачи прогнозирования, поставленной в соревновании Cloudflight Coding Competition 2023 (категория Искусственный Интеллект), одного из крупнейших кодинг-соревнований в Европе, где я заняла топ-10% места в таблице лидеров соревнования за время обучения всего 1 час!
В этом руководстве будут рассмотрены следующие вопросы:
- Опасности ИИ галлюцинации раскрытие вызовов и последствий
- Может ли Chat GPT играть в шахматы?
- Искусственный рой пчел – В чем отличие от PSO
- Что такое стековые ансамбли и как они работают?
- Как обучать стековые ансамбли с помощью H2O.ai
- Сравнение производительности стекового ансамбля по сравнению с отдельными моделями
1. Что такое стековые ансамбли?
Стековый ансамбль объединяет предсказания нескольких моделей через другую, более высокоуровневую модель с целью повышения общей предсказательной эффективности, используя уникальные преимущества каждой составной модели. Он включает 2 этапа:
Этап 1: Несколько базовых моделей
Сначала несколько базовых моделей обучаются независимо на одном и том же обучающем наборе данных. Эти модели должны быть разнообразными, от простых линейных регрессий до сложных моделей глубокого обучения. Главное, чтобы они отличались друг от друга хотя бы по одному параметру, являющемуся алгоритмическим или гиперпараметрическим настройкам.
Чем более разнообразны базовые модели, тем более мощным будет итоговый стековый ансамбль. Это связано с тем, что разные модели могут улавливать различные закономерности в…
