Исследователи из Стэнфордского университета представляют PLATO новый подход искусственного интеллекта для борьбы с переобучением в машинном обучении с высокими размерностями и низким количеством обучающих примеров с помощью графового усиления

PLATO новый подход искусственного интеллекта для борьбы с переобучением в машинном обучении

Граф знаний (KG) – это графовая база данных, которая хранит информацию в виде узлов и ребер. С другой стороны, многослойный персептрон (MLP) – это тип нейронной сети, используемой в машинном обучении. MLP состоит из связанных между собой узлов, расположенных в нескольких слоях. Каждый узел получает входные данные от предыдущего слоя и отправляет выходные данные на следующий слой.

Исследователи из Стэнфордского университета представили новую модель машинного обучения под названием PLATO, которая использует KG для предоставления дополнительной информации о домене. PLATO регуляризует MLP, вводя индуктивное смещение, которое обеспечивает, что похожие узлы в KG имеют эквивалентные векторы весов в первом слое MLP. Этот метод решает проблему, когда модель машинного обучения нуждается в помощи с табличными наборами данных с большим количеством измерений по сравнению с примерами.

PLATO решает недостаточно исследованный сценарий табличных наборов данных с высокоразмерными признаками и ограниченным количеством образцов, в отличие от существующих методов глубинного обучения на основе таблиц, разработанных для ситуаций, когда фрагментов больше, чем признаков. Он отличается от других моделей глубинного обучения на основе таблиц, таких как NODE и табличные трансформеры, и традиционных подходов, таких как PCA и LASSO, путем введения KG для регуляризации. В отличие от методов регуляризации графов, PLATO включает в себя и признаковые, и не признаковые узлы в KG. Он выводит веса для модели MLP, используя граф в качестве априорной информации для предсказаний на отдельном табличном наборе данных.

Модели машинного обучения часто превосходят в средах с большим объемом данных, но нуждаются в помощи с табличными наборами данных, где количество признаков значительно превышает количество образцов. Это несоответствие особенно явно в научных наборах данных, ограничивающее производительность модели. Существующие подходы глубинного обучения на основе таблиц в основном сосредоточены на сценариях с большим количеством примеров по сравнению с признаками, тогда как в низкодатовом режиме с большим количеством признаков чем образцов преобладают традиционные статистические методы. PLATO, основанный на использовании вспомогательной KG для регуляризации MLP, позволяет применять глубокое обучение для табличных данных с количеством признаков > количества образцов и достигает превосходных результатов на наборах данных с высокоразмерными признаками и ограниченным количеством моделей.

Используя вспомогательную KG, PLATO связывает каждый входной признак с узлом KG и выводит векторы весов для первого слоя MLP на основе сходства узлов. Подход использует несколько этапов сообщений, уточняя вложения признаков. В проводимом исследовании PLATO демонстрирует постоянную производительность при использовании поверхностных методов встроенных узлов (TransE, DistMult, ComplEx) в KG. Этот инновационный метод предлагает потенциальные улучшения для моделей глубинного обучения в ситуациях с недостатком данных для табличных настроек.

PLATO, метод для табличных данных с высокоразмерными признаками и ограниченным количеством образцов, превосходит 13 современных моделей до 10,19% на шести наборах данных. Оценка производительности включает случайный поиск с 500 конфигурациями для каждой модели, сообщая среднее и стандартное отклонение корреляции Пирсона между предсказанными и фактическими значениями. Результаты подтверждают эффективность PLATO, использующий вспомогательную KG для достижения надежной производительности в сложных способах с ограниченными данными. Компаративный анализ с различными базовыми моделями подчеркивает превосходство PLATO, подтверждая его эффективность в улучшении предсказаний табличных наборов данных.

В заключение, проведенные исследования могут быть резюмированы следующим образом:

  • PLATO – это фреймворк глубокого обучения для табличных данных.
  • Каждый входной признак ассоциируется с узлом вспомогательной KG.
  • PLATO регулирует MLP и достигает надежной производительности на табличных данных с высокоразмерными признаками и ограниченным количеством образцов.
  • Модель выводит векторы весов на основе сходства узлов KG, захватывая индуктивное смещение, что похожие входные признаки должны иметь похожие векторы весов.
  • PLATO превосходит 13 базовых моделей до 10,19% на шести наборах данных.
  • Использование вспомогательных KG показано для улучшения производительности в условиях с недостатком данных.