Сочетание машинного обучения и алгоритмов оптимизации

Идеальное сочетание машинного обучения и алгоритмов оптимизации

Как обнаружение и использование шаблонов могут поднять друг друга на новый уровень

Вместо сравнения оптимизации и алгоритмов машинного обучения друг с другом, мы должны рассмотреть, как они могут укреплять друг друга [Фото - Wedding Dreamz на Unsplash]

Хотя большинство из нас не видит этого, алгоритмы оптимизации (ОА) работают везде. Они планируют запасы на полках наших продуктовых магазинов, создают расписания аэропортов и предлагают нам самый короткий путь к месту отдыха. Точные алгоритмы особенно хорошо используют известные структуры – например, выпуклые структуры – находя решения даже в огромных пространствах решений с множеством ограничений. За последние десятилетия комбинация улучшений аппаратной части и алгоритмов дала существенное ускорение в миллионы раз. Задача планирования, которую компьютеру могло занять месяцы для выполнения в 90-х годах, сегодня может занимать всего лишь секунду.

Точно так же машинное обучение (ML) сделало невероятный прорыв в последнее десятилетие. MuZero показал способность учиться играть суперчеловеческими политиками, не зная правил игр, графовые нейронные сети обучаются сложным отношениям, незаметным для человеческого глаза, и трансформеры породили ChatGPT и его конкурентов. Общим для этих алгоритмов является их способность обнаруживать шаблоны в окружающей среде, будь то текстовые базы данных или видеоигры. Регулярно вводятся новые и очень сложные архитектуры, часто решающие новые проблемы и предлагающие непревзойденную производительность. Несмотря на все успехи и прорывы, для многих реальных проблем машинное обучение end-to-end сталкивается с проблемой достижения конкурентоспособных результатов. Часто наилучшие результаты все еще достигаются настроенными ОА, но могут потребовать значительного вычислительного времени.

Но нет необходимости в соревновании между этими двумя подходами. Интересно, что алгоритмы оптимизации прекрасно справляются с использованием шаблонов, тогда как машинное обучение блещет в обнаружении шаблонов. Вместо сравнения их друг с другом в виде бенчмарков и определения, какой из них превосходит другой, не имеет ли смысла соединить эти две взаимосвязанные части?

При объединении оптимизации и машинного обучения часто сводится к использованию статистического обучения для улучшения оптимизационных процедур в одной форме или другой. Таким образом, мы можем ускорить поиск, используя изученные шаблоны. Развитие таких интегрированных решений стало важным направлением исследований в последние…