Наука, страсть и будущее многокритериальной оптимизации

Наука, страсть и будущее многокритериальной оптимизации красота в гармонии со стилем

Глубинное интервью с профессором Коэльо Коэльо

Профессор Карлос Артемио Коэльо Коэльо является пионером в области многокритериальной оптимизации с использованием биоинспирированных метаэвристик. В 1996 году он получил степень доктора философии в области информатики в Туланском университете и является полным профессором кафедры информатики в CINVESTAV-IPN в городе Мехико. Благодаря своим передовым достижениям, у него более чем 68 000 цитирований и индекс Х-эр, равный 102, согласно Google Scholar. Он также был в числе 300 самых цитируемых компьютерных ученых в мировом рейтинге академических предметов, разработанном OSPHERE в 2016 году. В течение своей карьеры. Прочтите эту статью, чтобы узнать, как профессор Коэльо Коэльо видит роль многокритериальной оптимизации среди множества прорывов в моделях, основанных на Трансформере, самый важный характеристический черт для ученых и чем должна отличаться сфера многокритериальной оптимизации.

Я хотел бы узнать подробности о вашем личном пути. Вам пришлось выбрать подходящую тему исследования для вашей диссертации в 1996 году в Туланском университете. Можете ли вы вкратце рассказать мне историю, которая привела вас к работе над эволюционной многокритериальной оптимизацией??

Это длинная история, поэтому я постараюсь быть кратким. Когда я поступил в Туланский университет на степень магистра, а затем на степень доктора философии в области информатики, я не знал, над чем хочу работать. Я знал, что не хочу заниматься инженерией программного обеспечения или базами данных. Сначала я попробовал языки программирования, затем робототехнику. Ничего из этого не сработало. Однажды случайно я прочитал статью, в которой генетические алгоритмы использовались для решения проблемы оптимизации структуры. Я решил посвятить свою курсовую работу этой статье, разработал свой собственный генетический алгоритм и написал программное обеспечение для анализа. Мне это очень понравилось, так как я теперь видел, как генетический алгоритм мог производить хорошие решения для сложной оптимизационной проблемы относительно легко. Восторг от эволюционных алгоритмов сопровождают меня всю жизнь.

Однако, хотя на Туланском университете работали два профессора по эволюционным алгоритмам, я решил работать с профессором по робототехнике. Он не очень хорошо разбирался в эволюционных вычислениях, и я тоже, но мы решили работать вместе. Поэтому он не мог помочь мне найти подходящую тему. Профессор Билл Баклс, который работал с эволюционными алгоритмами, порекомендовал мне заняться многокритериальной оптимизацией, так как немногие люди использовали алгоритмы в этой области. После поиска связанных статей я нашел тему для своей диссертации. Это случайно всё сложилось без планирования. Я считаю, что многие великие вещи происходят случайно, а не по плану.

• Внедрение Microsoft Fabric
• 3 проекта по анализу данных, гарантированных для трудоустройства
• «Сравнение яблок с апельсинами с помощью python»

Можете раскрыть, что привлекло ваше внимание в эволюционных вычислениях?

Есть большая разница между классической оптимизацией и использованием эволюционных алгоритмов. Классическая оптимизация в основном зависит от математики и исчисления, тогда как эволюционные алгоритмы вдохновлены природными явлениями. Мне удивительно, как природа адаптирует виды по-разному, ставя своей целью выживание, и как это может быть таким мощным инструментом для улучшения механизмов отдельного индивидуума. С помощью эволюционных алгоритмов мы симулируем этот процесс, хотя это грубая, низкокачественная версия того, что происходит в природе.

Эволюционные алгоритмы кажутся упрощенной структурой, отражающей сложные природные явления, что, парадоксально, приводит к исключительным способностям в решении проблем. Я до сих пор не понимаю, почему они так хороши. Я прочел много статей, связанных с природной эволюцией. Я пытался следить за открытиями в популярных научно-популярных журналах, не технической литературой.

Отношение между алгоритмической и природной эволюцией всегда меня увлекало. Если бы позволяли обстоятельства — знания, время и навыки — я бы посвятил остаток своей карьеры попыткам понять, как они работают.

Как развивается сфера многокритериальной оптимизации?

Хотя область многокритериальной оптимизации относительно узкая, мой путь начался в эпоху, когда возможностей было много из-за ограниченного числа исследователей. Это позволило мне исследовать различные темы. Хотя ландшафт изменился, я заметил, что несмотря на большое количество статей, недостает отдельной перспективы.

Почему отсутствует эта перспектива?

Исследователи несколько неохотно принимают на себя сложные проблемы и выходят за границы исследуемых тем. Кроме того, мы боремся, чтобы предоставить крепкое объяснение наших методологий. Мы по-прежнему не смеемся перед сложными проблемами, перед сложными исследовательскими темами, и мы по-прежнему не можем объяснить многое из того, что мы сделали. Мы хорошо оснащены техниками для решения конкретных проблем, но нам не хватает глубокого понимания основных принципов этих техник. Большинство людей сосредотачивается на предложениях, а не на понимании. Это осознание вызвало изменение моего фокуса.

Какую роль вы играете в этом развитии?

Со временем мой приоритет сместился от простого предложения к пониманию. Я верю, что если никто другой не берется за это задание, это ложится на нас. Хотя разбираться и понимать механизмы и причины эффективности алгоритмов является сложным делом, я считаю это стремление необходимым для реального научного прогресса. Может быть, у вас будет только два или три метода для решения проблемы, а не 200. Если нет способа классифицировать все эти методы, нельзя обосновать новый инструмент, и я не думаю, что продолжать в этом направлении имеет много смысла. Конечно, люди будут продолжать создавать, и это нормально. Но если нам не хватает понимания, я думаю, мы окажемся в безбудущей области. В конечном итоге, моя цель состоит в том, чтобы направить свои усилия на понимание существующих инструментов, прежде чем определять необходимость новых.

Как мы можем продвинуться к большему пониманию существующих методов?

Мы должны проводить больше времени, чтобы понять то, что у нас уже есть. Затем мы сможем оценить, что ​​нам действительно нужно. Мы должны работать на основе потребностей области, а не желания получить больше публикаций. Если у нас нет инструмента для этого, давайте работать над его разработкой. Затем исследование должно двигаться в этом направлении потребности, а не в направлении производства чисел.

Сосредоточены ли эти вопросы на понимании работы конкретных алгоритмов?

Ну, это не только о том, почему они работают. Вопрос о том, почему определенные алгоритмы работают, безусловно, важен, но наши запросы не должны ограничиваться только этим. Важным аспектом является определение того, как лучше всего сочетать алгоритмы с приложениями. Когда сталкиваются с несколькими алгоритмами, практики часто борются с решением, который из них оптимален для конкретного применения, будь то комбинаторная или непрерывная оптимизация. Трудность заключается в определении идеальных сценариев для каждого алгоритма.

Сегодня, хотя у нас нет алгоритмов, разработанных для конкретных задач, не требующих дальнейшей характеристики, понимание и возможно категоризация общих алгоритмов также является важной задачей. Мы должны стремиться извлечь больше информации о их функционировании и оценить, действительно ли они универсальны или должны быть связаны с определенными задачами.

Помимо алгоритмов есть инструменты и методы, такие как скаляризующие функции, операторы скрещивания, операторы мутации и методы архивирования. Их полно. Однако, только немногие из них широко используются, часто потому, что они были использованы исторически, а не из-за внутреннего понимания их эффективности. Мы должны задавать вопросы типа: “Почему использовать один метод вместо другого?” Именно на такие более широкие, тонкие вопросы должна сосредотачиваться наша область.

Можете ли вы объяснить, как функционируют эволюционные алгоритмы в многокритериальной оптимизации?

Эволюционные алгоритмы начинаются с набора решений, обычно генерируемых случайным образом. Начальные решения обладают низким качеством, но благодаря процессу отбора они постепенно эволюционируют к Парето-фронту. Однако важно отметить, что хотя Парето-фронт генерируется, пользователи обычно не требуют всех решений внутри него. Затем выбирается несколько решений или только одно. Но правильный выбор решения на Парето-фронте – это не оптимизация, а принятие решения.

При принятии решений из Парето-фронта выбирается подмножество или даже одно решение на основе предпочтений пользователя. Определение предпочтений пользователя может быть простым, если у него есть ясный компромисс в виду, но когда предпочтения неясны, алгоритм генерирует несколько возможностей для оценки и выбора пользователем. Это отличается от оптимизации и переходит к принятию решений. Таким образом, в многокритериальной оптимизации выделяются три отдельных этапа: моделирование, оптимизация и принятие решений.

Я в основном сосредотачиваюсь на аспекте оптимизации. Другие исследователи, особенно в операционном исследовании, занимаются принятием решений, а некоторые сочетают и то и другое. Эти интерактивные подходы включают запуск оптимизатора на несколько итераций, а затем поиск обратной связи от пользователя о желаемом направлении, генерирование решений на основе предпочтений пользователя. Эти интерактивные методы могут быть эффективными, но формулирование кратких и содержательных запросов пользователя является ключевым моментом, чтобы не перегрузить его.

В одной из предыдущих статей вы упомянули, что самым важным критерием, по которому вы выбираете аспирантов, является их страсть. Как вы оцениваете страсть?

Идеально, студенты страстны, но также отличаются отличными навыками программирования и математики. К сожалению, студенты, обладающие всеми этими навыками, редки, и необходимо найти баланс между ними. Можно сказать, что это самостоятельная проблема многокритериальной оптимизации. Страсть имеет большой вес по сравнению с другими чертами и навыками в моей оценке.

Оценка страсти может быть сложной для определения, но более заметной для распознавания. Когда я сталкиваюсь с этим, своеобразное шестое чувство направляет меня в отличии истинной страсти от поддельного энтузиазма. Одним из основных признаков являются студенты, которые постоянно выходят за рамки поставленных задач, постоянно превосходя ожидания. Однако это не единственный показатель. Страстные личности проявляют неутолимое любопытство, не только задавая много вопросов по своей теме, но и самостоятельно погружаясь в смежные области. Они соединяют концепции, связывая кажущиеся несвязанными элементы своей работы – важный черт в исследованиях, которые включают творческие связи. Для меня это указывает на настоящую страсть к ремеслу. По моему опыту, люди с врожденной страстью стремятся исследовать глубины своей темы, исследуя аспекты, выходящие за рамки непосредственных инструкций. Такие студенты обладают исследовательским духом, не ищущим только прописанных ответов, но раскрывающим пути для обогащения своего понимания.

Последний элемент состоит в эффективном использовании и развитии их навыков. Даже если студент преуспевает в первую очередь в страсти, его другие способности могут быть не недостаточными. Встретить студента, олицетворяющего все желательные черты, редкость. Гораздо чаще студенты выделяются в определенной сфере, сохраняя при этом умение в других областях. Например, студент может выделяться страстью, иметь хорошие программные навыки, хотя и не выдающиеся, и проявлять прочные математические основы. Найти баланс между этими качествами представляет собой многокритериальную проблему, направленную на извлечение максимальных возможностей из студента на основе его уникального набора навыков.

Почему страсть настолько важна?

Я помню, что у меня было несколько студентов, которые были исключительными в различных аспектах, но им не хватало искры страсти. Такая работа, с которой мы занимались, казалась для меня довольно обыденной и не вдохновляющей. Студент, олицетворяющий страсть, не только стремится к своему собственному развитию, но и возрождает мою энтузиазм по поводу предмета. Он ставит меня перед вызовом, погружает меня глубже в тему и делает процесс сотрудничества более стимулирующим. С другой стороны, студент, который просто выполняет задания, не стремясь к глубокому погружению, не вызывает той же самой восторженности. Такие ситуации чаще становятся просто галочками, чтобы убедиться, что они получат диплом, а не обогатительным обменом знаниями и идеями. Просто говоря, без страсти опыт становится транзакционным, лишенным яркости, которая делает академическое сотрудничество поистине наградным.

Вы предпочитаете делать несколько ценных вкладов, а не много статей, просто следуя подходу исследования по аналогии. Так как в исследовании по аналогии обычно мало новизны, это должно быть проводимо в университетах?

Этот вопрос поднимает фундаментальное соображение: цели университетов в исследовательской деятельности. Исследование по аналогии, конечно, имеет свое место – оно необходимо и со временем постепенно расширяет границы знания в определенных направлениях. Например, в контексте многокритериальной оптимизации за последние 18 лет произошло значительное прогресс, что привело к разработке улучшенных алгоритмов. Этот успех подтверждает роль исследования по аналогии.

Однако потенциальный недостаток заключается в чрезмерной полагаемости на исследование по аналогии, что может подавить прием новаторских идей. Новые идеи, когда они появляются, могут столкнуться с сопротивлением в системе, ценящей в основном инкрементальную работу. Следовательно, гармоничное сосуществование между двумя режимами исследования является необходимым. Учреждения, системы оценки и академические журналы должны стимулировать оба подхода. Исследование по аналогии служит основой для стабильного прогресса, в то время как развитие прорывных идей побуждает развитие сферы. Сосуществование обеспечивает то, что мы строим на основе существующих знаний, одновременно воплощаемые возможности, ведущие к неожиданным территориям. Будущее, лишенное любого из этих подходов, было бы менее оптимальным; поэтому поддержание сбалансированной экосистемы гарантирует, что сфера остается живой, адаптивной и готовой к росту.

Вы также поощряете это в своем журнале?

Я делаю все возможное, но это сложно, так как это не полностью зависит от меня. Результат зависит от вклада заместителей редактора и рецензентов. Хотя я стремлюсь не отклонять статьи с новаторскими идеями, это не всегда возможно. К сожалению, я должен признать, что встречаю статьи с по-настоящему новыми концепциями все реже. Особенно в этом году я рецензировал статью для конференции, в которой была исключительно интересная идея, которая завладела моим воображением. Это было самое замечательное открытие, которое я сделал за последние 15 лет. Однако такие случаи не часто встречаются.

Вычислительный интеллект исторически был разделен на эволюционные вычисления, нечеткую логику и нейронные сети. Последнее десятилетие было свидетелем прорывных разработок в нейронных сетях, особенно в моделях трансформера. Какую роль могут играть эволюционные вычисления в этом новом обзоре?

Я считаю, что эволюционные алгоритмы, традиционно используемые для развития нейронных архитектур, имеют еще не полностью раскрытый потенциал. Существует возможность разработки надежных оптимизаторов, которые могут без проблем интегрироваться с существующими алгоритмами, такими как Adam, для обучения нейронных сетей. В этой области было предпринято несколько попыток, например, подход метода роя частиц, но эти усилия в основном сосредоточены на проблемах меньшего масштаба. Тем не менее, я предвижу возникновение более сложных задач в годы, которые впереди.

Кроме того, кто-то, кого я знаю, решительно верит, что производительность глубокого обучения может быть воспроизведена с использованием генетического программирования. Эта идея может быть описана как “глубокое генетическое программирование”. Путем включения слоистых деревьев в генетическое программирование его структура будет похожа на структуру глубокого обучения. Это относительно неизведанная территория, отличающаяся от обычного подхода нейронных сетей. Возможные преимущества? Возможно, это может предложить более высокую вычислительную эффективность или даже повышенную точность. Но реальное преимущество остается на исследование.

Хотя существуют исследователи, использующие генетическое программирование для классификации, это не является широко распространенным применением. Генетическое программирование чаще всего используется для создания эвристик, особенно гипер-эвристик, относящихся к комбинаторной оптимизации. Я предполагаю, что ограниченное использование для отдельных задач классификации обусловлено вычислительными затратами, которые необходимы. Тем не менее, я надеюсь, что со временем и технологическим прогрессом мы увидим изменения.

В заключение, эволюционные вычисления по-прежнему имеют огромные просторы для исследования, будь то усиление нейронных сетей или противостояние им с помощью уникальных методологий. Здесь есть место для совместного сосуществования и инноваций.

Вы считаете фокус на нейронных сетях трендом или структурным сдвигом благодаря их превосходной производительности?

Многие специалисты в области искусственного интеллекта скажут вам, что это модно. Я не уверен; я считаю, что это очень мощный инструмент, и будет сложно превзойти глубокие нейронные сети. Возможно, это произойдет через 10-15 лет, но не сейчас. Их производительность настолько высока, что я с трудом могу представить любого недавнего конкурента, который сможет легко их опередить, особенно учитывая обширные исследования и разработки, вложенные в эту область. Возможно, через десятилетие или больше мы увидим изменения, но в настоящее время они кажутся непревзойденными.

Однако искусственный интеллект не сводится только к задачам, которыми в основном занимается глубокое обучение. Существует множество задач и областей искусственного интеллекта, которые не обязательно связаны с тем, чем в основном занимается глубокое обучение. Смещение нашего фокуса на эти более широкие задачи может быть полезным.

Одна из уязвимостей глубоких моделей обучения – их чувствительность к ‘пиксельным атакам’. Изменяя только один пиксель, который часто не заметен человеческому глазу, эти модели могут быть обмануты. Недавно эволюционные алгоритмы были использованы для выполнения таких “пиксельных атак”, проливая свет на слабости нейронных сетей. Кроме выявления этих уязвимостей, появляется возможность использовать эволюционные алгоритмы для улучшения устойчивости модели против таких уязвимостей. Это многообещающий путь и объединяет преимущества глубокого обучения и эволюционных алгоритмов.

Это завершение нашего интервью. Есть ли у вас последнее замечание?

Я бы хотел подчеркнуть, что исследования, независимо от области, притягивают тех, кто движим страстями. Страсть служит важным ингредиентом для всех, кто посвящает свою карьеру исследованиям. Использование инструментов может быть удовлетворительным, но истинное исследование включает поиск решений неизведанных проблем и установление связей между кажущимися различными компонентами. Воспитывание интереса среди молодого поколения имеет первостепенное значение. Наука постоянно нуждается в новых умах, полных креативности и готовых приниматься за все более сложные задачи. Учитывая критические проблемы, такие как изменение климата, загрязнение и нехватка ресурсов, роль науки в создании сложных решений становится ключевой для нашего выживания. Хотя не каждому может подойти исследовательская деятельность, для тех, кто к ней тяготеет, это наградное путешествие. Хотя оно не приводит к мгновенному обогащению, оно предлагает огромное удовлетворение от решения сложных проблем и вклада в наше понимание мира. Это источник волнения, удовольствия и достижений, чему я лично ценю на протяжении всего своего пути в этой области.

Это интервью проводится от имени BNVKI, Ассоциации искусственного интеллекта Бенелюкса. Мы объединяем исследователей по искусственному интеллекту из Бельгии, Нидерландов и Люксембурга.