Исследователи Microsoft предлагают открытый словарь ответственного визуального синтеза (ORES) с двухэтапной схемой вмешательства.

Researchers from Microsoft propose an open Responsible Visual Synthesis (ORES) dictionary with a two-step intervention scheme.

Модели визуального синтеза могут производить всё более реалистичные изображения благодаря развитию обучения моделей на большом масштабе. Ответственный искусственный интеллект становится всё более важным из-за увеличенной возможности использования синтезированных изображений, особенно для удаления определенных визуальных элементов во время синтеза, таких как расизм, сексуальная дискриминация и нагота. Однако ответственный визуальный синтез является очень сложной задачей по двум основным причинам. Во-первых, синтезированные изображения не должны содержать слова “Билл Гейтс” и “основатель Microsoft”. Во-вторых, не запрещенные части запроса пользователя должны быть точно синтезированы в соответствии с критериями пользователя. 

Существующие методы ответственного визуального синтеза могут быть разделены на три основные категории для решения вышеупомянутых проблем: улучшение входных данных, улучшение выходных данных и улучшение моделей. Первая стратегия, улучшение входных данных, сосредоточена на предварительной обработке запросов пользователей для соответствия требованиям администратора, такой как создание черного списка для фильтрации нежелательных элементов. В среде с открытым словарем сложно гарантировать полное исключение всех нежелательных элементов с помощью черного списка. Второй метод, улучшение выходных данных, включает постобработку созданных изображений для соответствия правилам администратора, например, путем идентификации и удаления контента, не подходящего для работы (NSFW), чтобы гарантировать пригодность вывода. 

С помощью этой техники сложно идентифицировать визуальные идеи с открытым словарем, которая зависит от модели фильтрации, обученной на определенных концепциях. Третья стратегия, улучшение моделей, пытается настроить модель в целом или конкретный компонент, чтобы понять и соответствовать критериям администратора, улучшая способность модели следовать заданным правилам и предоставлять материал, соответствующий указанным правилам и нормам. Однако предвзятость настройки данных часто накладывает ограничения на эти методы, что затрудняет достижение возможностей с открытым словарем. Возникает следующий вопрос: Как администраторы могут эффективно запретить создание произвольных визуальных идей, обеспечивая открытый словарь ответственного визуального синтеза? Например, пользователь может запросить создание “основателя Microsoft, пьющего вино в пабе” на рисунке 1. 

• Революционное восстановление речи исследование под руководством Стэнфордского университета представляет высокопроизводительный нейропротез для неограниченного общения
• Исследователи Университета Цюриха представляют Swift автономный беспилотный дрон, основанный на зрительном восприятии, способный обыгрывать человеческих чемпионов мира в нескольких справедливых гонках один на один.
• Исследователи из Виргинского технологического института и Microsoft представляют алгоритм мышления подход искусственного интеллекта, который улучшает исследование идей и способность рассуждать в больших языковых моделях (LLM).

В зависимости от географии, контекста и условий использования следует избегать различных визуальных концепций для соответствующего визуального синтеза.

Когда администратор вводит запрещенные идеи, такие как “Билл Гейтс” или “алкоголь”, ответственный вывод должен пояснить концепции, аналогично выраженные в повседневной речи. Исследователи из Microsoft предлагают новую задачу, называемую открытым словарем ответственного визуального синтеза (ORES), основанную на вышеупомянутых наблюдениях, где модель визуального синтеза может избегать произвольных визуальных элементов, не явно указанных, позволяя пользователям вводить нужную информацию. Затем представлена структура двухэтапного вмешательства (TIN). Она может успешно синтезировать изображения, избегая определенных представлений и, по возможности, соответствуя запросу пользователя путем 1) переписывания с обучаемыми инструкциями с использованием модели языка большого масштаба (LLM) и 2) синтезирования с быстрым вмешательством на модель синтеза диффузии. 

Под руководством обучаемого запроса TIN конкретно применяет CHATGPT для переписывания вопроса пользователя в защищенный от рисков запрос. В промежуточном этапе синтезирования TIN вмешивается в синтезирование, заменяя запрос пользователя защищенным от рисков запросом. Они разрабатывают бенчмарк, связанные базовые модели, BLACK LIST и NEGATIVE PROMPT, и общедоступный набор данных. Они объединяют модели языка большого масштаба и модели визуального синтеза. По их сведениям, они являются первыми, кто исследует ответственный визуальный синтез в ситуации с открытым словарем. 

В приложении их код и набор данных доступны каждому. Они внесли следующие вклады: 

• С подтверждением его жизнеспособности они предлагают новую задачу ответственного визуального синтеза с открытым словарем (ORES). Они разрабатывают бенчмарк с соответствующими базовыми моделями, создают общедоступный набор данных и делают все это. 

• Как успешное средство для ОРС, они предлагают двухэтапную интервенцию (ТИН) фреймворк, который включает:

1) Переписывание с обучаемым обучением через модель большого масштаба языка (МБМ)

2) Синтез с быстрой интервенцией через модель диффузионного синтеза

• Исследование показывает, что их подход значительно снижает вероятность неподходящего развития модели. Они демонстрируют способность МБМ к ответственному визуальному синтезу.