Свобода от ограничений Валидация машинных галлюцинаций в Музее современного искусства

Свобода от ограничений валидация машинных галлюцинаций в Музее современного искусства

С 1929 года Музей современного искусства (MoMA) в Нью-Йорке служит меккой для любителей искусства. Это маяк, который освещает авангардные картины и скульптуры, и так как определение “современного искусства” постоянно меняется, меняются и его коллекции. Теперь этого уважаемого учреждения признают цифровое искусство.

В качестве ведущего научного сотрудника по данным для Refik Anadol Studio (RAS), работающего в сотрудничестве с Рефиком Анадолом, я в восторге от того, что наша работа “Unsupervised” принята в MoMA.

В RAS мы приносим эстетику данных широкой публике, показывая, что потенциал искусственного интеллекта превосходит генерацию текста. Мы живем, чтобы видеть человеческое воздействие нашего искусства – как оно влияет на людей всех возрастов и социальных групп на эмоциональном уровне. Это общий человеческий опыт, и очень доступный.

“Unsupervised” запечатлено gottalovenewyork на YouTube

• Отчет о зарплатах специалистов в области Data Science и искусственного интеллекта Burtch Works 2023 года уже здесь!
• Создание разговорной интеллектуальности Влияние машинного обучения на персонализированное автоматическое текстовое общение
• Мгновенная инженерия – это не такое дело

Искусство, созданное искусственным интеллектом, конечно, не обходится без контроверзий. Одно из самых широко распространенных заблуждений заключается в том, что цифровое искусство в целом и искусство, созданное искусственным интеллектом в частности, не являются законным видом искусства. Однако, даже искусство, созданное искусственным интеллектом, не полностью создается машинами. Оно требует человеческого прикосновения. Как видение “Unsupervised”, Анадол создает искусство из необработанных данных. Это новое в цифровом искусстве. Ранее, художники, предшествовавшие ему, использовали данные, чтобы следовать шаблону и создавать факсимиле уже существующего. Работа Рефика – это совершенно другое.

Представление машинных галлюцинаций

В RAS я руковожу командой из семи научных сотрудников по данным. Мои дни наполнены наблюдением, рецензированием и написанием кода, а также прямым общением с клиентами и планированием проектов. Кажется, что это не слишком художественно, но на данный момент я собрал более трех миллиардов изображений, чтобы использовать их в качестве топлива для генерируемого искусством искусственного интеллекта. Учитывая, что мои дни наполнены мелкими деталями кодирования и наборами данных, отойти на шаг назад и взглянуть на все, что создал RAS, – это потрясающий опыт.

Позвольте мне рассказать вам, каково это испытать “Unsupervised”. Вообразите: вы входите в холл MoMA. Сначала покажется, что вы заходите в любой другой музей искусства. Но если вы посмотрите вокруг, вас внезапно поразит вид этого гигантского экрана (24′ на 24′), окруженного сидящими и стоящими людьми – все смотрят на выставку.

Сама экспозиция постоянно движется. Она постоянно меняется, показывая ошеломляющие цвета и формы. То, что вы видите, зависит от того, на какую главу экспозиции вы наткнетесь, когда войдете в MoMA, а также от аудио в реальном времени, отслеживания движения и данных о погоде из холла.

Кристиан Берк стоит перед экспонатом в MoMA

“Unsupervised” стремится ответить на вопрос: “Если машина сама испытает коллекцию MoMA, о чем она будет мечтать или галлюцинировать?” Путем объединения данных из всех коллекций MoMA и их экстраполяции для формирования этих машинных галлюцинаций “Unsupervised” проводит зрителей через историю самого искусства и бросает свет на потенциальное будущее искусства.

Искусство иногда стремится говорить о более широких общественных проблемах. Если вы ищете одно общее представление о “Unsupervised”, то это указывает на поворотный момент в легитимизации цифрового искусства, созданного искусственным интеллектом. MoMA является для мира искусства тем, чем ядерная фузия для физиков – своего рода Святой Грааль. Факт, что MoMA выбрал показать это исследование того, как компьютеры обрабатывают данные – как они “думают”, создают и галлюцинируют – служит подтверждением для Анадола и других цифровых художников.

Но не все, кто посещает “Unsupervised”, обязательно думают о машинах и их мечтах. Когда вы входите в холл MoMA, вы увидите разнообразный спектр людей – от маленьких детей, бегающих вокруг, до пожилых людей и представителей всех сфер жизни – наслаждаясь этим интенсивным общим опытом. Мне также захватывающе наблюдать за людьми, смотрящими на экспозицию, как и само “Unsupervised”. Я видел, как люди плакали. Я видел выражения радости и любви. Я сам не художник, но я верю, что у него есть исцеляющие свойства. Я также верю, что во всем, что люди делают, есть искусство, если только вы обратите достаточно пристальное внимание на то, чтобы делать что-то хорошо. Даже в написании кода может быть искусство.

Партнерство между людьми и искусственным интеллектом

Человеческим художникам требуются технические навыки для создания произведений искусства. Они должны понимать такие вещи, как передача тональности, перспектива, симметрия и даже анатомия человека. “Unsupervised” берет технические аспекты искусства на новый уровень, создавая партнерство между людьми и искусственным интеллектом.

RAS создал “Unsupervised” с использованием данных более чем 180 000 произведений искусства в Музее Модерного Искусства. Произведения Ворхола, Пикассо, Боччони и даже изображения Пакмана были загружены в программное обеспечение. Затем мы создали различные модели искусственного интеллекта и тщательно их протестировали. После выбора лучшей модели, мы обучили ее создавать не просто синтез всех произведений искусства, загруженных в нее, а что-то новое.

“Unsupervised” не просто сумма своих частей; это нечто совершенно новое. Все, что создает выставка, является оригинальным благодаря нашей художественной обработке.

Партнерство между людьми и машинами потребовало новых инноваций как в области аппаратного, так и в области программного обеспечения. Нашей команде пришлось столкнуться с рядом сложностей при создании необходимой нейронной сети и обеспечении выставки непрерывного преобразования ее изображений в реальном времени в ответ на уникальные факторы окружающей среды.

Одной из проблем было разрешение. Если вы вводите запрос в Stable Diffusion, обычно вы получаете изображение с разрешением 512 на 512 пикселей. Основа искусственного интеллекта, которую мы использовали – StyleGAN от Nvidia – обычно обеспечивает разрешение 1024 на 1024 пикселя. Разрешение “Unsupervised” составляет 3840 на 3960, что, возможно, является самым высоким разрешением для нейронной сети, синтезирующей изображения. Когда вы входите в холл Музея Модерного Искусства и видите “Unsupervised”, вы поймете, почему высокое разрешение так важно. Оно оживляет искусство, делая его почти живым существом, способным выйти за пределы экрана.

Еще одной значительной проблемой был аспект реального времени. “Unsupervised” производит свои машинные галлюцинации и мечты с жидкой плавностью. Эти машинные галлюцинации возникают из синтеза более 180 000 произведений искусства и учитывают текущие факторы.

В здании недалеко от Музея Модерного Искусства есть метеостанция, которая собирает данные о погоде. Мы подали эти данные в “Unsupervised”, что означает, что вне зависимости от того, облачно, солнечно, дождливо или туманно, машина учитывает атмосферу внешнего мира в своем внутреннем отображении.

Во-вторых, выставка включает в себя данные в реальном времени от самих зрителей. Камера, установленная на потолке холла, передает данные в машину о количестве посетителей и их движениях. Затем машина учитывает эти данные при отображении своих художественных мечтаний.

Существует вечный вопрос: имитирует ли жизнь искусство больше, чем искусство имитирует жизнь? Для “Unsupervised” ответ явно оба.

Даже когда зрители выставки эмоционально откликаются на демонстрацию, они сами влияют на то, как “Unsupervised” выглядит.

Видео выставки Unsupervised в Музее Модерного Искусства, снятое Ирмой Зандль, доступно на YouTube

Аналогично, сотрудничество между искусственным интеллектом и людьми – это двусторонняя улица. Можно сказать, что цифровое искусство включает добавление нескольких дополнительных технических навыков к традиционному художественному процессу. Однако я люблю думать о нем как о взаимодействии.

Цифровое искусство действительно включает добавление технических инструментов к художественному процессу, таким как модели диффузии и инженерия промптов. С другой стороны, искусственный интеллект сам устраняет некоторые преграды, необходимые для вхождения в мир искусства. Предположим, что мне нравится рисовать, но я ужасно рисую людей. Искусственный интеллект позволяет мне преодолеть эту проблему, устраняя технические ограничения.

Будущее искусственного интеллекта

“Unsupervised” продлил свое пребывание в Музее Модерного Искусства несколько раз благодаря популярному спросу, и машинные галлюцинации могут продолжаться бесконечно. В будущем я хотел бы увидеть еще большее признание цифрового искусства, созданного искусственным интеллектом. Модели будут продолжать улучшаться, и, надеюсь, технология станет доступнее для всех.

ИИ может стать средством демократизации мира искусства, повышая его доступность, но на данный момент существует технический барьер. Я хотел бы видеть доступные ИИ-инструменты с более простым и интуитивным интерфейсом, что помогло бы снизить уровень технической подготовки. Одним из новых проектов, которым мы сейчас занимаемся в RAS, являются веб-интегрированные инструменты, которые позволят людям более легко использовать и взаимодействовать с ИИ. Это является нашей основной целью в RAS: создать возможность более тесного взаимодействия с ИИ.

Поскольку для создания проекта “Unsupervised” требовалось значительное вмешательство человека, меня иногда спрашивают, думаю ли я, что ИИ всегда будет требовать такого вмешательства. По крайней мере на данный момент ответ однозначно “да”. ИИ отлично справляется с многими вещами, такими как синтез, но он не компетентен в масштабной инженерии и инновациях.

Искусство, созданное при помощи ИИ, может выглядеть креативным, но сам ИИ не является креативным. Фактически, он противоположен креативности. Если мы хотим продолжать двигаться вперед и достигать прогресса в ИИ и технологиях в целом, нам придется полагаться на себя, а не на машины.

---

Примечание автора: Музей современного искусства (MoMA) предоставил студии Refik Anadol (RAS) разрешение на использование их обучающих данных.

Кристиан Бёрк руководит командами по науке о данных в студии Refik Anadol, включая ИИ, машинное обучение, веб-разработку и разработку Web3.

Вы можете следить за Кристианом в Twitter и LinkedIn.