Исследователи из Стэнфордского университета представляют Spellburst среду для творческого программирования, основанную на большой языковой модели (LLM).

Исследователи из Стэнфордского университета представляют Spellburst - среду для творческого программирования на основе большой языковой модели (LLM).

Создавая потрясающие цифровые произведения искусства, генеративные художники часто сталкиваются с сложностями кодирования. Используя языки программирования, такие как Processing или инструменты текст-в-изображение на основе ИИ, они превращают свои воображаемые видения в сложные строки кода, что приводит к ошеломляющим визуальным композициям. Однако этот процесс может быть трудоемким и вызывать разочарование из-за итеративной природы проб и ошибок. В то время как традиционные художники могут легко корректировать свои работы карандашом или кистью, генеративные художники должны оперировать в непрозрачных интерфейсах, что приводит к творческим затруднениям.

Существующие решения пытаются смягчить эти проблемы, но часто не обеспечивают необходимого уровня контроля и гибкости, которые требуются художникам. Большие языковые модели, хотя и полезны для генерации начальных концептов, имеют проблемы с предоставлением тонкой настройки деталей, таких как текстуры, цвета и узоры. Вот где вступает Spellburst как новаторский инструмент, разработанный учеными из Стэнфордского университета.

Spellburst использует мощь передовой языковой модели GPT-4 для упрощения процесса перевода художественных идей в код. Он начинается с того, что художник вводит начальное задание, например, “изображение витража красивого яркого букета роз”. Затем модель генерирует соответствующий код, чтобы оживить эту концепцию. Однако то, что отличает Spellburst, это его способность выходить за рамки начальной генерации. Если художник хочет изменить оттенки цветов или настроить внешний вид витража, он может использовать динамические ползунки или добавить конкретные заметки о модификации, такие как “сделать цветы темно-красными”. Этот уровень контроля позволяет художникам делать тонкие настройки, обеспечивая верную реализацию их видения.

• Исследователи из MIT и Microsoft представляют DoLa новую стратегию декодирования искусственного интеллекта, направленную на снижение галлюцинаций в моделях глубокого обучения с ограниченной памятью (LLMs).
• Исследователи Массачусетского технологического института представляют новую легкую многоуровневую модель внимания для сегментации по смыслу на устройстве.
• Исследователи из Университета Хериот-Уатт и Alana AI предлагают FurChat нового агента эмбодиментной беседы на основе больших языковых моделей.

Кроме того, Spellburst облегчает объединение различных версий, позволяя художникам объединять элементы из различных итераций. Например, они могут указать инструменту “объединить цвет цветов из версии 4 с формой вазы из версии 9”. Эта функция открывает новое поле творческих возможностей, позволяя художникам плавно экспериментировать с различными визуальными элементами.

Одним из ключевых преимуществ Spellburst является его способность переходить от исследования на основе заданных заданий к редактированию кода. Художники могут просто щелкнуть по сгенерированному изображению, чтобы увидеть основной код, предоставляя им детальный контроль для точной настройки. Это объединение семантического пространства и кода предоставляет художникам мощный инструмент для итеративного совершенствования их творений.

При тестировании Spellburst исследовательская команда Стэнфордского университета получила обратную связь от 10 экспертов-кодеров. Ответы были в основном положительными, с отчетами художников о том, что инструмент не только ускоряет переход от семантического пространства к коду, но также способствует исследованию и упрощает творческие прорывы. Это новое увеличение эффективности может изменить подход генеративных художников к их ремеслу, что может привести к взрывному росту инновационных и захватывающих цифровых произведений искусства.

В то же время следует отметить ограничения Spellburst. Некоторые задания могут привести к неожиданным результатам или ошибкам, особенно при объединении версий. Кроме того, эффективность инструмента может варьироваться для разных художников, и обратная связь, полученная от небольшой выборки, может не отразить всю шкалу опыта в сообществе генеративных художников.

В заключение, Spellburst представляет собой значительный прогресс в области генеративного искусства. Предлагая безупречный интерфейс между художественным видением и выполнением кода, он дает художникам возможность раскрыть свою творческую энергию с невиданной точностью. Подготовка инструмента к открытому исходному коду в этом году открывает потенциал не только для революции в рабочих процессах опытных художников-кодеров, но также для использования в качестве ценного учебного инструмента для новичков, которые рискнули попробовать свои силы в мире код-ориентированного искусства. С Spellburst будущее генеративного искусства выглядит более ярким и доступным, чем когда-либо прежде.