Раскрытие байесовских потоковых сетей новая граница в генеративном моделировании

Bayesian generative modeling unveiling new boundaries in stream networks

Генеративное моделирование относится к безнадзорному машинному обучению, где модель изучает образцы во входных данных. Используя это знание, модель может самостоятельно генерировать новые данные, которые относятся к исходному набору данных для обучения. В области генеративного искусственного интеллекта и используемых сетей, таких как авторегрессионные модели, глубокие вариационные автокодировщики и модели диффузии, было сделано множество совершенствований. Однако эти модели имеют некоторые недостатки в случае непрерывных или дискретных данных.

Исследователи представили новый тип генеративной модели, называемой байесовскими потоковыми сетями (BFNs). Мы можем представить BFNs с помощью Алисы и Боба. Боб начинает с базового начального распределения. Он использует его параметры в нейронной сети, чтобы получить параметры для нового “распределения вывода”. Алиса добавляет шум в данных спланированным образом, чтобы создать “распределение передатчика”. Боб комбинирует распределение вывода с тем же шумом, чтобы создать “распределение получателя”. Он объединяет гипотетические распределения передатчика для всех возможных значений данных, учитывая их вероятности согласно распределению вывода.

Алиса отправляет образец из ее распределения передатчика Бобу. Боб обновляет свое начальное распределение, используя байесовские правила на основе этого образца. Обновления работают легко, если начальное распределение моделирует каждую переменную данных отдельно. Боб повторяет процесс в нескольких шагах. В конечном итоге его прогнозы становятся достаточно точными, чтобы Алиса могла отправлять данные без шума.

• Line Open-Source представляет jапонскую модель языка japanese-large-lm с 3,6 миллиарда параметров.
• Эта статья об искусственном интеллекте из Китая предлагает агента планирования задач (TaPA) вкорененных задач для закрепленного планирования с физическими ограничениями сцены
• Монтаж видео больше не является проблемой INVE – это метод искусственного интеллекта, который позволяет интерактивное редактирование видео с помощью нейронных сетей.

Описанный процесс, в свою очередь, создает функцию потерь для n шагов, которая также может быть расширена на непрерывное время, учитывая бесконечное количество шагов. В непрерывном времени байесовские обновления становятся байесовским потоком информации от данных к сети. BFN, обученная с использованием функции потерь в непрерывном времени, может выполняться для любого числа дискретных шагов во время вывода и выборки, при этом производительность улучшается с увеличением числа шагов.

Для непрерывных данных BFNs наиболее близки к вариационным моделям диффузии с очень похожей функцией потерь в непрерывном времени. Основное отличие в этом случае заключается в том, что входы сети в BFNs значительно менее шумны, чем в вариационной и диффузионной моделях непрерывной диффузии. Это связано с тем, что, как правило, генеративный процесс BFNs начинается с параметров фиксированного априорного распределения, тогда как в моделях диффузии он начинается с чистого шума.

Исследователи разработали структуру BFNs для применения к непрерывным, дискретным, дискретизированным данным. Экспериментальные результаты были проведены на CIFAR-10 (32×32 цветных изображений с 8-битным разрешением), динамически бинаризованном MNIST (28×28 бинаризованных изображений рукописных цифр) и text8 (последовательностях символов длиной 256 с алфавитом размером 27), и BFN показала лучшие результаты на всех испытаниях. Это исследование представило новую перспективу на BFNs в генеративном моделировании и открыло больше возможностей в этой области.