Встречайте POCO новый инновационный фреймворк искусственного интеллекта для оценки трехмерной позы и формы человека

Познакомьтесь с новейшим инновационным фреймворком POCO, который использует искусственный интеллект для оценки трехмерной позы и формы человека

Оценка трехмерной позы и формы человека (HPS) на основе фотографий и движущихся изображений необходима для восстановления действий человека в реальных условиях. Однако вывод 3D изображения из 2D изображений представляет значительные трудности из-за таких факторов, как неоднозначность глубины, осложнение, необычная одежда и размытость движения. Даже самые передовые методы HPS допускают ошибки и часто не осведомлены об этих ошибках. HPS это промежуточная задача, результаты которой используются следующими задачами, такими как понимание человеческого поведения или приложения трехмерной графики. Эти задачи требуют механизма для оценки точности результатов HPS и, следовательно, эти методы должны производить значение неопределенности (или уверенности), которое коррелирует с качеством HPS.

Один из подходов к решению этой неопределенности заключается в выводе нескольких изображений, однако здесь все же отсутствует явная мера неопределенности. Существуют исключения, которые оценивают распределение по параметрам фигуры. Один из подходов – вычисление неопределенности путем генерирования выборок из распределения по фигурам и вычисление стандартного отклонения этих выборок. Хотя этот метод является действительным, он имеет два ограничения: он медленный, так как требует нескольких проходов сети для генерации выборок, и он заменяет точность на скорость. Чем больше выборок, тем выше точность, но растут вычислительные требования.

Недавно был разработан подход, который позволяет обойтись без явного надзора, обучая сеть выводить как параметры фигуры, так и неопределенность одновременно. Под влиянием работы над семантической сегментацией, он использует функцию базовой плотности, основанную на гауссе, но признает необходимость более сложных распределений для моделирования поз человека. Методы прямой оценки неопределенности обычно включают в себя функцию базовой плотности и сеть масштабов. Существующие методы используют безусловную функцию базовой плотности и полностью полагаются на характеристики изображения для сети масштабов. Этот подход хорошо работает, когда выборки имеют схожее распределение, но обладает недостатками при обработке разнообразных наборов данных, необходимых для надежных моделей 3D HPS.

• Познакомьтесь с xVal непрерывным способом кодирования чисел в языковых моделях для научных приложений, который использует только один токен для представления любого числа.
• Является ли многоязычный искусственный интеллект действительно безопасным? Раскрытие уязвимостей больших языковых моделей в языках с ограниченными ресурсами.
• Эта статья AI представляет DSPy программную модель, которая абстрагирует конвейеры языковых моделей в виде графов преобразования текста.

Авторы представляют POCO (“POse and shape estimation with COnfidence”), новую рамку для стандартных методов HPS, решающую эти задачи. POCO расширяет эти методы для оценки неопределенности. За одну прямую передачу, POCO непосредственно выводит как параметры тела Skinned Multi-Person Linear Model (SMPL), так и регрессионную неопределенность, которая тесно коррелирует с качеством восстановления. Ключевым новшеством в этой рамке является стратегия двойной кондиционирования (DCS), которая улучшает базовую функцию плотности и сеть масштабов. Обзор рамка представлен на рисунке ниже.

В отличие от предыдущих подходов, POCO вводит условный вектор (Cond-bDF) для моделирования базовой функции плотности ошибок позы. Вместо использования простой кодировки источника данных one-hot, POCO использует характеристики изображения для кондиционирования, что позволяет более масштабируемое обучение на разнообразных и сложных наборах изображений. Кроме того, авторы POCO предлагают усовершенствованный подход для оценки неопределенности в моделях HPS. Они используют характеристики изображения и кондиционируют сеть на позу SMPL, что приводит к улучшению восстановления позы и лучшей оценке неопределенности. Их метод может быть легко интегрирован в существующие модели HPS, улучшая точность без недостатков. В исследовании утверждается, что этот подход превосходит передовые методы в коррелировании неопределенности с ошибками позы. Результаты, отображенные в их работе, приведены ниже.

Это было краткое описание POCO, новой искусственной интеллектуальной платформы для оценки позы и формы трехмерного человека. Если вас это заинтересовало и вы хотите узнать больше, пожалуйста, обратитесь к ссылкам, указанным ниже.