Эта искусственная интеллект статья предлагает COLMAP-бесплатное трехмерное гауссово наложение (CF3DGS) для синтеза нового вида без известных параметров камеры.
COLMAP-бесплатное трехмерное гауссово наложение (CF3DGS) синтез нового вида без известных параметров камеры
<img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/ezgif-4-e22604089e.gif”/><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/ezgif-4-e22604089e-150×150.gif”/><p>Прогресс в нейронной отрисовке привел к значительным прорывам в реконструкции сцен и генерации новых точек обзора. Однако его эффективность в значительной степени зависит от точного предварительного вычисления позиций камеры. Чтобы минимизировать эту проблему, сделано много усилий по обучению Neural Radiance Fields (NeRFs) без предварительного вычисления позиций камеры. Однако неявное представление NeRFs затрудняет одновременную оптимизацию 3D-структуры и позиций камеры. </p><p>Исследователи из Университета Калифорнии в Сан-Диего, NVIDIA и Университета Калифорнии в Беркли представили COLMAP-Free 3D Gaussian Splatting (CF-3DGS), которая улучшает два ключевых аспекта: временную непрерывность по видео и явное представление облака точек. Вместо оптимизации всех кадров сразу, CF-3DGS строит 3D-гауссианы сцены в непрерывной форме, “растущей” одну структуру за раз при движении камеры. CF-3DGS извлекает локальный набор 3D-гауссиан для каждого кадра и поддерживает глобальный набор 3D-гауссиан для всей сцены. </p><figure><img alt=”” src=”https://ai.miximages.com/www.marktechpost.com/wp-content/uploads/2023/12/Screenshot-2023-12-18-at-1.41.59-AM-1024×632.png”/><figcaption>https://arxiv.org/abs/2312.07504</figcaption></figure><p>Для генерации реалистических изображений с различных точек обзора применяются различные 3D-представления сцен, включая плоскости, сетки, облака точек и многослойные изображения. NeRFs (Neural Radiance Fields) заслужили признание в этой области благодаря исключительной способности к фотореалистичной отрисовке. Метод 3DGS (3D Gaussian Splatting) обеспечивает реально-временную отрисовку обзоров с использованием чисто явного представления и дифференциального точечного метода сглаживания. </p><p>Метод CF-3DGS синтезирует изображения без известных параметров камеры. Он одновременно оптимизирует 3DGS и позиции камеры. Он использует локальный метод 3DGS для оценки относительной позиции камеры по близлежащим кадрам и глобальный процесс 3DGS для постепенного расширения 3D-гауссианы для необозреваемых видов. CF-3DGS использует явное облако точек для представления сцен и использует возможности 3DGS и непрерывности в видеопотоках. Он последовательно обрабатывает входные кадры, постепенно расширяя 3D-гауссианы для реконструкции сцены. Этот подход обеспечивает быструю скорость обучения и вывода. </p><figure><img alt=”” src=”https://ai.miximages.com/lh7-us.googleusercontent.com/dSh4Rzkfco5aBk1qSHMdInpLrbXV3Js7v6qsAFI2J8d2IJkGh5wtE8d8mjqn37N0zyoDPtkWpNz4rmpyyVEDgz58Nrug3JapKPTYyBKKBDd4BzSKFZJ3SVn0s5nwMQnuohUYmAfdr8A24k-qeNCW8ck”/><figcaption>https://arxiv.org/abs/2312.07504</figcaption></figure><p>Метод CF-3DGS достигает более высокой надежности в оценке позы и лучшего качества синтеза новых видов обзора по сравнению с предыдущими передовыми методами. Метод был проверен на видео CO3D, которые представляют более сложные и сложные движения камеры, и он превосходит метод Nope-NeRF по качеству синтеза видов обзора. Подход последовательно превосходит Nope-NeRFe по всем метрикам оценки позиции камеры на наборе данных CO3D V2, что демонстрирует его надежность и точность в оценке позиций камеры, особенно в случаях с сложными движениями камеры. </p><p>В заключение, CF-3DGS – это метод, который эффективно и надежно синтезирует виды с использованием временной непрерывности видео и явного представления облака точек без необходимости предварительной обработки Structure-from-Motion (SfM). Он оптимизирует позу камеры и 3DGS одновременно, что делает его применимым прежде всего для видеопотоков или упорядоченных коллекций изображений. Он также имеет потенциал для будущего расширения применения для неупорядоченных коллекций изображений. </p>
