Исследование ИИ из Китая представляет GS-SLAM новый подход для улучшенного трехмерного картографирования и локализации

Исследование ИИ из Китая разрабатывает новый подход GS-SLAM для более точного трехмерного картографирования и локализации

Исследователи из Шанхайской лаборатории искусственного интеллекта, университета Фудан, Северо-Западного политехнического университета и Гонконгского университета науки и технологий сотрудничали для разработки системы одновременного локализации и картирования (SLAM) на основе 3D гауссовой модели, названной GS-SLAM. Целью плана является достижение баланса между точностью и эффективностью. GS-SLAM использует пайплайн рендеринга с использованием дифференцируемой разностной схемы в реальном времени, адаптивную стратегию расширения и метод грубо к точно для улучшения отслеживания положения, что уменьшает время выполнения и обеспечивает более надежную оценку. Система продемонстрировала конкурентоспособную производительность на наборах данных Replica и TUM-RGBD, превосходя другие методы в реальном времени.

Исследование рассматривает существующие системы SLAM визуализации в режиме реального времени, включая методы, основанные на ручной настройке функций, впечатлениях глубинного обучения и подходах на основе NeRF. Оно подчеркивает отсутствие исследований о расчете положения камеры и картировании в реальном времени с использованием 3D гауссовых моделей до появления GS-SLAM. GS-SLAM инновационно включает 3D гауссову модель, используя пайплайн рендеринга с дифференцируемой разностной схемой и адаптивную стратегию расширения для эффективного восстановления сцены. По сравнению с установленными методами SLAM в реальном времени, этот метод демонстрирует конкурентоспособную производительность на наборах данных Replica и TUM-RGBD.

Исследование решает проблемы традиционных методов SLAM в достижении подробного картирования плотных карт и представляет новый подход GS-SLAM к плотному SLAM с использованием RGB-D. GS-SLAM использует 3D гауссову модель сцены и пайплайн рендеринга с дифференцируемой разностной схемой для повышения баланса между скоростью и точностью. Предлагается адаптивная стратегия расширения для эффективного восстановления геометрии сцены, в то время как метод грубо к точно улучшает оценку положения камеры. GS-SLAM демонстрирует улучшенную производительность отслеживания, картирования и воспроизведения, предлагая значительное развитие в возможностях плотного SLAM для робототехники, виртуальной реальности и дополненной реальности.

• Революционизируя цифровое искусство исследователи из Сеульского национального университета предлагают новый подход к созданию коллажей с использованием обучения с подкреплением.
• Это исследование искусственного интеллекта представляет GAIA испытание, определяющее следующий этап достижений в общей пригодности искусственного интеллекта.
• Исследователи из Meta AI представляют Style Tailoring рецепт преобразования текста в наклейки для точной настройки моделей скрытого распространения (LDM) в отдельной области с высоким качеством визуального представления

GS-SLAM использует 3D гауссову модель и пайплайн рендеринга с дифференцируемой разностной схемой для картирования и повторного рендеринга RGB-D. Он имеет адаптивную стратегию расширения для восстановления геометрии сцены и улучшения картирования. Отслеживание камеры использует метод грубо к точно для надежного выбора 3D гауссовой модели, что уменьшает время выполнения и обеспечивает надежную оценку. GS-SLAM демонстрирует конкурентоспособную производительность по сравнению с методами SLAM в реальном времени на наборах данных Replica и TUM-RGBD, предлагая эффективное и точное решение для задач одновременной локализации и картирования.

GS-SLAM превосходит NICE-SLAM, Vox-Fusion и iMAP на наборах данных Replica и TUM-RGBD. Он достигает сравнимых результатов с CoSLAM по разным показателям. GS-SLAM отображает четкие границы и детали в созданной сетке, обеспечивая превосходную производительность восстановления. Он превосходит Point-SLAM, NICE-SLAM, Vox-Fusion, ESLAM и CoSLAM в отслеживании. GS-SLAM подходит для приложений в реальном времени с скоростью запуска около 5 кадров в секунду.

Эффективность GS-SLAM зависит от наличия высококачественной глубинной информации, опираясь на считывания датчика глубины для инициализации и обновления 3D гауссовых моделей. Метод потребляет большое количество памяти при работе с крупными сценами, и в планах на будущее планируется устранение этого ограничения с помощью интеграции нейронных моделей сцены. В то время как исследование признает эти ограничения, требуются дальнейшие исследования для более полного анализа потенциальных ограничений адаптивной стратегии расширения и метода грубо к точно для отслеживания камеры.

В заключение, GS-SLAM – это перспективное решение для задач плотного визуального SLAM, которое предлагает сбалансированную комбинацию скорости и точности. Использование адаптивной стратегии расширения 3D гауссовой модели и метода грубо к точно для отслеживания камеры создает динамичное и детальное восстановление карты и надежную оценку положения камеры. Несмотря на зависимость от высококачественной глубинной информации и большого использования памяти в большомасштабных сценах, GS-SLAM продемонстрировал конкурентоспособную производительность и превосходное качество воспроизведения, особенно в областях деталей границ. В планах дальнейшие улучшения путем интеграции нейронной модели сцены.