Можем ли мы создавать карты крупномасштабных сцен в режиме реального времени без использования ускорения с помощью GPU? Эта научная статья ознакамливает с «ImMesh» – передовым методом локализации и создания мешей на основе данных LiDAR.

Локализация и создание мешей в реальном времени без GPU введение в передовой метод «ImMesh» на основе данных LiDAR

Обеспечивая виртуальную среду, соответствующую реальному миру, последнее широкое распространение 3D-приложений, включая метавселенную, виртуальную и дополненную реальность, видеоигры и физические симуляторы, улучшило человеческий образ жизни и повысило производительную эффективность. Эти программы основаны на треугольных сетках, которые заменяют сложную геометрию реальной среды. Большинство современных 3D-приложений опираются на треугольные сетки, которые представляют собой набор вершин и треугольных граней, как основной инструмент для моделирования объектов. Безрассудная способность этих сеток ускорять рендеринг и лучевую трассировку, а также их полезность в симуляции сенсоров, плотной картографии и обследовании, динамике твердого тела, обнаружении столкновений и других областях, является неоспоримой. Однако на данный момент эти сетки в основном создаются талантливыми 3D-моделистами с использованием CAD-программ, что затрудняет массовое производство сеток для больших сцен. Поэтому одной из важных тем в сообществе 3D-восстановления является разработка эффективного подхода к созданию сеток, способного выполнять реконструкцию сцены в реальном времени, особенно для больших сцен.

Одно из самых сложных заданий в области компьютеров, робототехники и 3D-зрения – это реконструкция сетки больших сцен в режиме реального времени на основе данных сенсоров. Это включает в себя создание поверхностей сцены с близкими друг к другу треугольными гранями, связанными ребрами. Построение геометрической структуры с высокой точностью необходимо для успешного выполнения этой сложной задачи, а также для воссоздания треугольных граней на поверхностях реального мира.

Для достижения цели реконструкции сетки в реальном времени и одновременной локализации недавнее исследование Университета Гонконга и Южного Университета Науки и Технологии представляет SLAM-фреймворк под названием ImMesh. ImMesh – это тщательно разработанная система, которая полагается на четыре взаимозависимых модуля, работающих вместе для достижения точных и эффективных результатов. ImMesh использует сенсор LiDAR для выполнения одновременной реконструкции сетки и локализации. ImMesh содержит новый алгоритм реконструкции сетки, основанный на их предыдущей работе VoxelMap. Более конкретно, предлагаемый модуль сетки использует воксели для разделения трехмерного пространства и обеспечивает быстрое определение вокселей, содержащих точки из новых сканирований. Следующий шаг в эффективной сеточной организации – это уменьшение размерности, что превращает проблему трехмерной сеточной организации по вокселям в двумерную проблему. В последней стадии используются процедуры пуллинга, коммита и пуша по воксельной сетке для инкрементального воссоздания треугольных граней. Команда утверждает, что это первое опубликованное усилие по пересозданию треугольных сеток масштабных сцен в реальном времени с использованием обычного процессора.

• Может ли искусственный интеллект действительно понять наши эмоции? В этой статье исследуется продвинутое распознавание эмоций лиц с помощью моделей Vision Transformer AI.
• В поисках искусственного общего интеллекта (ИОИ) Когда ИИ достигает сверхспособностей
• «Как роботы учатся просить о помощи»

Исследователи тщательно проверили время выполнения и точность воссоздания сетки ImMesh, используя синтетические и реальные данные, сравнивая результаты с известными базовыми значениями, чтобы оценить его работу. Они начали с демонстрации видео в режиме реального времени, где сетка была быстро воссоздана во время сбора данных для общей оценки производительности. Затем они протестировали систему на предмет возможности выполнения в реальном времени, тщательно проверяя ImMesh с использованием четырех общедоступных наборов данных, полученных четырьмя различными датчиками LiDAR в разных сценариях. Наконец, они сравнили производительность сеточной организации ImMesh в эксперименте 3 с предшествующими базовыми значениями, чтобы создать точку отсчета. Согласно результатам, ImMesh обладает лучшей производительностью времени выполнения среди всех подходов при достижении высокой точности сеточной организации.

Они также демонстрируют, как использовать ImMesh для укрепления облачной точки LiDAR; этот метод производит усиленные точки в регулярном шаблоне, которые являются плотнее и имеют большее поле зрения (FoV) по сравнению с исходными сканированиями LiDAR. В приложении 2 они достигли цели восстановления текстур сцены без потерь, объединив свои работы с R3LIVE++ и ImMesh.

Команда подчеркивает, что их работа не очень масштабируема по пространственному разрешению, что является большим недостатком. Из-за фиксированной плотности вершин, ImMesh tend имеет тенденцию восстанавливать сетку неэффективно с многочисленными маленькими гранями при работе с большими, плоскими поверхностями. Предлагаемая система пока не имеет механизма коррекции петель, что является вторым ограничением. Это означает, что постепенное смещение может привести к накоплению ошибок локализации при повторном посещении областей. Если возникает проблема повторного посещения, результаты восстановления могут быть несогласованными. Включение этой последней работы по идентификации петель с использованием облаков точек LiDAR поможет исследователям преодолеть эту проблему в рамках данной работы. Используя этот подход обнаружения петель, возможно в реальном времени идентифицировать петли и внести коррекцию петель, чтобы снизить влияние смещения и повысить надежность восстановленных результатов.