Преодоление границ в трехмерной сегментации объектов подход на основе открытого мира с улучшенной псевдоиндексацией и реалистичными сценариями

Преодоление границ в трехмерной сегментации объектов подход на основе открытого мира с улучшенной псевдоиндексацией и реалистичными сценариями

Предоставляя классификацию и семантическую маркировку объектов на уровне экземпляра, семантическая сегментация экземпляров в 3D пытается идентифицировать элементы в данной 3D сцене, представленной облаком точек или сеткой. Множество приложений визуального восприятия, включая роботов, дополненную реальность и автономное вождение, зависят от способности разделять объекты в 3D пространстве. Вследствие прогресса в сенсорах, используемых для сбора данных о глубине, в литературе были описаны несколько наборов данных с аннотациями на уровне экземпляра. В свете доступности масштабных 3D данных и прогресса в техниках глубокого обучения было предложено множество стратегий 3D сегментации экземпляров. 

Одним из существенных недостатков зависимости систем сегментации экземпляров в 3D от публично доступных наборов данных является обучение определенному набору меток объектов (словарь). Однако в реальном мире существует множество классов объектов, и вывод может содержать много невидимых или неизвестных классов. Текущие методы игнорируют неизвестные классы, обучаются на фиксированном наборе и присваивают им метку фона. Это делает невозможным для интеллектуальных алгоритмов идентификации распознавать неопознанные или необычные вещи, не являющиеся элементами фона. Недавние исследования исследовали настройки обучения в открытом мире для идентификации 2D объектов из-за важности обнаружения незнакомых предметов. 

Модель предназначена для распознавания незнакомых предметов в открытом мире. После того, как новые классы помечены, новый набор предпочтительно обучается постепенно без повторного обучения. В то время как предыдущие подходы в основном рекомендовались для идентификации 2D объектов в открытом мире, они еще не исследовались в 3D сфере. Понимание того, как выглядят предметы в 3D и их отделение от фона и других категорий объектов представляет собой самую большую проблему. Рис. 1 предоставляет большую гибкость 3D сегментации экземпляров в открытом окружении, что позволяет модели распознавать неопознанные объекты и запрашивать у оракула аннотации для этих новых классов для дальнейшего обучения.

• Эта научная статья по AI раскрывает новый подход к пониманию моделей глубокого обучения распаковка Где и Что с использованием метода распространения релевантности концептов (CRP).
• Создайте приложение искусственного интеллекта, генерирующее текст изображения, с использованием мультимодельных моделей на платформе Amazon SageMaker.
• «Персонализируйте ваши приложения генеративного искусственного интеллекта с помощью хранилища функций Amazon SageMaker»

Рисунок 1: Сегментация экземпляров 3D в открытом мире. Модель обнаруживает новые предметы в каждой итерационной фазе обучения, и оператор постепенно присваивает им метки и добавляет их в текущую базу знаний для дальнейшего обучения.

Однако эта стратегия имеет несколько недостатков: три фактора обусловливают необходимость качественных методов псевдо-маркировки: (i) отсутствие аннотаций для неизвестных классов, (ii) сходство предсказанных признаков известных и неизвестных классов и (iii) необходимость более надежного метода оценки объектности для различения хороших и плохих предсказанных масок для 3D облака точек. В данном исследовании ученые из Университета искусственного интеллекта Мохамеда бен Заеда, Альтоского университета, Австралийского национального университета и Университета Линчэпинг рассматривают уникальный набор проблем, касающихся сегментации экземпляров внутреннего 3D пространства в открытом мире, который пытается разбить объекты неизвестных классов, постепенно добавляя новые классы. Они разрабатывают практические протоколы и разделы для проверки способности техник сегментации экземпляров внутри 3D воспринимать неизвестные объекты. Как и в настройках инкрементного обучения, предложенная конфигурация добавляет неизвестные метки объектов в список распознаваемых классов. Они предоставляют корректированный вероятностный идентификатор неизвестных объектов, улучшающий распознавание объектов. До тех пор, пока они знают, они являются первыми исследователями, которые исследовали 3D сегментацию экземпляров в открытом мире.

Их исследование вносит следующие основные вклады:

• Они предлагают первый подход к сегментации экземпляров внутреннего 3D пространства в открытом мире с особым механизмом точного идентификации 3D неизвестных объектов. Они используют подход автоматической маркировки для различения известных и непознаваемых меток классов для создания псевдо-маркировок во время обучения. Путем изменения вероятности неизвестных классов на основе распределения оценок объектности они дополнительно улучшают качество псевдо-маркировок во время вывода.

• Для тщательной оценки сегментации внутреннего 3D пространства в открытом мире они представляют заранее выбранные разделы, включающие известные и неизвестные классы и обучение в инкрементальном режиме более чем на 200 курсов. Их рекомендуемые разделы используют разнообразные реалистичные ситуации, включая природное распределение классов объектов (на основе частоты), обнаружение различных типов классов при исследовании внутренних пространств (на основе регионов) и рандомизацию классов объектов во внешнем мире. Многочисленные тесты демонстрируют ценность предложенных решений для сокрытия разрыва в производительности между их техникой и оракулом.