Новое исследование искусственного интеллекта от CMU и Meta представляет PyNeRF прорыв в нейронных полях излучения с масштабно-чувствительным рендерингом на основе сетки.

PyNeRF Новый прорыв в нейронных сетях излучения с масштабно-чувствительным рендерингом от CMU и Meta, - исследование искусственного интеллекта.

Как можно улучшить нейронные градиентные поля (NeRFs) для обработки изменений масштаба и сокращения артефактов искажения при восстановлении сцены? Новая научная статья от CMU и Meta предлагает решение этой проблемы в виде PyNeRF (Пирамидальных нейронных градиентных полей). Она улучшает нейронные градиентные поля (NeRFs) путем обучения модельных головок на разных пространственных сетках, что помогает уменьшить визуальные искажения, которые могут возникнуть при восстановлении сцены при различных камерных расстояниях. PyNeRF достигает этих улучшений без существенного влияния на производительность, что делает его эффективным решением для ускорения NeRFs при сохранении высокого качества восстановления сцены.

Вдохновленное NeRF, исследование исследует сеточные методы (NSVF, Plenoxels, DVGO, TensoRF, K-Planes, Instant-NGP), стремясь улучшить скорость отрисовки и эффективность памяти с использованием воксельных сеток и тензорных аппроксимаций. PyNeRF объединяет выгоды скорости с сохранением качества на разных масштабах, превосходя другие быстрые методы отрисовки, такие как Instant-NGP, Nerfacto и другие, в отношении качества отрисовки и скорости обучения.

Недавние достижения в нейронном объемном визуализации, в частности NeRFs, предлагают прогресс в реалистичном синтезе изображений. Однако NeRFs медленные из-за своего представления MLP и предположений, приводящих к искажениям изображения. Сеточные методы, такие как Mip-NeRF, ускоряют обучение, но не совместимы с позиционным кодированием. PyNeRF, вдохновленный разделением и покорением расширений и классическими техниками NeRF, основывается на пирамиде моделей, выбираемых вдоль лучей и с использованием разбиения, чтобы улучшить качество отрисовки, сохраняя при этом скорость ускоренных реализаций NeRF, предлагая универсальное решение для эффективного и качественного синтеза новых видов.

• Исследователи из Университета Иллинойса представляют Magicoder серию полностью открытых моделей большого языка (LLM) для кода.
• Исследователи компании Microsoft предлагают TaskWeaver код-ориентированный фреймворк машинного обучения для создания автономных агентов на основе LLM.
• Исследователи искусственного интеллекта Amazon Alexa представляют QUADRo революционный ресурс с более чем 440 000 аннотированными примерами для усовершенствования систем вопросно-ответа.

Исследование предлагает модификацию сеточных моделей и обучение модельных головок на разных пространственных сетках для синтеза большего числа объемных выборок. Используя SUDS в качестве базовой модели, они постепенно обучаются на более высоких разрешениях. Обсуждаются различные методы ускорения на основе сетки, хранящие изученные характеристики в структурах, таких как воксельные сетки или хэш-таблицы. Исследователи оценивают свой метод по сравнению с LaplacianPyNeRF и другими методами интерполяции, изучая воздействие повторного использования сеток и использования 2D-пиксельных областей. Основной вклад – универсальный метод разделения, который повышает визуальную точность, сохраняя скорость рендеринга в любом существующем сеточном методе рендеринга.

PyNeRF существенно повышает качество рендеринга, снижая уровень ошибок на 20-90% в синтетических и реальных сценах с минимальным влиянием на производительность. В сравнении с Mip-NeRF он достигает уменьшения ошибок на 20%, обучаясь более чем в 60 раз быстрее. PyNeRF достигает качества SUDS за 2 часа, превосходя базовые показатели по различным метрикам, в то время как SUDS требуется 4 часа. Тестирование и оценка на синтетических и мультискальных наборах данных Blender демонстрируют превосходные результаты. Проверка набора данных Argoverse 2 Sensor подтверждает высокое качество реконструкций PyNeRF во множестве видеокадров.

В заключение PyNeRF продемонстрировал впечатляющий прогресс в улучшении функций сглаживания анти-алиасинга в быстрых объемных рендерерах, показывая исключительные результаты на различных данных. Метод призывает к обмену снимками реального мира для дальнейших исследований в нейронной объемной визуализации. Тем не менее, он признает потенциальные риски безопасности и конфиденциальности в создании качественных нейронных представлений.

Будущие исследования могут получить пользу от обмена дополнительными снимками реального мира и исследования альтернативных функций отображения для назначения объема интеграции уровням иерархии. Важным направлением исследований станет использование семантической информации для фильтрации конфиденциальности во время обучения модели. Интересными будущими направлениями являются дальнейшее исследование архитектур для повышения визуальной точности при сохранении скорости рендеринга в быстрых подходах NeRF. Потенциальные области для будущих исследований включают применение пирамидального подхода к другим ускоренным реализациям NeRF и оценку их производительности.