Нанофотоника выравнивает линзы камеры

Нанофотоника выравнивает линзы камеры' can be condensed to 'Нанофотоника выравнивает линзы камеры'.

.fav_bar { float:left; border:1px solid #a7b1b5; margin-top:10px; margin-bottom:20px; } .fav_bar span.fav_bar-label { text-align:center; padding:8px 0px 0px 0px; float:left; margin-left:-1px; border-right:1px dotted #a7b1b5; border-left:1px solid #a7b1b5; display:block; width:69px; height:24px; color:#6e7476; font-weight:bold; font-size:12px; text-transform:uppercase; font-family:Arial, Helvetica, sans-serif; } .fav_bar a, #plus-one { float:left; border-right:1px dotted #a7b1b5; display:block; width:36px; height:32px; text-indent:-9999px; } .fav_bar a.fav_print { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_print:hover { background:url(‘/images/icons/print.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.mobile-apps { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #FFF; background-size: 10px; } .fav_bar a.mobile-apps:hover { background:url(‘/images/icons/generic.gif’) no-repeat 13px 7px #e6e9ea; background-size: 10px} .fav_bar a.fav_de { background: url(/images/icons/de.gif) no-repeat 0 0 #fff } .fav_bar a.fav_de:hover { background: url(/images/icons/de.gif) no-repeat 0 0 #e6e9ea } .fav_bar a.fav_acm_digital { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_acm_digital:hover { background:url(‘/images/icons/acm_digital_library.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_pdf { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #FFF; } .fav_bar a.fav_pdf:hover { background:url(‘/images/icons/pdf.gif’) no-repeat 0px 0px #e6e9ea; } .fav_bar a.fav_more .at-icon-wrapper{ height: 33px !important ; width: 35px !important; padding: 0 !important; border-right: none !important; } .a2a_kit { line-height: 24px !important; width: unset !important; height: unset !important; padding: 0 !important; border-right: unset !important; border-left: unset !important; } .fav_bar .a2a_kit a .a2a_svg { margin-left: 7px; margin-top: 4px; padding: unset !important; }

Девять мета-фотонных линз (верхняя левая и правая) интегрированы на верхней части кристаллоспектроскопического датчика CMOS с использованием графических процессоров для обучения генеративной модели диффузии, которая восстанавливает внутреннее (снизу слева) и внешнее (снизу справа) изображение. ¶ Кредит: Принстонский университет

Современные камеры смартфонов почти полностью вытеснили широко распространенные однообъективные зеркальные фотокамеры. Тем не менее, сегодняшние объективы камер получают изображения таким же способом, как и в XIX веке – фокусируя свет на наномасштабной плоскости сенсора с помощью стеклянной оптической системы, состоящей из 100 и более линз, которые исправляют оптику, определенную Гауссом в 1843 году ( Dioptrische Untersuchungen ).

Теперь, наконец, технология объективов камеры соответствует XXI веку с помощью наномасштабной мета-оптики.

“Мета-оптика становится мощным инструментом для изображения, позволяющим значительно уменьшить оптику для различных приложений в области изображения. Дополнительные степени свободы в проектировании, предоставляемые мета-оптикой, вместе с их уникальными свойствами в плане управления поляризацией, хроматической дисперсией и мультиплексированием, показали существенный потенциал во многих приложениях, особенно при интеграции с соответствующими вычислительными алгоритмами для реконструкции”, – сказал Ашок Вирарагхаван, профессор электротехники и компьютерной инженерии, а также компьютерных наук в Университете Райса и главный исследователь группы вычислительного изображения университета (не участвовавший в описанном здесь прототипе мета-оптики).

До сих пор даже камеры в смартфонах высокого класса 21 века требовали стопку из семи или более объективов 19 века, расположенных над кремниево-оксидным полупроводниковым (CMOS) чипом изображения, что приводило к выступанию объектива из корпуса телефона. Фактически, во всех смартфонах высокого класса длина объектива камеры является ограничивающим фактором для толщины корпуса телефона. Теперь исследователи из Принстонского университета, сотрудничая с коллегами из Университета Вашингтона, использовали мета-оптику для успешного сжатия объектива камеры до всего 700 нанометров (миллиардных долей метра), не уступая пин-холе “камере обскура”.

“Нашей целью было создание вычислительных нано-фотонических мета-линз, которые позволяют создавать очень тонкие камеры, на порядок более тонкие, чем сегодня”, – сказал Феликс Хайде, ассистент профессора компьютерных наук в Принстонском университете и руководитель Принстонской лаборатории вычислительного изображения.

Важность переосмысления объектива стала приоритетной на рубеже XXI века, когда были достигнуты серьезные исследовательские успехи в сжатии стопки объективов. Первым шагом была микроминиатюризация пин-холе концепции в так называемые кодированные апертуры с использованием плоских масок (FlatCam, 2016). Свет от прямоугольников различного размера, наподобие пин-холе, в маске при вычислительном объединении предназначался для преодоления длительного времени экспозиции, требуемого для одного пин-хола. К сожалению, эта техника жертвует разрешением в пользу расстояния между маской и чипом изображения, поэтому при сжатии она не может соперничать с разрешением объективов из множественных стекол, которые мы видим сегодня.

Следующий шаг к плоскому объективу вышел за рамки ограничений пин-холе масок и перешел к диффузорам (DiffuserCam, 2020). Используя монохромные спектральные фильтры, они выполнили безлинзовую гиперспектральную съемку, применяемую в сельском хозяйстве и медицине, но не для полноцветной съемки.

Для полноцветной съемки теперь Хайде и др. “продемонстрировали, что плоский нано-фотонический массив мета-линз при использовании алгоритмов восстановления, основанных на машинном обучении, позволяет реализовать компактную съемку с широким углом обзора и полноцветное изображение. Особенно впечатляют качество результатов восстановления – как по разрешению, так и по точности передачи цвета”, – сказал Вирагаван, изобретатель FlatCam.

Плоские квази-периодические массивы нано-фотонических мета-линз (рассеивателей света с подволновыми размерами) Хайде и др. были разработаны таким образом, чтобы управлять полным спектром видимого света (широкополосным) с помощью специализированных моделей вывода, обученных графическими процессорами (GPU), что приводит к безлинзовым, высокоразрешающим полноцветным изображениям спектра видимого света, соперничающим с теми, которые создаются с помощью традиционных стекол объективов.

“Наша демонстрация высококачественной широкополосной нано-фотонической съемки вне лаборатории является первой”, – сказал Хайде о группе их Тонких нанофотонических камер на основе матрицы на датчике в статье в международной журнале ACM 2023 Transactions on Graphics. Исследователи также публикуют свои результаты в открытом доступе, включая весь код, оптические файлы дизайна и наборы данных на GitHub.

По словам Хайде, высокоразрешающие полноцветные изображения восстанавливаются с помощью плоских нано-фотонических мета-линз группы, состоящих из круглых массивов прозрачных столбиков высотой 700 нанометров (азотида кремния) с шагом 350 нанометров и шириной, варьирующейся от 100 до 300 нанометров. Поскольку длина волны видимого света находится между 400 и 700 нанометрами, эти подволново-широкие столбики обладают мета-материальными свойствами.

В прототипе девять рядом расположенных мета-линз в конфигурации три на три вместе передают данные изображения в алгоритмы быстрой реконструкции с использованием обратной фильтрации, диффузии и слияния результатов из девяти отдельных мета-линз. Параметры алгоритмов реконструкции были изучены глубокой нейронной сетью (DNN). Как заявляют исследователи, их результаты превосходят другие подходы с “плоскими линзами”, и в отличие от предыдущих монохромных изображений на гиперспектральных плоских линзах, ультратонкая камера-мета-линза Хайде и др. способна создавать сцены с точным полноцветным воспроизведением.

“Можно сказать, что их [Хайде и др.] самое важное открытие заключается в том, что можно создать оптическую систему с высоким разрешением и широким углом обзора, используя массивы оптических элементов с низким разрешением и узким углом обзора, измерения которых могут быть вычислительно объединены. Эта масштабируемая структура значительно упрощает процесс проектирования и позволяет им продемонстрировать качественное широкоугольное изображение мегапиксельного масштаба с тонкими нанофотонными линзами”, – сказал Метцлер.

Процесс обучения DNN использовал данные обучения с высоким разрешением от собственных изображений группы, базы данных изображений MIT 5K с высоким разрешением и выборку относительно низкого разрешения из базы данных ImageNet. После обучения параметры были зафиксированы для встроенного в камеру модуля вывода, который корректирует цвета, искажения и аберрации. В прототипе вывод объединялся из девяти плоских нанофотонных линз, закрепленных на верхней части имиджерной микросхемы, чтобы достичь угла обзора 100 градусов – эквивалентного широкоугольному объективу 18 мм на 35 мм камере.

Ожидается, что коммерческие камерные объективы, использующие этот подход, в конечном итоге будут использовать сотни плоских мета-линз, чтобы покрыть всю поверхность больших имиджерных микросхем с сотнями мегапикселей. Более того, с помощью вычислительной реконструкции можно получить телескопические и ультраширокоугольные изображения из одного снимка с мета-линзы.

Однако ограничением является необходимость высокоскоростной прикладной интегральной схемы (ASIC) для обработки вывода массива мета-линз, установленного на верхней части имиджерной микросхемы, поскольку обычные графические процессоры генерируют слишком много тепла, чтобы быть осуществимыми для портативных камер. “Несмотря на это ограничение на сегодняшний день, современный мобильный ASIC может эффективно реализовать наш процесс реконструкции, что потенциально позволит быстрым устройствам “на краю” выполнять вывод”, – сказал Хайде.

Также в будущем исследователи собираются уплотнить свои мета-линзы (используя световые заглушки для их разделения, а не мертвое пространство, как в прототипе). Они также надеются, что их массивы нанофотонных мета-линз стимулируют сообщество вычислительной фотографии к повторному рассмотрению массивов световых полей, которые захватывают 4D-изображения (включая направление, из которого пришел каждый трехмерный световой луч).

R. Колин Джонсон – лауреат премии Киото, который работает технологическим журналистом уже два десятилетия.