Исследователи из Стэнфорда расшифровали код естественного зрения, поскольку новая модель раскрывает, как глаза декодируют визуальную сцену

Специалисты из Стэнфорда расшифровали код естественного зрения, представив новую модель, раскрывающую процесс декодирования визуальной сцены глазами.

Одна из основных целей в области сенсорной нейронауки – понять сложные механизмы, лежащие в основе нейронного кода, ответственного за обработку естественных визуальных сцен. В нейронауке фундаментальным, но до сих пор нерешенным вопросом является то, как формируются нейронные цепи в естественных условиях взаимодействия нескольких типов клеток. Глаза эволюционировали для передачи информации о естественных визуальных сценах с помощью широкого спектра интернейронов, что является важным для передачи визуальной информации в мозг.

Функционирование сетчатки в значительной степени основывается на исследованиях того, как она реагирует на искусственные стимулы, такие как мигающий свет и шум. Эти искусственные стимулы могут не точно отражать то, как сетчатка интерпретирует фактические визуальные данные. Сложность вклада более 50 различных типов интернейронов в обработку сетчаткой до сих пор не до конца понята, несмотря на то, что с помощью таких методов были обнаружены различные вычисления. В недавней исследовательской статье группа исследователей сделала значительный прогресс, показав, что трехслойная сетевая модель способна с удивительной точностью предсказывать ответы сетчатки на естественные сцены, почти выходя за пределы экспериментальных данных. Исследователи хотели понять, как мозг обрабатывает естественные визуальные сцены, поэтому они сосредоточились на сетчатке, которая является частью глаза, передающей сигналы в мозг.

Интерпретируемость этой модели, то есть способность понимать и исследовать ее внутреннюю организацию, является одной из ее ключевых характеристик. Существует сильная корреляция между ответами интернейронов, которые были непосредственно включены в модель, и теми, которые были отдельно записаны. Это говорит о том, что модель улавливает значимые аспекты активности сетчаточных интернейронов. Она успешно воспроизводит широкий спектр анализа движения, адаптируемости и явлений предсказательного кодирования при обучении на естественных сценах. С другой стороны, модели, обученные на белом шуме, не могут воспроизвести тот же набор событий, что подтверждает идею необходимости изучения естественных сцен для понимания естественной визуальной обработки.

Вычисления, выполняемые ганглионными клетками модели, были разделены на отдельные вклады интернейронов модели с использованием методологии, представленной командой. С помощью этого подхода можно автоматически генерировать новые теории о взаимодействии интернейронов с различными пространственно-временными шаблонами реакций для производства сетчаточных вычислений, что уточняет предсказанные явления.

Для естественных последовательностей изображений изображения были подвергнуты джиттерингу со скоростью 30 кадров в секунду, модификации каждую секунду и случайной прогулке, имитирующей данные о фиксационном движении глаза. Этот метод создал пространственно-временной стимул, более похожий на окружающую среду, в которой функционирует сетчатка.

В заключение, команда обнаружила, что три слоя нейронной обработки, напоминающие структуру сетчатки, являются ключевыми для воспроизведения точных ответов. Эта модель успешно предсказывала, как реагируют настоящие ганглионные клетки сетчатки на естественные изображения и случайный шум. Тщательно разработанная модель с определенными слоями точно эмулировала поведение этих клеток. Таким образом, исследование позволяет понять, как визуальная система интерпретирует мир, предлагая понимание сложных процессов, управляющих естественным зрением.