Исследование границ ИИ в биологии одной клетки Критическая оценка моделей Zero-Shot Foundation, таких как Geneformer и scGPT

Исследование возможностей ИИ в биологии одной клетки Критический анализ моделей Zero-Shot Foundation, таких как Geneformer и scGPT

Применение фундаментальных моделей в биологии одиночных клеток недавно стало темой обсуждения среди исследователей. Модели, такие как scGPT, GeneCompass и Geneformer, являются некоторыми из перспективных инструментов для этой области. Однако их эффективность вызывает опасения, особенно в условиях нулевой подгонки, особенно когда в этой области проводятся исследования и нет четких меток для точной настройки. В данной статье исследуется этот вопрос и тщательно оценивается нулевая эффективность этих моделей.

Ранее были проведены исследования, основанные на точной настройке этих моделей на конкретные задачи, но их ограничения становятся очевидными при применении в области биологии одиночных клеток из-за особенностей этой области, а также из-за высоких вычислительных требований. Чтобы справиться с этой проблемой, исследователи из Microsoft проанализировали нулевую эффективность фундаментальных моделей Geneformer и scGPT на различных аспектах, включая разнообразные наборы данных и ряд задач, таких как использование вложений для кластеризации типов клеток, коррекция пакетных эффектов и эффективность восстановления входных данных моделей на основе предварительных целей.

Причиной выбора этих двух моделей является наличие их предобученных весов (на момент их оценки). Для оценки исследователи использовали пять различных наборов данных по тканям человека, каждый из которых представлял уникальные и актуальные вызовы для анализа одиночных клеток. В качестве сравнительной модели исследователи использовали генеративную модель, называемую scVI, которая была обучена на каждом наборе данных. Исследователи использовали следующие метрики для каждой задачи:

  • Для оценки вложений клеток они использовали среднюю ширину силуэта (ASW) и средний показатель Bio (AvgBIO), чтобы определить, насколько типы клеток уникальны внутри пространства вложения.
  • Для интеграции пакетов они использовали вариацию показателя AWS в диапазоне от 0 до 1, где 0 обозначает полное разделение пакетов, а 1 – идеальное смешение пакетов.
  • Для оценки эффективности scGPT и Geneformer в их предварительной задаче они использовали среднеквадратичное отклонение (MSE) и коэффициент корреляции Пирсона, соответственно.

scGPT и Geneformer показали худшие результаты по обоим метрикам. Geneformer имел высокую дисперсию для различных наборов данных, и хотя scGPT показал лучшие результаты по сравнению с базовой моделью scVI для одного из наборов данных, двумя другими результатами он уступил. Впоследствии исследователи оценили влияние предварительного набора данных на эффективность модели, сфокусировавшись главным образом на scGPT (четыре варианта scGPT), и обнаружили улучшение средних показателей для всех вариантов модели.

При оценке пакетных эффектов обе модели показали плохие результаты, часто уступая моделям, таким как scVI, что подтверждает их несовершенную устойчивость к пакетным эффектам в условиях нулевой подготовки. В последнем наборе оценок исследователи обнаружили, что scGPT не восстанавливает экспрессию генов, в то время как Geneformer демонстрирует более высокую производительность. При сравнении с базовым показателем они заметили, что базовое предсказание превосходило все варианты scGPT, а Geneformer показал лучший результат, чем средние показатели в одном из наборов данных.

В заключение исследователи подробно проанализировали возможности нулевой подготовки моделей scGPT и Geneformer в контексте биологии одиночных клеток, и их анализ подчеркивает низкую производительность этих моделей. Результаты исследования показывают, что scGPT превосходит модель Geneformer во всех оценках. Наконец, исследователи также предоставили некоторые исследования, на что нужно сосредоточиться в будущем, а именно объяснение связи между задачей предварительной подготовки, предварительным набором данных и производительностью на задачах дальнейшего анализа.