Этот AI-бюллетень – все, что вам нужно #74

Все, что вам нужно знать AI-бюллетень #74

Что произошло на этой неделе в мире искусственного интеллекта по Луи

На этой неделе вся внимание было обращено на неистовую серию событий в OpenAI, которая, к несчастью, затмила несколько интересных новых выпусков моделей. Можно сказать, что вы следили за перипетиями драмы, поэтому мы не будем подробно описывать их здесь, но вкратце, Совет директоров OpenAI уволил своего генерального директора Сэма Альтмана в пятницу без предварительного предупреждения ключевым сотрудникам или заинтересованным сторонам. Совет директоров обосновал свои действия, говоря, что Сэм “не был последовательно честен в своем общении с нашим Советом”. Однако и сегодня они так и не предоставили четкой причины OpenAI сотрудникам, руководителям или Майкрософту. На данный момент 747 из 770 сотрудников OpenAI подписали совместное письмо совету директоров OpenAI, уведомляя о своем намерении уволиться и последовать за Сэмом Альтманом и Грегом Брокманом, чтобы присоединиться к новой команде по искусственному интеллекту в Майкрософте, если Совет директоров не уйдет в отставку и не восстановит Сэма и Грега. Это письмо также подписал соучредитель Илья Сутскивер, который сейчас сожалеет о своем участии в действиях совета директоров.

Возможно, самым странным во всем этом является молчание совета директоров OpenAI и невозможность объяснить свои действия, что оставляет их мотивы очень неясными. Что еще более невероятно, совет директоров, по-видимому, заявил руководителям OpenAI, что разрушение компании “было бы согласовано с миссией.”

Предположим, что решения совета директоров на начальном этапе были обусловлены обеспокоенностью безопасностью ИИ, напряженностью в связи с проектами монетизации и распределением прибыли инвесторам, а также руководством Сэма и общением совета директоров – на данном этапе. В этом случае мы считаем, что для них стало бы ясно, что разрушение OpenAI не способствует достижению их целей по сравнению с тем, чтобы уступить и позволить OpenAI выжить в нынешнем виде. Предположим, что сотрудники OpenAI массово покидают компанию, чтобы присоединиться к Майкрософту (которая не имеет такой же системы обеспечения безопасности ИИ). В этом случае это также означает передачу всех потенциальных будущих прибылей OpenAI (тех, которые превышают предельное значение прибыли, накопляемой благотворительным фондом OpenAI) корпорации в Майкрософте. Сэм также останется руководителем команды и не будет иметь возможности общаться с советом директоров OpenAI! Замедление работы OpenAI также дает другим конкурентам, таким как Google или Meta, шанс догнать или даже другим странам, таким как Китай. Где совет директоров OpenAI будет иметь меньше власти для контроля над будущим ИИ.

Почему вам следует заботиться?

Значимость этих событий может варьироваться от мелочей политики Силиконовой долины до шести-восемнадцатимесячного отставания в области искусственного интеллекта и даже решающего момента в будущем Земли. Все это зависит от ваших взглядов;

Какие препятствия встретим на текущем пути LLM развития и насколько глобально влиятельной будет на самом деле технология LLM?
На самом ли деле AGI является риском, и следует ли сейчас приоритетом создание систем обеспечения безопасности для него?
Сколько времени потребуется для восстановления конвейера модели GPT4.5/5 внутри Майкрософта, включая 1) RLHF набор данных и текущий конвейер от 100 миллионов активных пользователей ChatGPT, 2) Набор данных предварительного обучения и 3) инфраструктуру программного обеспечения для обучения?
Насколько отстали Google, Anthropic, Meta, xAi и другие в выпуске моделей уровня GPT-4.5/5?
Сможет ли это вызвать достаточные нарушения, чтобы Китай выбрал лидирующую позицию перед США и повлиял на геополитику?
Сможет ли ИИ стать лидером на большинстве рынков, где кто первым доберется действительно имеет все значения?
Велика ли выгода от благотворительного статуса OpenAI и системы обеспечения безопасности AGI для блага всего человечества и перераспределения богатства (после достижения нескольких сотен миллиардов долларов прибыли) по сравнению с публичной компанией, такой как Майкрософт?

Направление лидерства, организационная структура, культура и место расположения лидера в области ИИ могут иметь глобальное значение, но мы должны ждать и посмотреть, как все развивается!

– Луи Петерс – сооснователь и генеральный директор Towards AI

Самые горячие новости

Хронология увольнения Сэма Альтмана из OpenAI – и последствия

Сэм Альтман ушел со своей должности генерального директора OpenAI, что привело к уходу президента и сооснователя компании Грега Брокмана и трех старших исследователей OpenAI. Ситуация быстро развивается, и в этой статье представлена хронология, чтобы помочь вам следить за развитием событий.

2. Къютай – французская исследовательская лаборатория по искусственному интеллекту с бюджетом в 330 миллионов долларов, которая планирует сделать все свои разработки открытыми

Французская исследовательская лаборатория по искусственному интеллекту, базирующаяся в Париже, получила финансирование в размере 330 миллионов долларов для развития искусственного общего интеллекта. Къютай планирует проводить комплексные исследования вместе с аспирантами, постдоками и исследователями. Кроме того, лаборатория придерживается прозрачности в области искусственного интеллекта, общедоступно разделяя свои модели, исходный код и данные.

3. DeepMind представляет Lyria – модель для генерации музыки

AИ-модель музыки Lyria от Google DeepMind преобразует процесс создания музыки, выпуская музыку и индивидуальный вокал исключительного качества. Эксперимент “Музыкальная мечта” на YouTube позволяет артистам взаимодействовать с поклонниками через голос и музыку, созданные искусственным интеллектом, в то время как инструменты искусственного интеллекта улучшают творческий процесс для профессионалов в музыкальной индустрии.

4. GraphCast: AI-модель для более быстрого и точного прогнозирования глобальной погоды

DeepMind разработала GraphCast – передовую систему искусственного интеллекта, использующую графовые нейронные сети, чтобы точно и быстро предсказывать глобальную погоду за 10 дней всего за минуту. Он превосходит отраслевую стандартную систему HRES, может отслеживать циклоны и атмосферные реки, а также определять экстремальные температуры.

5. Nvidia представляет H200 – свою новую высокопроизводительную чип-систему для обучения AI-моделей

Nvidia представляет графический процессор H200, улучшенную версию со 141 ГБ высокоскоростной памяти. Это улучшение способствует процессу вывода при обучении больших AI-моделей. H200 будет выпущен во втором квартале 2024 года и будет конкурировать с графическим процессором MI300X от AMD, предлагая увеличенную емкость памяти для обработки больших моделей.

Вы считаете увольнение Сэма Альтмана правильным шагом для OpenAI? Поделитесь своими мыслями в комментариях ниже!

Пять 5-минутных чтений/видео для продолжения обучения

Применение стратегий RAG от OpenAI

Модель RAG от OpenAI включает различные стратегии поиска: косинусная схожесть, множественные запросы, понижение подсказки, повторное получение информации (Rewrite-Retrieve-Read) и эффективная маршрутизация. В этой статье раскрывается каждый из этих методов, используемых в серии экспериментов RAG от OpenAI, и показывается, как реализовать каждый из них.

2. Практические советы по настройке моделей LLM с использованием LoRA (адаптация низкого ранга)

В этой статье рассматриваются практические шаги по настройке адаптации низкого ранга (LoRA) в языковых моделях (LLM), предоставляя понимание и рекомендации. Эксперименты показывают последовательные результаты с использованием LoRA, экономя память, но увеличивая время выполнения. Использование LoRA на всех слоях, настройка ранга и альфы может улучшить производительность модели.

3. Начните и улучшите свои навыки в LLM в 2023 году

Это полное руководство по началу и улучшению навыков в языковых моделях в 2023 году без сложных знаний в этой области и всегда быть в курсе последних новостей и передовых техник. Оно предназначено для всех, у кого есть небольшой опыт программирования и машинного обучения.

4. Насколько мы близки к достижению AGI, согласно DeepMind

Команда ученых из Google DeepMind предложила новую структуру для классификации возможностей и поведения систем AGI и их предшественников. В этой статье рассматривается структура, включая критерии измерения искусственного интеллекта, матрицу измерения производительности и общности, а также другую матрицу для измерения автономии и рисков.

5. Кризис личности OpenAI и борьба за будущее искусственного интеллекта

Это хорошо аргументированный комментарий о последних событиях, происходящих в Open AI. По словам автора, вопрос о балансе между безопасностью искусственного интеллекта и рыночным импульсом был фактором в решении уволить Сэма Альтмана.

Репозитории и инструменты

explodinggradients/ragas

Ragas – это фреймворк, который помогает оценить ваши конвейеры Retrieval Augmented Generation (RAG). RAG обозначает класс приложений LLM, которые используют внешние данные для дополнения контекста LLM.

2. abi / screenshot-to-code

Это приложение преобразует скриншот в HTML/Tailwind CSS. Оно использует GPT-4 Vision, чтобы генерировать код, и DALL-E 3, чтобы создавать похожие изображения.

3. Netmind Power

Netmind Power – это децентрализованная платформа машинного обучения и искусственного интеллекта. Вы можете обучать свои собственные модели на платформе, и они найдут вычислительные ресурсы и распространят код для вас.

4. BuilderIO / gpt-crawler

GPT Crawler позволяет указать URL сайта, который он будет обходить и использовать в качестве базы знаний для GPT. Вы можете либо делиться этим GPT, либо интегрировать его как пользовательский ассистент на своих сайтах и приложениях.

Топ статей недели

Сравнение людей, GPT-4 и GPT-4V на задачах абстракции и логического мышления

Это исследование сравнивает GPT-4 и его мультимодальную версию GPT-4V с людьми на задачах абстракции и логического мышления с использованием бенчмарка ConceptARC. Результаты показывают, что ни одна из версий GPT-4 не соответствует абстрактному мышлению на уровне человека, даже при детальных инструкциях и упрощенных задачах с изображениями.

2. GPT-4V в стране чудес: крупномасштабные мультимодальные модели для управления навигацией по графическому пользовательскому интерфейсу смартфона «из рук вон плохо»

Данная статья представляет MM-Navigator – базирующегося на GPT-4V агента, который успешно выполняет навигацию по графическому пользовательскому интерфейсу смартфона без предварительного обучения с использованием больших мультимодальных моделей. Он демонстрирует отличную точность в понимании и выполнении инструкций на экране iOS.

3. Обзор языковых моделей для кодирования

Этот основательный обзор исследует развитие и прогресс в обработке кода с использованием языковых моделей. Он охватывает более 50 моделей, 30 задач оценки и связанные работы, сфокусированные на общих языковых и специализированных моделях, обученных на коде. Обзор доступен и обновляется в хранилище GitHub.

4. Автоплан: повышение устойчивости при использовании расширенных языковых моделей с использованием запросов для генерации текста

Расширенные языковые модели с при обратном вызове (RALE) повышают возможности языковых моделей, но могут порождать ошибочные ответы из-за ненадежной информации. Новый подход, автоплан (AutoPlan), генерирует последовательные заметки для оценки релевантности документов и улучшения ответов RALE.

Быстрые ссылки

Meta объявила о проектах Emu Video и Emu Edit, их последних достижениях в области обработки изображений с помощью искусственного интеллекта и генерации видео. EMU был анонсирован в сентябре, и на сегодняшний день он используется в производстве, обеспечивая такие возможности, как функция Imagine от Meta AI.
NVIDIA объявила, что они усовершенствовали ведущую вычислительную платформу для искусственного интеллекта путем представления NVIDIA HGX™ H200. Платформа включает в себя графический процессор NVIDIA H200 Tensor Core с расширенной памятью.
IBM продолжает свое обязательство по борьбе с изменением климата через новые проекты по устойчивости и бесплатное обучение зеленым и техническим навыкам для уязвимых сообществ.