Этот AI-бюллетень – все, что вам нужно №75

Этот AI-бюллетень №75 - все, что вам нужно

Что произошло на этой неделе в области искусственного интеллекта от Луи

На этой неделе произошло завершение драмы в OpenAI с возвращением Сэма Альтмана и Грега Брокмана в OpenAI и назначением двух новых директоров в совет директоров (вместе с одним существующим директором). В некоторой степени мы считаем, что это оставляет OpenAI в лучшем положении, с большим количеством проверок и балансов на контролем Сэма (теперь он больше не является членом совета директоров) и большей срочностью в поиске долгосрочного решения проблемы управления советом директоров на демократических принципах. Однако, возможно, это причинит долгосрочный ущерб, поскольку некоторые предприятия боятся зависимости от организации с такой сложной и потенциально нестабильной структурой управления. Мы ожидаем, что это будет поддерживать уже существующую тенденцию построения продуктов с ограниченной зависимостью от одной модели LLM, где модель LLM может быть заменена альтернативным API или открытой моделью по короткому уведомлению.

Вне OpenAI мы были взволнованы увидеть новую модель генерации видео от Stability AI на этой неделе и улучшенную модель Claude 2.1 от Anthropic и модель Inflection-2 от Inflection.AI (вскоре будет доступна через свой компаньон Pi digital). Мы все еще на раннем этапе возможностей модели текст/изображение в видео, однако выпуск мощной структуры модели генерации видео с открытым исходным кодом может помочь стимулировать прогресс в этой области. Мы также рады видеть больше конкуренции в пространстве LLM, поскольку компании пытаются использовать турбулентность OpenAI в своих интересах.

Почему вам следует обратить внимание?

Мы считаем, что структура управления в OpenAI остается важной для краткосрочной стабильности тысяч компаний и частных лиц, развивающих свои модели и экономики и геополитики в долгосрочной перспективе, особенно если OpenAI становится все более мощной. По нашему мнению, проблема управления в OpenAI до сих пор далека от решения. Краткосрочно требуется расширение и более разнообразный совет директоров. В долгосрочной перспективе, если OpenAI действительно продолжает достигать своих амбиций, вероятно, стоит рассмотреть некую форму демократии и децентрализации для контроля над одной из самых мощных организаций в мире. Исходя из этого, мы должны видеть, как другие компании и организации конкурируют с новыми моделями, вместе с развитием моделей AI с меньшей централизацией на основе открытого кода.

– Луи Питерс – сооснователь и генеральный директор Towards AI

Самые горячие новости

  1. Anthropic выпустил Claude 2.1

Anthropic выпустил версию 2.1 модели Claude с несколькими важными обновлениями, включая контекстное окно из 200 000 токенов, снижение частоты галлюцинаций и новые возможности использования инструментов. Это обновление позволяет пользователям отправлять длинные документы и повышает точность, улучшая доверие и надежность системы. Компания также обновляет свои цены, чтобы сделать их более доступными.

2. Исследователи OpenAI предупредили совет директоров о прорыве в области искусственного интеллекта перед увольнением генерального директора, сообщает Reuters

Перед четырьмя днями изгнания генерального директора OpenAI Сэма Альтмана несколько исследователей написали письмо совету директоров, предупреждая о мощном открытии в области искусственного интеллекта, которое, по их мнению, может угрожать человечеству, – сообщили двое людей, знакомых с ситуацией Рейтерсу. Источники назвали это письмо одним из факторов, приведших к увольнению Альтмана, – наряду с обеспокоенностью коммерциализацией достижений до полного понимания последствий.

3. Представляем Stable Video Diffusion – Stability AI

Stability AI представила Stable Video Diffusion, мощную базовую модель для генерации видео. Эта модель имеет потенциал генерировать настраиваемые кадры с разной частотой кадров и доступна для исследований на GitHub и Hugging Face.

4. Inflection-2: Следующий шаг вперед

AI-стартап Inflection AI только что объявил о выпуске Inflection-2, новой языковой модели с 175 миллиардами параметров, обученной на 5 000 GPU NVIDIA H100 с использованием смешанной точности fp8 для приблизительно 10²⁵ FLOPs. Она превзошла модели LLaMA 2 и PaLM 2 на различных бенчмарках NLP и достигла практически такого же уровня, что и GPT-4, в отношении определенных задач.

5. NeuralChat 7B: Speed The Chat Model Trained by DPO (англ.)

Компания Intel выпустила свою настройку модели Mistral 7B, возглавившую турнирную таблицу от Huggingface. Это настроенная модель на основе версии Mistral-7B-v0.1 на открытом наборе данных SlimOrca. Она соответствует алгоритму DPO. Модель обучена на 8-ми мезонинных ускорителях Gaudi2 от Habana Labs.

Разочарование от OpenAI привело к усилению конкуренции и более быстрому выпуску моделей LLM, поскольку компании пытаются воспользоваться этим преимуществом? Поделитесь своими мыслями в комментариях!

Пять статей/видео продолжительностью 5 минут для образования

  1. Список литературы к видео-лекции Андрея Карпати о больших языковых моделях

Андрей Карпати выпустил видео-лекцию продолжительностью час, называемую «Краткое введение в большие языковые модели (LLMs) для занятых людей», где представлены ценные идеи, ресурсы и научные статьи для экспертов по машинному обучению и новичков в области искусственного интеллекта. Это краткое руководство охватывает основные темы видео и предлагает ссылки на связанные статьи.

2. Разъяснение Distil-Whisper — самой новой технологии преобразования голоса в текст при помощи ИИ!

Distil-Whisper — это модель распознавания речи с передовыми результатами по транскрибированию любого типа аудио. В этом видео Louis Bouchard исследует возможности модели, способы ее построения и принципы работы.

3. Сравнительный анализ инструментов и фреймворков в области искусственного интеллекта

В этой статье описываются инновационные инструменты и фреймворки в области искусственного интеллекта, сравниваются их преимущества, простота использования и идеальные сферы применения. Рассматриваются классические фреймворки, такие как TensorFlow и PyTorch, платформы для создания ИИ/МО без написания кода, облачные сервисы в области ИИ, фреймворки, сфокусированные на компьютерном зрении и многое другое.

4. Преодоление последовательной зависимости вывода LLM с использованием алгоритма предсказания

Предсказание — это новый алгоритм параллельного декодирования для ускорения вывода LLM. В статье представлен новый подход, а также демонстрации и экспериментальные результаты, показывающие ускорение в 1,5–2 раза при выводе LLM за счет увеличения вычислительной сложности, но с повышенной производительностью.

5. 33 основоположника AI стартапов обсуждают создание искусственного общего интеллекта

В этом 5-минутном видео от Y Combinator основатели 33 стартапов рассказывают об искусственном интеллекте на основе их текущего понимания этой технологии и делятся своими представлениями о возможной реализации общего искусственного интеллекта.

Репозитории и инструменты

  1. GPT4All – экосистема для запуска мощных и настраиваемых больших языковых моделей, которые работают локально на обычных процессорах и любых графических ускорителях. Это 3-8 ГБ файл, который можно скачать и подключить к открытому программному обеспечению экосистемы GPT4All.
  2. Llama Packs – это сообщество, создающее пакеты модулей для использования с LlamaIndex и LangChain. Цель заключается в простом подключении больших языковых моделей к различным источникам знаний. Они уже выпустили более 16 шаблонов.
  3. Tuna – это инструмент без написания кода, который позволяет быстро создавать наборы данных для настройки модели LLM с нуля. Он помогает создавать высококачественные обучающие данные для настройки больших языковых моделей, таких как LLaMas.
  4. Codesandbox – автоматическое дополнение кода, работающее на основе Codeium. Он предлагает генерацию одно- и многострочного кода с несколькими предложениями для выбора.

Лучшие статьи недели

  1. Orca 2: Обучение малых языковых моделей мышлению

Orca 2, новая языковая модель, улучшает рассуждения благодаря продвинутым сигналам обучения и разнообразным стратегиям. Она превосходит модели, настроенные на инструкции, в бенчмарках и превосходит модели схожего размера в сложных задачах, не уступая более крупным моделям в условиях нулевого обучения.

2. GAIA: Бенчмарк для Общего AI-помощника

Эта статья представляет GAIA, бенчмарк для Общего AI-помощника, с 466 вопросами и их ответами. Она формулирует вопросы реального мира, требующие ряда фундаментальных способностей, таких как рассуждение, обработка мультимодальности, просмотр веб-страниц и общее владение инструментами. Вопросы, простые для людей, сложны для большинства передовых ИИ.

3. Внимание системы 2 (то, что вам тоже может понадобиться)

Разработан новый метод внимания, называемый Система 2 Внимания (S2A), чтобы решить проблему нерелевантного или предубежденного вывода в LLMs. Вдохновленный человеческими когнитивными процессами, S2A отсеивает нерелевантный контекст и способствует фактологичности и объективности в рассуждении LLM. В экспериментах S2A превосходит стандартные модели LLM с использованием внимания в трех задачах.

4. Общая теоретическая парадигма для понимания обучения на основе предпочтений человека

Эта статья выводит новую общую цель, называемую ΨPO, для обучения на основе предпочтений человека, которые выражаются в терминах парных предпочтений и, таким образом, обходят и приближения в RLHF. Это позволяет провести глубокий анализ поведения RLHF и DPO и выявить их потенциальные проблемы.

5. Tied-Lora: Повышение параметрической эффективности LoRA с помощью связывания весов

В этой статье предлагается Tied-LoRA, простой парадигма, использующая связывание весов и выборочное обучение для повышения параметрической эффективности метода LoRA с низким рангом адаптации. Эксперименты показывают, что конфигурация связанного LoRA демонстрирует сопоставимую производительность на нескольких задачах, используя только 13% параметров, используемых стандартным методом LoRA.

1. Недавно после появления скриншотов, демонстрирующих чат-бота Grok xAI, создатель Grok, Илон Маск, подтвердил, что Grok будет доступен только для подписчиков Premium+ в течение этой недели.

2. Google LLC выпустила новую версию Bard, которая позволяет взаимодействовать с видео на YouTube с помощью естественной речи. Bard сможет получить доступ к содержимому и обработать его, предоставляя подробные и точные ответы.

3. Стартап по искусственному интеллекту Artisan привлек $2.3 млн, чтобы разработать человекоподобных цифровых работников. Работников называют Artisans, и они дополняют команды, к которым присоединяются, а не являются программными инструментами, и могут выполнять тысячи задач с минимальным участием человека.

4. Основатели новой платформы создания продуктов, работающей на коммьюнити, Off/Script, объявили об официальном запуске их мобильного приложения, позволяющего любому создавать, делиться и монетизировать макеты продуктов.

Кто нанимает в сфере искусственного интеллекта

Технический писатель и разработчик ИИ для больших языковых моделей @Towards AI Inc (удаленно/фриланс)

Инженер-программист II уровня @Smartsheet (удаленно)

Инженер-программист — машинное обучение @Celonis (удаленно)

Ученый по ИИ @Jasper (удаленно)

Архитектор-разработчик – Data Science, ИИ и МО (AWS) @Rackspace (удаленно)

Аналитик данных — рост @Voodoo (удаленно)

Старший инженер машинного обучения @Recursion (Солт Лейк Сити, Юта, США)

Интересует возможность разместить вакансию здесь? Свяжитесь с .

Если вы готовитесь к собеседованию по машинному обучению, не стесняйтесь заглянуть на нашу ведущую веб-сайт подготовки к собеседованию, confetti!

https://www.confetti.ai/

Думаете, вашему другу это тоже понравится? Поделитесь рассылкой и позвольте им присоединиться к разговору.