Этот бюллетень искусственного интеллекта – всё, что вам нужно #61
This AI bulletin is all you need #61.
Что произошло на этой неделе в области искусственного интеллекта от Луи
В последние месяцы мы продолжаем видеть значительные совершенствования в области языковых моделей (LLM) и постепенное внедрение новых техник, но мы еще не видели конкуренции, направленной непосредственно на вытеснение GPT-4 как самой передовой (и требующей вычислительных ресурсов для обучения) модели. Google объединил свои усилия в области искусственного интеллекта, объединив Google Brain и Deepmind в начале этого года, и также активно масштабирует свои вычислительные ресурсы для обучения. Его модель Gemini, вероятно, будет первым крупным новым релизом из этого объединенного усилия. Google постепенно создает ожидание для Gemini, раскрывая информацию через интервью и контролируемые медиа-релизы. Компания, вероятно, готовится к тому, чтобы Gemini стал ответом на GPT-4, с амбициями превзойти последний в определенных возможностях.
Согласно сообщениям, релиз должен состояться “осенью”, и мы с нетерпением ждем, какие новые инновации и возможности принесет Gemini и как он сравнится с GPT-4. Разработкой занимаются Ориол Виньялс и Корай Кавукчуоглу, а также Джефф Дин, который надзирает за сотнями сотрудников, работающих над разработкой Gemini. Мы слышали несколько вещей о модели, как из прямых цитат руководства, так и из утечек информации в СМИ. “Gemini объединяет преимущества систем типа AlphaGo с исключительными языковыми возможностями, присущими большим моделям” – Демис Хассабис. Мы также знаем, что модель начала обучение когда-то до мая; “Мы уже работаем над Gemini – нашей следующей моделью, созданной с нуля для мультимодальности, высокой эффективности интеграции инструментов и API и создания условий для будущих инноваций, таких как память и планирование. Gemini все еще находится в процессе обучения, но уже обладает мультимодальными возможностями, никогда раньше не наблюдавшимися в предыдущих моделях” – блог Генерального директора Google, 23 мая. Предполагается, что модель будет мультимодальной с полными возможностями генерации изображений, подобными Midjourney. Мы также слышали, что Google тщательно относится к своему набору данных для обучения и что может интегрировать видео- и аудиоданные из YouTube в Gemini.
Наблюдать за продолжающейся риторикой между Google и OpenAI очень интересно, и будет любопытно наблюдать, как эти разработки развернутся в будущем, особенно какие техники из AlphaGo Deepmind будут интегрированы в LLM. Похоже, что в этом году нас ожидает еще более захватывающая эволюция в области LLM!
– Луи Питерс – сооснователь и Генеральный директор Towards AI
- Приготовление специализированного зелья LLM для определенной области
- Революционизация реального времени синтеза новых видов 1080p прорыв с помощью 3D-гауссиан и видимостно-ориентированной отрисовки
- Использование XGBoost для прогнозирования временных рядов
Этот выпуск представлен благодаря OVHcloud:
OVHcloud предлагает графические процессоры по непревзойденным ценам для удовлетворения ваших потребностей в области искусственного интеллекта. Это включает выбор облачных экземпляров NVIDIA со скидкой до 60% от обычной цены – пока есть в наличии. Предназначенные для ускорения обработки данных с гарантией полной обратимости данных и гибкости ресурсов, портфель искусственного интеллекта OVHcloud также включает выделенные серверы и открытые решения машинного обучения, такие как AI Notebooks, AI Training и AI Deploy, все они используют технологию водяного охлаждения OVHcloud для достижения наименьшего энергопотребления.
Самые горячие новости
- Следующий крупный открытый искусственный интеллектовый проект Meta, по слухам, будет кодогенерирующим ботом
Следующий искусственный интеллектовый проект Meta, по слухам, будет машиной для генерации кода. Эта новая модель, получившая название “Code Llama”, будет открытой и доступной бесплатно в Интернете. Релиз может состояться уже на следующей неделе. Это соответствует стратегии компании, которая заключается в выпуске широкодоступного программного обеспечения искусственного интеллекта, которое упрощает разработку новых настраиваемых моделей искусственного интеллекта.
2. Модерация контента OpenAI
OpenAI предложила использовать GPT-4 для разработки политик контента и облегчения принятия решений о модерации контента на цифровых платформах. Такой подход направлен на снятие бремени с человека и позволяет более равномерно обозначать контент и ускорять обратную связь.
3. Microsoft планирует предоставить услугу искусственного интеллекта с Databricks, что может нанести ущерб OpenAI
Недавнее предложение Azure+Databricks от Microsoft предоставляет пользователям Databricks возможность использовать любую модель искусственного интеллекта, включая открытые LLM-модели, для обучения своих данных на платформе Azure. Это может потенциально привести к сокращению количества компаний, приобретающих лицензии на модели OpenAI для решения аналогичных задач.
4. Лучшие специалисты по искусственному интеллекту в Google планируют создать собственную студию разработки в Японии
Лучшие специалисты по искусственному интеллекту в Google, чьи исследования способствовали созданию ИИ-ботов, таких как ChatGPT от OpenAI, Google Bard, Stability AI, Midjourney и Dall-E, намерены создать свои собственные студии разработки искусственного интеллекта. Sakana AI возглавляет усилия по созданию собственной генеративной модели искусственного интеллекта, то есть программного обеспечения, способного создавать текст, изображения, код и многое другое.
5. Исследователи говорят, что предвзятый искусственный интеллект нуждается в помощи людей, чтобы избежать вредных климатических действий
Согласно новой статье исследователей из Кембриджского университета, предвзятость при сборе данных, от которых зависят компьютерные программы искусственного интеллекта, может ограничить полезность климатологов в предсказании будущих сценариев и руководстве глобальными действиями. В статье делается вывод о том, что технология, направляемая людьми, остается важной для развития социально ответственного искусственного интеллекта.
Пять пятиминутных чтений/видео, чтобы продолжать обучаться
- Список чтения Анти-Hype LLM
Навигация в текущем хайпе в области искусственного интеллекта может быть сложной, что затрудняет определение того, что действительно существенно. Эта компиляция включает в себя тщательно отобранную коллекцию основных статей, интересные открытые вопросы и руководство по получению более глубокого понимания этой области.
2. Почему вам, скорее всего, не нужно настраивать LLM
В этом посте раскрываются причины, по которым настройка может быть необязательной для вашего приложения. Он подробно объясняет, что включает в себя настройка и исследует потенциальные альтернативы. Контент рассчитан на тех, кто сосредоточен на создании приложений LLM.
3. Открытые вызовы в исследованиях LLM
Быстрый рост искусственного интеллекта породил новые направления исследований. Эта статья объединяет текущие вызовы в исследованиях LLM, такие как мультимодальность, альтернативы графическим процессорам, инновационные архитектуры и другие.
4. AI2 Dolma: 3 трлн токенов открытого корпуса для предварительного обучения языковых моделей
AI2 Dolma – это набор данных из 3 трлн токенов, взятых из различных источников, включая веб-контент, академические публикации, репозитории кода, книги и энциклопедические материалы. Его основная цель – предоставить исследователям возможность исследовать влияние данных в масштабе. Он легко доступен для загрузки на HuggingFace Hub.
5. Советы по написанию статей NLP
В этом посте рассказывается, как построить стандартизированный процесс написания статей NLP. Он представляет основные компоненты, включая структурирование контента, точность языка, полное литературное обзоры, точные цитаты и другие. Несмотря на то, что некоторые указания адаптированы к исследованиям NLP, принципы, изложенные здесь, могут быть эффективно использованы в различных областях.
Статьи и репозитории
- Само-выравнивание с обратным переводом инструкций
Эта статья представляет масштабируемый метод построения высококачественной языковой модели, следующей инструкциям, путем автоматической разметки текста, написанного человеком, соответствующими инструкциями. Она начинается с языковой модели, настроенной на небольшом количестве исходных данных и данного веб-корпуса.
2. Neuralangelo: высококачественная нейронная поверхностная реконструкция
Эта статья представляет Neuralangelo, который объединяет силу представления многоразрешающих 3D-сеток с нейронной поверхностной рендеризацией. Два ключевых элемента, позволяющих использовать этот подход, – численные градиенты для вычисления производных более высокого порядка и грубая-к-тонкой оптимизации на сетках сеток.
3. Согласованная коллаборативная фильтрация через тензорное разложение
Эта работа разработала Sliced Anti-symmetric Decomposition (SAD), новую модель для коллаборативной фильтрации на основе неявной обратной связи. SAD обеспечивает наиболее согласованные персонализированные предпочтения, сохраняя высокий уровень точности в персонализированных рекомендациях.
4. Эффективная направленная генерация для больших языковых моделей
Эта статья показывает, как проблему генерации текста с нейронными сетями можно конструктивно переформулировать в терминах переходов между состояниями конечного автомата. Она направляет генерацию текста с помощью регулярных выражений и контекстно-свободной грамматики, позволяя строить индекс над словарем языковой модели.
5. neuml/txtai
Txtai – это все-в-одном открытая встраиваемая база данных для семантического поиска, оркестрации LLM и рабочих процессов языковых моделей. Она может быть настроена за несколько минут, работает локально, имеет низкий след и работает с микро-моделями до больших языковых моделей.
Нравятся эти статьи и сводки новостей? Получайте ежедневную сводку в своем почтовом ящике!
Секция сообщества Learn AI Together!
Мем недели!
Мем, поделившийся rucha8062
Избранный сообществом пост из Discord
Marcklingen недавно представил “langfuse”, инструмент для наблюдаемости и аналитики с открытым исходным кодом, разработанный для приложений LLM (Large Language Model). Этот инструмент позволяет пользователям ускорить процесс разработки своего приложения, предоставляя подробную информацию о точных трассировках выполнения, включая аспекты качества, стоимости и задержки. В настоящее время Langfuse Analytics находится в закрытой альфа-фазе, в рамках которой основная команда сотрудничает с группой пользователей для создания наиболее полезной аналитической платформы для приложений LLM. Посмотрите его на GitHub и поддержите коллегу из сообщества. Поделитесь своими отзывами и вопросами в этой теме.
Раздел, отобранный TAI
Статья недели
Как я создал систему рекомендаций видео с использованием больших языковых моделей и векторных баз данных. Автор: Зумана Кейта
В этой статье вы узнаете, как использовать большие языковые модели, передовые инструменты анализа текста и речи, а также векторные базы данных для создания полноценного аудиорекомендательного решения. Это решение будет предлагать лучшие видео на основе интересов пользователей.
Наши обязательные к прочтению статьи
Модель Metas New Text-to-Image — объяснение статьи CM3leon. Автор: Борис Мейнардус
Используйте LangChain для извлечения словаря из текста. Автор: Евгения Анелло
Заняты? Это ваш быстрый путеводитель по открытию черного ящика моделей диффузии. Автор: Пол Юстин
Если вы хотите опубликовать статью в Towards AI, ознакомьтесь с нашими рекомендациями и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашим редакционным политикам и стандартам.
Вакансии
Старший редактор (техническое программное обеспечение) @Future Publishing (Лондон, Великобритания)
Младший инженер-программист (React.js) — OP01114 @Dev.Pro (удаленная работа)
Архитектор решений (разработка программного обеспечения) @Uni Systems (Варшава, Польша)
Инженер программного обеспечения @Mention Me (удаленная работа)
Инженер программного обеспечения, полный стек @Basetwo (удаленная работа)
Старший инженер данных @Hertility Health (удаленная работа)
Инженер искусственного интеллекта @Plain Concepts (удаленная работа)
Хотите разместить вакансию здесь? Свяжитесь с sponsors@towardsai.net.
Если вы готовитесь к собеседованию по машинному обучению, не стесняйтесь посетить наш ведущий веб-сайт по подготовке к собеседованию, confetti!
