Этот AI-бюллетень – всё, что вам нужно #69

Этот AI-бюллетень - все, что вам нужно №69

Что произошло на этой неделе в области искусственного интеллекта – Луи

Google присоединился к Microsoft и Adobe, объявив, что они будут защищать пользователей своих услуг искусственного интеллекта от потенциальных исков, связанных с нарушением интеллектуальной собственности, при условии, что пользователи используют платформы Google Cloud (Vertex AI) и Workspace (Duet AI). В пресс-релизе, однако, не было упоминания о ChatBot Bard и было уточнено, что защита не будет распространяться на ситуации, в которых пользователи преднамеренно пытаются нарушить права других лиц. Хотя правда, что иски, связанные с искусственным интеллектом, как правило, сосредоточены на компаниях, которые внедряют эту технологию, а не на конечных пользователях, использующих платформу, все же кажется разумным обеспечить корпорации включение сервисов искусственного интеллекта от Google в их продукты.

В других новостях XLANG Lab представила Lemur-70B и его чатовую версию с целью разработки модели, которая отличается в области генерации текста, возможностями программирования и задачами агента. Это выделяет его среди других открытых моделей, которые обычно специализируются либо на одной области, либо на другой. Концепция заключается в том, что для того чтобы агент превосходил в размышлениях и выполнении задач в реальном мире, он должен демонстрировать высокий уровень точности как в понимании языка, так и в навыках программирования. Они предварительно обучили модель LLaMA-2 с использованием набора данных из 90 миллиардов токенов, поддерживающего соотношение 1 к 1 между текстом и примерами кода для создания режима Lemur. Затем они применили надзорное точное настройку, используя набор данных, состоящий из 300 000 примеров, что привело к разработке Lemur-Chat. Модель может превосходить другие открытые модели на значительный отрезок, сохраняя при этом производительность, сравнимую с GPT-3.5. Они также сделали свой код и, что самое важное, свой набор данных общедоступными, что способствует развитию этой области.

– Луи Питерс – сооснователь и генеральный директор Towards AI

Этот выпуск представлен благодаря Альянсу AI Infrastructure:

AI Infrastructure Alliance только что выпустил большое техническое руководство по агентам, LLM и Smart Apps. В нем рассмотрены проблемы, связанные с созданием запросов, основные фреймворки, такие как LlamaIndex, LangChain и Semantic Kernel, векторные БД, точное настройка, открытые и закрытые модели, общие шаблоны проектирования приложений, логика и рассуждения LLM и многое другое. GPT создал текущий фурор генеративного ИИ, но его приложения, способные выполнить реальную работу, освободят следующую волну программного обеспечения ИИ, и это руководство поможет вам начать создавать эти приложения.

Получите свою бесплатную копию сейчас!

Анонс AI-учителя Towards AI

На прошлой неделе мы выпустили наш курс по LLM. Мы с радостью анонсируем еще один связанный проект: наш собственный AI-учитель!

Благодаря тысячам опубликованных статей под изданием Towards AI, всему контенту из нашего курса LangChain и LLM, а также другим великим доступным источникам, таким как Huggingface Transformers и Wikipedia, нам удалось создать мощного чат-бота на основе модели, использующей расширенную генерацию с учетом поиска (RAG), который может отвечать на любые вопросы, связанные с искусственным интеллектом, и даже указывать источники информации!

RAG – это мощный подход к уменьшению рисков галлюцинаций и обеспечению способа ссылаться на знания, которыми делится чат-бот, чтобы вы могли погрузиться и узнать больше. Таким образом, единственное, что требуется для создания такого AI-учителя, это отличный чат-бот (GPT), великолепная база знаний (Towards AI) и немного труда.

Мы с радостью объявляем о его запуске и бесплатности! Попробуйте его и дайте нам обратную связь о том, как его улучшить! Ответы слишком краткие, слишком подробные, неверные источники… Помогите нам сделать его лучше для вас! Мы планируем его постоянное совершенствование и сохранение его бесплатным для всех наших студентов!

Попробуйте наш вопросно-ответный чат-бот (Q&A), созданный для пакета GenAI 360, который может отвечать на вопросы, связанные с LLM!

Самые горячие новости

1. Искусственный интеллект разшифровал древний свиток Геркуланума, не открывая его

21-летний студент из Университета Небраска-Линкольн использовал искусственный интеллект для разшифровки греческих букв на незавернутом свитке, обнаруженном после извержения Везувия в 79 году н. э. С помощью алгоритма машинного обучения студент успешно определил более 10 греческих символов, включая “порфирас”, что означает цвет фиолетовый, и выигралу “Челлендж Везувия”.

2. Google защитит пользователей генеративного искусственного интеллекта от претензий на нарушение авторских прав

Google присоединилась к другим технологическим гигантам в защите пользователей систем генеративного искусственного интеллекта на своих платформах Google Cloud и Workspace, если их обвиняют в нарушении интеллектуальной собственности. Хотя они предлагают защиту для программного обеспечения, такого как Vertex AI и Duet AI, но они не покрывают намеренную манипуляцию контента для нарушения авторских прав.

3. Представление Лемура: модели на основе открытого кода для языковых агентов

XLANG Lab представила Lemur-70B, новую модель LLM с открытым исходным кодом. Она превосходит другие модели в тестировании агентов и отличается в языковых и программных задачах. Она достигает таких же показателей производительности, как GPT-3.5-турбо в задачах написания кода, сокращая разрыв в производительности с коммерческими моделями в возможностях агентов.

4. Мобильное приложение ChatGPT установило рекордный доход в $4,58 млн в прошлом месяце, но рост замедляется

В сентябре мобильное приложение ChatGPT установило рекордные скачивания и доходы по всему миру: 15,6 миллиона загрузок и $4,6 миллиона дохода. Однако темп роста снизился с 30% до 20%, что указывает на возможное насыщение рынка для подписки ChatGPT+ за $19,99.

5. OpenAI тихо изменила свои “основные ценности”

OpenAI недавно тихо изменила все “основные ценности”, указанные на своем веб-сайте, уделяя особое внимание развитию искусственного общего интеллекта. Она описала искусственный общий интеллект (AGI) как “системы, обладающие высокой автономностью, которые превосходят человека в большинстве экономически ценных работ”. Предыдущие ценности больше напоминали лабораторные ценности, тогда как новые больше похожи на жаргон стартапа.

Пять материалов длительностью 5 минут для продолжения обучения

1. Бесплатный курс по тренировке и настройке LLM для применений

Этот бесплатный курс по тренировке и настройке LLM предлагает понимание таких тем, как введение в LLM, понимание архитектур Transformers и GPT, тренировка и настройка LLM, улучшение LLM с помощью RLHF и развертывание LLM.

2. Выступление в пользу возможности GPT-4 рассуждать

Способность к рассуждению и решению проблем остается темой интереса в LLM, таких как GPT. В этой статье рассказывается, как GPT-4 может симулировать рассуждение, подобное человеческому, когда ему задают загадки и логические головоломки. Однако его суждения могут быть подвержены предубеждениям и галлюцинациям.

3. Улучшение ChatGPT, превосходящее производительность GPT-4 в кратком изложении новостных статей

Исследователи обнаружили, что с использованием синтетического набора данных, созданного с помощью GPT-4 и методики CoD, GPT3.5 может превзойти GPT-4 в кратком изложении новостных статей. Эта настроенная версия GPT3.5 не только работает в 11 раз быстрее, но также экономит 63% стоимости по сравнению с GPT-4 без предварительного обучения, при этом достигая сходной производительности с использованием методики CoD.

4. 7 советов по снижению галлюцинаций и предубеждений в больших языковых моделях

В этой статье мы более подробно рассмотрим стратегии смягчения галлюцинаций и предвзятостей в больших языковых моделях. Мы обсудим советы по борьбе с этими тенденциями LLM, такими как параметрическая настройка вывода, инженерия запросов и более продвинутые техники, которые помогут повысить надежность и точность ваших LLM.

5. Исследователи обнаружили эмерджентные линейные структуры, которыми LLM представляют правду

Исследователи обнаружили линейные структуры в больших языковых моделях, которые разделяют правдивые и ложные примеры, указывая на наличие внутренней “оси правды”. Их работа предоставляет несколько страндов доказательств того, что представления LLM могут содержать определенное “направление правды”, указывающее на фактические истинные значения.

Статьи и репозитории

1. Prometheus: Обучение языковых моделей для повышения возможностей оценки

Prometheus, свободно распространяемый LLM, предлагает экономически эффективную альтернативу закрытым LLM, таким как GPT-4, для оценки задач масштабного производительности. Используя оценочные шкалы и определенные пользователем инструкции, Prometheus продемонстрировал сравнимую производительность с GPT-4 и превосходит модели, такие как ChatGPT, как показано в экспериментальных результатах.

2. Настройка языковых моделей под компромисс безопасности

Настройка LLM может подвергать их безопасность риску и приводить к потенциальным угрозам. Даже несколько адверсных примеров обучения могут сломать “безопасные барьеры” в моделях, таких как GPT-3.5 Turbo. Настройка с вредоносными и безобидными наборами данных может незаметно ухудшить безопасность языковых моделей.

3. Рассвет LMM: Предварительные исследования с GPT-4V (Vision)

Исследование GPT-4V показывает, что мы только начинаем работу с большими мультимодальными моделями (LMMs), продемонстрировав их потенциал в различных задачах, таких как описания изображений, локализация объектов, мультимодальные знания, программирование с помощью зрения, тесты на эмоциональный квоциент и применение в промышленности, например в медицине и автостраховании.

4. SWE-bench: Могут ли языковые модели решить реальные проблемы на GitHub?

Языковые модели, такие как LLMs, еще многое должны сделать по решению реальных проблем на GitHub, как показывает недавнее исследование. Закрытые модели, такие как Claude 2 и GPT-4, смогли решить только небольшую часть случаев в оценочной платформе под названием SWE-bench.

5. Ретриевал встречает LLM с длинным контекстом

Исследование, сравнивающее подходы с использованием расширенного контекстного окна и методов ретриевала в конечных задачах, показало, что использование контекстного окна размером 4K с простыми методами ретриевала может достичь примерно такой же производительности, как и окно размером 16K. Лучшая модель — ретриевал-улучшенная LLaMA2–70B, с окном размером 32K, превзошла GPT-3.5-turbo-16k в задачах вопросно-ответного форматирования и суммирования.

Нравятся вам эти статьи и сводки событий? Получайте ежедневные сводки в свою почту!

Раздел сообщества Learn AI Together!

Мем недели!

Мем поделился rucha8062

Участник сообщества из Discord

Hassan_0707 создал Oria Windows, позволяющее пользователям управлять своим ПК с помощью OpenAI. Оно интегрирует Open-интерпретатор и ChatGPT в среду Windows, предлагая возможности автоматизации, обработки данных, веб-скрапинга и понимания естественного языка. Проверьте его здесь и поддержите участника сообщества! Поделитесь своими отзывами и вопросами в обсуждении.

Опрос ИИ недели!

Присоединяйтесь к обсуждению на Discord.

TAI раздел кураторов

Статья недели

Топ важных статей по LLM на неделе с 2/10 по 8/10 от Youssef Hosni

В данной статье резюмируются некоторые из самых существенных статей по LLM, опубликованных в первую неделю октября. В статьях затрагиваются различные темы, формирующие следующее поколение языковых моделей, от оптимизации и масштабирования модели до рассуждений, бенчмаркинга и улучшения производительности. В заключительных разделах рассматриваются статьи о безопасном тренировке LLM и обеспечении их полезного поведения.

Наши обязательные для прочтения статьи

LangChain 101: Часть 2d. Совершенствование LLM с помощью обратной связи пользователя от Ivan Reznikov

Введение в большие языковые модели от Abhishek Chaudhary

Оптимизация моделей машинного обучения с DEHB: Учебное пособие с использованием XGBoost и Python от Peyman Kor

Если Вас интересует публикация на платформе Towards AI, ознакомьтесь с нашими правилами публикации и зарегистрируйтесь. Мы опубликуем Вашу работу в нашей сети, если она соответствует нашим редакторским политикам и стандартам.