Этот информационный бюллетень по искусственному интеллекту – все, что вам нужно #65

Информационный бюллетень по ИИ - все, что нужно #65

Что произошло на этой неделе в области искусственного интеллекта от Луи

На этой неделе в области искусственного интеллекта произошли события в области регулирования ИИ со стороны Капитолия: ведущие технологические лидеры, такие как Илон Маск и Марк Цукерберг, присоединились к более чем 60 сенаторам, чтобы обсудить ИИ, и знаете что? Они все согласны – самое время установить некоторые правила. Илон Маск даже сказал, что это событие “может стать исторически важным для будущего цивилизации”. Правительство может не работать очень быстро в этом направлении, но обсуждение о необходимости регулирования со стороны государства набирает обороты.

На этой неделе произошло захватывающее событие – OpenAI и Google, по сообщениям, находятся в гонке за выпуск следующего поколения LLMs, известных как мультимодальные модели. Эти системы искусственного интеллекта обладают уникальной способностью обрабатывать как текст, так и изображения без проблем, обещая революционизировать все, от веб-дизайна до анализа данных. В то время как Google уже представил свою грядущую мультимодальную модель Gemini некоторым третьим сторонам, OpenAI не отстает и стремится опередить Google в публичном запуске с мультимодальными возможностями. Мы с нетерпением ждем возможности экспериментировать с мощными мультимодальными моделями, по мере их появления, и ожидаем, что это приведет к появлению новых возможностей и приложений в области искусственного интеллекта.

– Луи Питерс – сооснователь и генеральный директор Towards AI

К конкурсу Towards X FlowGPT: Prompt Hackathon

• Смягчение предвзятости в генеративном искусственном интеллекте
• Процесс, усиливающий борьбу против амбициозного регулирования ИИ 3-шаговое решение от Оксфордского исследования
• ChatGPT Расширенный анализ данных для настраиваемых графиков кривых Матплотлиб

Мы рады объявить о нашем партнерстве с FlowGPT, который проводит конкурс Prompt Hackathon с 15 сентября по 14 октября. Присоединяйтесь к их сообществу в Discord и изучайте конкурс.

Они предлагают вознаграждение в размере более 15 000 долларов наличными, и это мероприятие спонсируется Google! Кроме того, FlowGPT будет проводить несколько захватывающих событий, связанных с ИИ и обработкой естественного языка, в этом и следующем месяцах.

Мы также сотрудничаем с FlowGPT для организации одного из наших мастер-классов в сообществе Learn AI Together в Discord, где Руйки Чжонг поделится своими идеями о согласованности ИИ. Зарегистрируйтесь на событие и узнайте больше.

Самые горячие новости

1. Stable Audio

Стартап из Лондона Stability AI, известный своей моделью искусственного интеллекта Stable Diffusion, представил Stable Audio – модель искусственного интеллекта, способную генерировать высококачественную коммерческую музыку с большим контролем над синтезированным звуком.

2. Google приближается к выпуску программного обеспечения Gemini, сообщает The Information

Google приближается к выпуску своего программного обеспечения для разговорного ИИ под названием Gemini. Это продвинутая языковая модель, предназначенная для конкуренции с моделью GPT-4 компании OpenAI. В настоящее время она находится в начальной тестовой фазе и предлагает ряд функций, включая чат-ботов, краткое изложение текста и помощь в написании кода.

3. Microsoft выпускает Prompt Flow

Microsoft представила Prompt Flow – набор инструментов для разработки приложений на основе LLM. Он предлагает ряд функций, включая создание исполняемых рабочих процессов, отладку и итерацию процессов, оценку качества и производительности процессов с использованием больших наборов данных, интеграцию тестирования и оценки в системы CI/CD, а также легкое развертывание процессов на выбранные платформы или кодовые базы приложений.

4. IBM выпускает MoE LLMs

IBM недавно запустила MoE LLMs, включая модели с 4 миллиардами и 8 миллиардами параметров. Эти модели обеспечивают вычислительную эффективность, сравнимую с плотными моделями, но с меньшим количеством параметров. Они были обучены на большом наборе данных и используют архитектуру ModuleFormer.

5. Обладатель Пулитцеровской премии и другие подают иск против OpenAI

Получатель Пулитцеровской премии, американский писатель Майкл Чэбон и несколько других писателей подали иск о коллективном иске, обвиняя OpenAI в нарушении авторских прав, утверждая, что их работы были включены в наборы данных, используемые для обучения моделей, стоящих за ChatGPT. OpenAI утверждает, что его модели обучения языка защищены “честным использованием”, что вызывает обсуждения в области искусственного интеллекта и авторского права.

Пять статей/видео продолжительностью 5 минут, чтобы продолжать обучаться

1. Обучение LLM: RLHF и его альтернативы.

Эта статья разбирает RLHF пошагово, чтобы предоставить справочник для понимания его основной идеи и важности. Она представляет пять различных подходов с соответствующими исследовательскими статьями, такими как “Конституционный ИИ”, “Мудрость Опыта”, “Прямая оптимизация предпочтений” и другие.

2. Новые данные об использовании ИИ показывают, кто использует ИИ – и выявляют население “суперпользователей”.

Salesforce выпустила исследование Generative AI Snapshot Research: “The AI Divide”, в котором приняли участие более 4 000 человек из Соединенных Штатов, Великобритании, Австралии и Индии. Опрос показывает, что почти половина населения использует искусственный интеллект, а треть использует его ежедневно. Молодые поколения, особенно Gen Z и миллениалы, являются “суперпользователями” генеративного искусственного интеллекта.

3. Обзор нативно поддерживаемых схем квантования в 🤗 Transformers.

Схемы квантования в Transformers, такие как BitsandBytes и Auto-GPTQ, предлагают методы для запуска больших моделей на меньших устройствах. Эта статья направлена на предоставление ясного обзора преимуществ и недостатков каждой схемы квантования, поддерживаемой в transformers, чтобы помочь вам решить, для какой из них вам следует выбрать.

4. Почему открытый исходный код искусственного интеллекта победит.

Открытый исходный код, вероятно, окажет более значительное влияние на будущее LLM и моделей изображений, чем широкая общественность полагает. Эта статья представляет текущие аргументы против открытого исходного кода и его ограничения, а также исследует его будущее и важность.

5. Проверка выводов больших языковых моделей. Большие языковые модели мощны, но могут давать несогласованные результаты.

Проверка выводов является важной для надежных и точных приложений. В этой статье обсуждается проверка вывода LLM и приводятся примеры того, как ее реализовать с использованием открытого пакета под названием Guardrails AI.

Статьи и репозитории

1. От Sparse to Dense: GPT-4 Summarization With Chain of Density Prompting

В недавнем исследовании была представлена методика “Chain of Density” (CoD), которая генерирует плотные сводки с использованием GPT-4. Путем итеративного добавления важных сущностей без увеличения длины полученные абстрактные сводки превосходят стандартные сводки-подсказки по качеству абстракции и сокращают смещение вперед.

2. Большие языковые модели для оптимизации компилятора

В этой статье представлена 7-миллиардная модель трансформатора, обученная с нуля для оптимизации LLVM-ассемблера по размеру кода. Модель превосходит базовые показатели и обладает исключительными способностями к рассуждению о коде, что приводит к снижению количества инструкций на 3%. Она генерирует компилируемый код в 91% случаев и идеально эмулирует вывод компилятора в 70% случаев.

3. Когда меньше значит больше: исследование обрезки данных для предварительного обучения LLM на масштабе

В этой работе исследователи рассматривают широкий спектр исследований и исследуют масштабируемые оценки качества данных, которые можно использовать для систематического измерения качества данных предварительного обучения. Они обнаружили, что перплексия является более эффективным методом, чем сложные методы оценки, для обрезки данных предварительного обучения для языковых моделей.

4. NExT-GPT: Абсолютно любая мультимодальная LLM

NExT-GPT – это система общего назначения любой-любой MM-LLM. Она может обрабатывать и генерировать контент в различных модальностях, таких как текст, изображения, видео и аудио. Для этого используются уже обученные кодировщики и декодеры с минимальной настройкой параметров.

5. Клиническая суммаризация текста: адаптация больших языковых моделей может превзойти квалифицированных специалистов

В этой работе применяются методы доменной адаптации на восьми LLM, охватывающих шесть наборов данных и четыре различных задачи суммаризации: радиологические отчеты, вопросы пациентов, прогресс-отчеты и диалоги между врачом и пациентом. Это исследование является первым, которое демонстрирует, что LLM превосходят людей в нескольких клинических задачах суммаризации.

Нравятся эти статьи и сводки новостей? Получайте ежедневные обзоры в своей почте!

Раздел сообщества Learn AI Together!

Еженедельный AI-подкаст

В этом выпуске подкаста “What’s AI” Луис Бушард беседует с Петаром Величковичем, научным сотрудником DeepMind. Они обсуждают его академическое образование и его путь от соревновательного программирования к машинному обучению. Петар также делится своими взглядами на ценность докторской степени, подчеркивая ее роль в качестве входного билета в исследования и возможности построения связей и адаптации. Он подчеркивает изменяющуюся среду исследований в области искусственного интеллекта, где разнообразные фонды и вклады являются неотъемлемыми. В целом, интервью предлагает ценные перспективы на академию, промышленность и важность любопытства в создании значимых исследований. Слушайте полный выпуск в Spotify или Apple Podcasts!

Предстоящие мероприятия сообщества

Сообщество Learn AI Together организует еженедельные семинары по искусственному интеллекту, чтобы помочь сообществу учиться у экспертов индустрии, задавать вопросы и получать более глубокое понимание последних исследований в области искусственного интеллекта. Присоединяйтесь к нам на бесплатные интерактивные видеосессии, проводимые вживую на Discord каждую неделю, посетив наши предстоящие мероприятия.

1. Пояснение AI Alignment

На вебинаре Руйчи Чжун проведет доклад о согласовании искусственного интеллекта, который будет размещен на сервере в рамках серии мероприятий Prompt Hackathon. Познакомьтесь с Руйчи и согласованием искусственного интеллекта до доклада в его публикации “Пояснение согласования искусственного интеллекта как исследователя обработки естественного языка и почему я над этим работаю”.

Присоединяйтесь к мероприятию здесь!

Дата и время: 28 сентября 2023 года, 12:00 дня по восточному времени (EST)

Добавьте наш календарь Google, чтобы увидеть все наши бесплатные события по искусственному интеллекту!

Мем недели!

Мем, опубликованный пользователем rucha8062

Избранный сообществом пост из Discord

Пингвин работает над веб-сайтом, который поможет обнаруживать недавние научные статьи по искусственному интеллекту, машинному обучению, обработке естественного языка, компьютерному зрению и робототехнике. Этот веб-сайт является ценным ресурсом для энтузиастов и профессионалов искусственного интеллекта, которые хотят быть в курсе последних исследований в этой области. Посетите его здесь и поддержите участника сообщества! Поделитесь своими отзывами и присоединяйтесь к обсуждению.

AI опрос недели!

Присоединяйтесь к обсуждению на Discord.

TAI раздел подборки

Статья недели

Важнейшие научные статьи по компьютерному зрению за неделю с 4/9 по 10/9 от Юсефа Хосни

Эта статья предоставит всеобъемлющий обзор наиболее значимых статей, опубликованных в первую неделю сентября 2023 года, подчеркивая последние исследования и достижения в области компьютерного зрения. Независимо от того, являетесь ли вы исследователем, практикующим специалистом или энтузиастом, эта статья даст ценные понимания о передовых техниках и инструментах в области компьютерного зрения.

Наши обязательные к прочтению статьи

К 3D глубокому обучению: искусственные нейронные сети на Python от Флорана Пу (Ph.D.)

PyTorch LSTM – формат входных данных, скрытое состояние, состояние ячейки и выход от Суджита Кумаравела

Обзор графовой сети внимания (Graph Attention Network, GAT) с визуализированной реализацией от Дэвида Вайнера

Если вас интересует публикация в Towards AI, ознакомьтесь с нашими руководствами и зарегистрируйтесь. Мы опубликуем вашу работу в нашей сети, если она соответствует нашей редакционной политике и стандартам.

Вакансии

Старший инженер по глубокому обучению алгоритмов @NVIDIA (Santa Clara, CA, USA)

Старший программист — бэкэнд Python @Teramind (Remote)

Старший инженер по глубокому обучению NLP @H1 (Remote)

Исследователь машинного обучения (старший) @Casetext (Remote)

Менеджер успеха машинного обучения @Snorkel AI (Remote)

Инженер по программному обеспечению @Sonera (Berkeley, CA, USA)

Интересует возможность размещения вакансии здесь? Свяжитесь с нами по адресу sponsors@towardsai.net.

Если вы готовитесь к следующему собеседованию по машинному обучению, не стесняйтесь посетить наш ведущий сайт по подготовке к собеседованию, confetti!