Индийская стартап выпускает OpenHathi первую когда-либо Хинди LLM

Индийский стартап представляет OpenHathi - первую в истории Хинди LLM

В значимом шаге к языковой инновации, индийский стартап по искусственному интеллекту Sarvam AI выпустил OpenHathi LLM, совершив значительный прорыв в области моделей на хинди. Всего через неделю после успешного получения 41 миллиона долларов в серии A финансирования, компания представила OpenHathi-Hi-v0.1, первый выпуск в серии OpenHathi.

Происхождение OpenHathi

Последнее творение Sarvam AI основано на архитектуре Llama2-7B компании Meta AI, специально разработанной для особенностей хинди, самого широко используемого языка Индии. Позиционируясь как первая Лarge Language Model (LLM) на хинди в серии OpenHathi, она обещает производительность, сравнимую с GPT-3.5 для индийских языков. Основой модели является экономически выгодная платформа, которая расширяет возможности Llama2-7B.

Представление процесса обучения

OpenHathi-Hi-v0.1 проходит тщательный двухфазовый процесс обучения. Вначале делается упор на настраивание вложений, выравнивая случайно инициализированные хинди вложения. Затем модель выполняет двуязычное языковое моделирование, овладевая вниманием междуязыкового внимания между токенами. Результатом является надежная производительность в различных хинди-задачах, продемонстрировавшая силу как в родных, так и в романизованных скриптах.

Коллаборации и научные вклады

Разработанная при совместной работе с академическими партнерами AI4Bharat, OpenHathi-Hi-v0.1 от Sarvam AI воспользуется языковыми ресурсами и эталонами, предоставленными этими партнерами. Это сотрудничество простирается за языковые границы, как показано недавним объявлением KissanAI о Dhenu 1.0, революционной модели большого языка для сельского хозяйства. Этот двуязычный чудо-инструмент непосредственно учитывает лингвистические потребности фермеров на английском, хинди и хинглише.

Дальнейшие шаги для Sarvam AI

Пратюш Кумар и Вивек Рагхаван, соучредители Sarvam AI, запустили стартап в июле 2023 года. Поддержанные серией A финансирования на существенную сумму, возглавленной инвестиционным фондом Lightspeed Ventures, эта команда стремится удовлетворить уникальные потребности Индии через интеграцию генеративного ИИ для разнообразных индийских языков. Их фокус расширяется на сотрудничество с предприятиями по разработке AI-моделей для конкретных областей с использованием данных в качестве основы.

Наше мнение

В условиях, где лингвистическое разнообразие является ключевым, OpenHathi-Hi-v0.1 от Sarvam AI является многообещающим нововведением, воплощающим стремление к инновациям в индийской языковой ИИ. Сотрудничество с академическими партнерами и четкая стратегия на будущее позволяет Sarvam AI занять лидерскую позицию в области генеративного ИИ. Приглашая разработчиков исследовать его потенциал, мы ожидаем волну творчества и специализированных моделей, которые дальше обогатят индийский ландшафт ИИ.

Соблюдение принципов прозрачности и сотрудничества, путь Sarvam AI от исследований и развития цифровой инфраструктуры до пионерских языковых моделей демонстрирует добросовестный подход к решению уникальной лингвистической головоломки Индии.