Продукты GenAI Двигайтесь быстро и ошибайтесь

Продукты GenAI - Быстрое движение и точность

Создание крутой и фантастической демонстрации легко, но создание конечного продукта – нет.

Breaking Bad.

Осенью 2022 года я работал над крутым проектом. Да, вы угадали – настройка моделей языкового моделирования на компании-специфичных данных.

Однако вскоре была выпущена ChatGPT, и она ворвалась в мир как ураган. И в чем смысл строить свою собственную языковую модель, когда уже есть такая мощная?

Я всегда был огромным поклонником Bert, поэтому когда был выпущен ChatGPT, я тоже увлекся этой новостью. Ведь кто бы не увлекся? Обещание искусственного интеллекта было словно новая блестящая игрушка, и мне хотелось поиграть. В этой статье я хотел бы поделиться своим путешествием NLP-специалиста, который стремился повлиять на развитие генетического ИИ.

Я начал работать над проектами GenAI в начале 2023 года, когда крупный начальник захотел что-то сделать с этой новой технологией. Я понял, насколько я везуч, ведь не каждый руководитель открыт для исследования фронтов GenAI. Я сопровождал начальника на встречу с Microsoft, чтобы обсудить использование GenAI в нашем случае, что означало использование моделей семейства chatGPT для некоторых применений в нашей компании. Скоро мы были включены в список пользователей в AzureOpenAI, и вечеринка началась официально.

Создание крутой демонстрации легко

Существует 1,4 миллиарда способов использования моделей OpenAI, но мне нужно сделать так, чтобы все работало в соответствии с технологическим стеком и политикой безопасности компании.

Для одного проекта мне нужно разработать как фронтенд, так и бэкенд решения для приложения на ИИ. За неделю у меня было миллиард вещей, которые я должен был выучить. Мне нужно развернуть модель chatGPT на Azure, чтобы использовать ее в своем приложении. Для фронтенда я создал приложение с помощью Streamlit. Это относительно легко. Всего за один день я создал приложение и запустил его локально. Теперь, когда приложение создано, пришло время показать его миру.

Честно говоря, это было не просто. Мне нужно было убедиться, что приложение соответствует политике безопасности компании. У нас нет стандартного рабочего процесса для развертывания приложений, поэтому мне пришлось многое выяснить самостоятельно. Мне пришлось выучить, как использовать файл yml для настройки Azure, и развертывать локальные приложения через веб-службу Azure. Мои дни тоже были наполнены разбором правильных доступов…