«LLMOps – следующий этап развития MLOps»

«LLMOps - следующий шаг в развитии MLOps»

Недавно Сахар Долев-Блитенталь, вице-президент по маркетингу в Iguazio, присоединилась к нам для короткого интервью о LLMOps и следующей грани MLOps. За почти час Саха обсудила многие аспекты недавно появившейся области LLMOps, от определения поля до примеров использования и лучших практик. Продолжайте читать для основных выводов из интервью, или вы можете посмотреть полное видео здесь.

Что такое LLMOps?

“Быстрый темп развития [генеративного ИИ] и факт, что об этом говорят все, делает MLOps и LLMOps настолько важными, как никогда ранее.”

Большие языковые модели создают свои собственные проблемы и сложности. Как отмечает Сахар, масштаб LLM требует большего количества графических процессоров и представляет другие риски. Также больше внимания уделяется эффективности, чтобы компенсировать увеличенное количество ресурсов, необходимых для работы с LLM. Тем не менее, объясняет Сахар, основы MLOps и LLMOps одинаковы, то, что отличает их, это масштаб моделей, которые проходят свой жизненный цикл до развертывания.

Применение LLMOps

“Только 2% приложений сегодня работают на основе Gen AI. Я имею в виду, 90% разговоров непременно касается Gen AI, но на практике только около 2% приложений основаны на Gen AI. Так что, я думаю, это все еще очень ранний этап…”

Хотя область все еще находится в начальной стадии развития, LLMOps используются для внедрения приложений генеративного ИИ в производство. Во время интервью Сахар рассмотрела два примера использования: Subject Matter Experts и анализ колл-центра.

Subject Matter Experts часто нанимаются в сферах здравоохранения и розничной торговли и представляют собой чат-ботов, которые являются экспертами в определенной области. Например, вы можете найти их встроенными на веб-сайте для помощи клиентам напрямую или в поддержке команды по успеху клиента.

В случае анализа колл-центра такие приложения могут использоваться для анализа настроения, чтобы более глубоко исследовать обсуждаемую тему и идентифицировать сотрудников, которым требуется больше поддержки. В обоих случаях эти приложения используются для помощи сотрудникам выполнять свою работу лучше и повышать удовлетворенность.

Лучшие практики

“Первый и самый важный совет – вам не нужно создавать собственную LLM.”

Последняя тема, на которую мы сосредоточимся, – это лучшие практики для малых организаций, которые хотят реализовать LLM и снизить влияние предвзятости в моделях.

Для небольших организаций с ограниченными финансовыми возможностями Сахар рекомендует рассмотреть существующие LLM, вместо того, чтобы создавать их с нуля. Это может сократить затраты на обучение. Во-вторых, она предлагает узкую область применения LLM. Это позволяет избежать ресурсов, затраченных на работу, которая не создает ценности.

Чтобы избежать предвзятости, Сахар подчеркивает две очень важные области. Во-первых, основная подготовка данных является неотъемлемой частью. Если данные предвзяты, результаты будут предвзятыми. Существует несколько способов избежать предвзятого набора данных:

  • Составить разнообразную команду, представляющую широкий спектр различных фонов
  • Предоставить разнообразный набор данных с самого начала
  • Постоянный контроль и обязательство повторного обучения при обнаружении предвзятости.

Заключение

Чтобы узнать еще больше о LLM и LLMOps, присоединяйтесь к нам на ODSC West с 30 октября по 2 ноября. С полным разделом, посвященным NLP и LLM, вы сможете насладиться докладами, сессиями, мероприятиями и многим другим, которые полностью сосредоточены на этой быстроразвивающейся области.

Подтвержденные сессии LLM включают в себя:

  • Персонализация LLM с помощью функцionalüssencontenhate</li
  • Техниquescache evaluations pour les large language models</li
  • Вопросного/ответного ботаэспarro deEgusenс открытыми источниками LLM</li
  • Понимание ландшафта больших моделейmintpdfelся.dFähmplLLMy<
  • омель

    есткое применение языковых моделeyßeвPresentend-SqlConnection daDatusempdatefont-sizeont-size:noref=>qSQL&ai+professionnal&amp&ampndanceqlianihellmsude to you

  • Integrating Language Models for Automating Feature Engineering Ideation
  • How to Deliver Contextually Accurate LLMs
  • Retrieval Augmented Generation (RAG) 101: Building an Open-Source “ChatGPT for Your Data” with Llama 2, LangChain, and Pinecone
  • Building Using Llama 2
  • LLM Best Practises: Training, Fine-Tuning, and Cutting Edge Tricks from Research
  • Hands-On AI Risk Management: Utilizing the NIST A