Трей Дуайг, главный технический директор и соучредитель компании Pathlight – серия интервью
Трей Дуайг Главный технический директор Pathlight в серии интервью
Trey Doig – сооснователь и технический директор компании Pathlight. Трей имеет более десятилетнего опыта работы в сфере технологий, работал инженером в таких компаниях, как IBM, Creative Commons и Yelp. Он был главным инженером Yelp Reservations и отвечал за интеграцию функционала SeatMe на Yelp.com. Также Трей руководил разработкой веб-приложения SeatMe, когда компания масштабировалась для поддержки клиентского роста в 10 раз.
Pathlight помогает командам, работающим с клиентами, повышать производительность и эффективность с помощью реального анализа разговоров с клиентами и работы команды. Платформа Pathlight автономно анализирует миллионы точек данных, чтобы предоставить каждому уровню организации понимание того, что происходит на передовой и определить наилучшие действия для достижения повторяемого успеха.
Что изначально привлекло вас в компьютерную науку?
Я начал играться с компьютерами еще в самом раннем детстве. В 12 лет я начал изучать программирование и самостоятельно освоил языки Scheme и Lisp, вскоре после этого я начал создавать различные вещи для себя и друзей, в основном в области веб-разработки.
- Обзор Sudowrite Может ли ИИ написать роман, звучащий естественным образом?
- Основные моменты и вклад с конференции NeurIPS 2023
- Разблокируйте силу контейнеров изучение топ-20 контейнеров Docker для каждой потребности в разработке
Намного позже, когда я поступал в колледж, я на самом деле сошел с ума по компьютерам и решил поступить в школу дизайна. После того, как меня не приняли в некоторые из этих школ, я решил поступить на программу компьютерных наук и никогда не взглянул назад. Отказ в поступлении в школу дизайна оказался одним из наиболее вознаграждающих отвержений в моей жизни!
Вы занимали руководящие должности в компаниях IBM, Yelp и других. В Yelp, в частности, над чем работа была наиболее интересной и каковы были ваши ключевые выводы из этого опыта?
Я присоединился к компании Yelp через приобретение нашей предыдущей компании SeatMe, и с самого начала мне было поручено интегрировать наш поисковый движок резервирования на главной странице Yelp.com.
Буквально спустя несколько месяцев мы смогли успешно привести в действие этот поисковый движок на масштабе Yelp, в основном благодаря надежной инфраструктуре Elasticsearch, созданной внутри Yelp. Это также было возможно благодаря отличному техническому руководству, которое позволило нам свободно передвигаться и делать то, в чем мы были лучшие: быстро разрабатывать и доставлять продукты.
Как технический директор и сооснователь компании Pathlight, специализирующейся на разработке решений в области разговорного интеллекта, вы помогаете создавать инфраструктуру LLM Ops с нуля. Можете ли вы рассказать о различных компонентах, которые необходимо установить при развертывании инфраструктуры LLMOps, например, как вы управляете уровнем управления подсказками, потоком данных, управлением моделями и т. д.?
В конце 2022 года мы посвятили себя серьезному проекту по разработке и экспериментированию с методами больших языковых моделей (LLM), что затем привело к успешному запуску нашего нового продукта GenAI Native Conversation Intelligence всего через четыре месяца. Этот инновационный продукт объединяет взаимодействие с клиентами из разных каналов – текстовых, аудио или видео – в одной обширной платформе, позволяя проводить углубленный анализ и понимание настроений клиентов.
В этом сложном процессе мы чистим, оптимизируем и предварительно обрабатываем данные для использования моделями LLM. Критическим этапом в этом рабочем процессе является создание эмбеддингов из транскриптов, что является основным шагом для создания наших моделей классификации и суммирования.
То, что действительно отличает этот проект, это новизна и неизведанность данной области. Мы находимся в уникальном положении, пионерствуем и раскрываем перед всем сообществом лучшие практики. Ярким примером этого исследования является инжиниринг подсказок – контроль, отладка и обеспечение контроля качества подсказок, созданных нашим приложением. Удивительно, что мы видим рост стартапов, которые предлагают коммерческие инструменты, адаптированные для более сложных задач, включая кооперативные функции, расширенные возможности регистрации и индексации.
Тем не менее, наш акцент по-прежнему незыблемо ориентирован на укрепление основных компонентов нашей инфраструктуры LLMOps. От настройки оркестрации до размещения моделей и создания надежных API вывода – эти базовые компоненты критически важны для нашей миссии. Сосредоточивая свои ресурсы и технические усилия на этом уровне, мы гарантируем, что наш продукт не только быстро выходит на рынок, но также имеет надежную основу.
По мере развития сферы и появления коммерческих инструментов, направленных на решение более сложных проблем, наша стратегия позволит нам без проблем интегрировать эти решения, дополняя наш продукт и ускоряя наш путь в изменении представлений о разговорном интеллекте.
Основой инфраструктуры Pathlight CI является мульти-LLM-бэкенд; какие вызовы возникают при использовании более одной LLM и работе с различными ограничениями по объему данных?
LLMs и GenAI движутся с невероятной скоростью, что делает абсолютно важным, чтобы любое бизнес-приложение, тяжело полагающееся на эти технологии, было способно быть в шаге с самыми последними и передовыми обученными моделями, будь то собственные управляемые сервисы или развертывание FOSS-моделей в вашей собственной инфраструктуре. Особенно когда требования к вашему сервису растут, а ограничения на скорость не позволяют достичь необходимой пропускной способности.
Галлюцинации – это общая проблема для любой компании, строящей и развертывающей LLMs, как Pathlight решает эту проблему?
Галлюцинации, в том смысле, в котором люди обычно ссылаются на них, являются огромной проблемой при работе с LLMs в серьезных масштабах. Однако существует уровень неопределенности/непредсказуемости в том, что следует ожидать от даже идентичной подсказки. Существует много способов решения этой проблемы, включаяся тонкая настройка (когда максимизируется использование самых качественных доступных моделей для генерации данных настройки).
Pathlight предлагает различные решения, которые ориентированы на различные сегменты рынка, такие как путешествия и гостеприимство, финансы, игры, розничная торговля и электронная коммерция, контактные центры и т. д. Можете ли вы рассказать о различиях в использовании генеративного искусственного интеллекта в этих сферах?
Мгновенная возможность охватить такой широкий спектр сегментов – это один из наиболее ценных аспектов использования Generative AI. Иметь доступ к моделям, обученным на всем содержимом интернета, с таким разнообразием знаний во всех возможных областях, является уникальным качеством этого прорыва. Таким образом, искусственный интеллект сможет доказать свою эффективность с течением времени, благодаря его всеохватности, и это, безусловно, непременно случится в будущем, исходя из его текущего пути развития.
Можете ли вы рассказать, как Pathlight использует машинное обучение для автоматизации анализа данных и обнаружения скрытых инсайтов?
Конечно! У нас богатый опыт в создании и развертывании нескольких проектов машинного обучения на протяжении многих лет. Генеративная модель, лежащая в основе нашей последней функции «Insight Streams», является отличным примером того, как мы использовали машинное обучение для создания продукта, способного узнать то, о чем вы еще не знаете о своих клиентах. Эта технология использует концепцию AI Agent, который способен создавать постоянно развивающийся набор Инсайтов, что делает невозможным как актуальность, так и глубину ручного анализа. Со временем эти потоки могут самостоятельно учиться и
Анализ данных, аналитики данных, бизнес-аналитики, сотрудники отдела продаж или обслуживания клиентов – вся компания непрерывно затопляется важными запросами. Углубленный анализ, требующий использования сложных систем и данных, обычно требует огромных ресурсов.
Какова ваша личная точка зрения по поводу прорывов, которые мы можем ожидать от LLMs и искусственного интеллекта в целом?
Мое личное мнение крайне оптимистично относительно развития методик обучения и настройки LLMs, а также достижения успехов в более широких областях и перехода к использованию мультимодальности как нормы. Я считаю, что FOSS уже во многих отношениях «так же хорош», как GPT4, однако проблема стоимости хостинга этих моделей останется заботой для большинства компаний.
