Выберите свое оружие стратегии выживания для депрессивных ИИ-консультантов

Выберите оружие стратегии выживания для депрессивных ИИ-консультантов

Фото от Sepehr Samavati на Unsplash

Недавно вышел новый фильм “Терминатор”. В этой новой серии будущее человеческого сопротивления отправляет робота в прошлое, чтобы уничтожить ферму серверов OpenAI, тем самым предотвратив появление ChatGPT и искусственного общего интеллекта. Это не правда, но как это звучит?

Как практикующий специалист по искусственному интеллекту вы относитесь к последним достижениям в этой области? Помимо вашего восторга от новой мощи, вы задумывались, как удержать свою позицию в быстро движущемся потоке искусственного интеллекта?

Рождение ChatGPT вызвало бурю эмоций. Люди восхищаются его мощью, но также боятся его неизвестного будущего. Это смущает как обычных пользователей, так и специалистов в области искусственного интеллекта.

Недавно я наткнулся на статью, которая вдохновляет своим содержанием и является по-настоящему уникальной [1]. Вместо того, чтобы сосредоточиться на технических аспектах, авторы исследуют тревоги, с которыми сталкиваются исследователи из-за быстрого развития искусственного интеллекта.

Интересно знать, что ученые академических институтов также беспокоятся о “неспособности справиться с текущим темпом развития искусственного интеллекта”. В статье говорится, что ученые сталкиваются с теми же ограничениями ресурсов, что и профессионалы в индустрии, что неудивительно, потому что обучение моделей становится очень дорогостоящим. Авторы предложили стратегии, как вести исследования при ограниченных ресурсах.

Хотя я ценю честность авторов, их предложения в основном адресованы исследователям по искусственному интеллекту, а не практикующим специалистам. В этой статье я рассмотрю, как мы, как практикующие специалисты по искусственному интеллекту, можем адаптироваться к этому вызову. Поскольку эту тему редко обсуждают, я хочу стать первопроходцем. Надеюсь, что вы найдете эту дискуссию вдохновляющей; однако, обратите внимание, что это мои личные взгляды, и я приветствую дополнительные точки зрения.

Содержание

· Почему это важно· Первый принцип· Знание ограничений· Получение общей картины· Ответственность ∘ Вразумительность ∘ Справедливость ∘ Безопасность ∘ Конфиденциальность и безопасность данных· Инженерия – наше родное поле· Последние слова· Ссылки

Почему это важно

В прошлом люди имели ясное понимание технологий и инструментов, которые использовали для своих задач машинного обучения. Они были знакомы с процессами тематического моделирования и анализа настроений; они знали все используемые библиотеки; и они чувствовали себя как дирижеры в симфоническом оркестре. Однако с появлением LLM все изменилось. LLM, кажется, правят всеми, и интересно, никто не знает, как работает LLM. Теперь люди задаются вопросом, нужно ли им все еще разрабатывать решения, отличные от LLM, но мало знают о том, как сделать решения на основе LLM ответственными.

Были значительные различия между академическими исследователями, практикующими специалистами в области машинного обучения и их клиентами. Исследователи сосредотачивались на разработке новых концепций со всей своей увлекательной академической магией, в то время как клиенты понимали, что консультанты по машинному обучению обладают экспертизой, которой они и их команда не обладают, и консультанты по машинному обучению гордились своими уникальными вкладами. Все были счастливы. Однако появление больших языковых моделей значительно изменило мир.

В настоящее время генеративный искусственный интеллект делает передовые возможности искусственного интеллекта намного доступнее конечным пользователям, в то время как большинство академических исследователей не могут исследовать новые базовые модели из-за высокой стоимости обучения новой модели. Все люди используют LLM почти одинаково: в основном с помощью подсказок, очень редко проводя донастройку. Все они озадачены проблемой галлюцинации, и решения являются экспериментальными. Высокие математические навыки не очень важны для разработки LLM. Таким образом, все пользователи LLM решают одну и ту же проблему, используя одну и ту же технологию и достигая одного и того же результата. В результате LLM привел к ближе связи академических исследователей, практикующих специалистов и конечных клиентов.

Консультанты по машинному обучению, зарабатывающие на предоставлении услуг по машинному обучению, могут задаться вопросом: как мы можем оправдать свою профессию в этой ситуации, если исследователи решают практические задачи, а клиенты могут использовать передовые инструменты искусственного интеллекта самостоятельно?

Фото от Gioele Fazzeri на Unsplash

Первый принцип

Генеративное искусственное интеллект является такой активной областью, что каждую неделю или две анонсируются новые модели, новые продукты и новые теории. Сохранять темп не легко. Но сначала, прежде чем мы погрузимся в каждое из этих новых разработок, нам нужно вернуться к первому принципу и задуматься, какую проблему технология собирается решить. Это простая, но эффективная стратегия. Существует так много новых разработок, и каждая из них пытается помочь определенным людям. Если мы применим эту стратегию, мы сможем сосредоточиться на технологиях, актуальных для наших целей.

Один пример – это инженерия запросов. Инженерия запросов оказалась очень полезной. Было разработано множество техник, таких как контекстное обучение, цепочка мыслей, древо мыслей и т. д. Некоторые люди предвидели возникновение инженера запросов как новой профессии. Является ли это будущим профессии специалиста по машинному обучению?

Давайте подумаем, почему была разработана инженерия запросов. Тогда мы поймем, что люди разработали инструкция-следующие модели языковых моделей для общения с ними на естественном языке. Инженерия запросов в основном заключается в структурировании текста таким образом, чтобы его можно было лучше интерпретировать и понимать генеративными моделями искусственного интеллекта. Хотя инженерия запросов имеет множество проверенных шаблонов, которые делают ее похожей на работу техника, она прежде всего нацелена на помощь низкопрофессиональным пользователям. Текущая сложность инженерии запросов заключается в том, что мы не научились делать языковые модели надежно понимать запрос. С дальнейшим развитием инженерии запросов она может стать настолько зрелой, что каждый сможет достичь удовлетворительных результатов после краткого обучения. Специалисты в области машинного обучения должны изучать навыки инженерии запросов, но, к сожалению, инженерия запросов не обеспечивает прочную защиту от увольнения, поскольку ее основная цель – снизить порог, а не поддерживать его. Если вы считаете инженерию запросов своей основной специализацией, разрыв между вашими знаниями и знаниями ваших клиентов сокращается.

Помимо CLI и GUI, кто-то предложил идею NLI, или интерфейса пользователя на естественном языке. Я действительно считаю, что это хорошая идея. Если вы разделяете эту же идею, вы согласитесь, что запросы должны быть доступны каждому. Они не должны быть тайной.

Знание ограничений

Генеративное искусственное интеллект получило много похвалы, но у него есть свои ограничения. Модель склонна к галлюцинациям, плохо справляется с логическими рассуждениями и не так просто поддаётся управлению. Все эти особенности делают разработку приложений на основе языковых моделей сложной и создают возможности для предоставления профессиональных услуг и сделать генеративный искусственный интеллект более полезным для достижения бизнес-ценностей. Чтобы добиться этого, помимо знания того, что генеративный искусственный интеллект может делать хорошо, важно знать об областях, в которых генеративный искусственный интеллект проявляет слабость, как оценивать его производительность и как устранять эти проблемы. Накопление таких знаний станет бесценным в долгосрочной перспективе.

Давайте рассмотрим пример приложения RAG. RAG является важным строительным блоком в экосистеме генеративного искусственного интеллекта. Это стандартный вариант, когда мы хотим, чтобы языковая модель основывалась на локальных данных, и это правильный вариант, когда мы хотим работать с содержимым, которое значительно превышает размер окна запроса. Было разработано множество систем RAG, и были созданы множества векторных баз данных, чтобы следовать этому тренду. Однако RAG также имеет свои недостатки. Фактически, создание впечатляющей демонстрационной системы RAG довольно просто, но превращение ее в систему, готовую к внедрению в производство, может быть довольно сложной задачей. Знание этих ограничений поможет нам стать ответственными консультантами.

Пожалуйста, перейдите к следующим публикациям, чтобы увидеть соответствующие обсуждения, если вы хотите узнать больше о приложении RAG: Недостатки RAG [2], соображения при применении векторных баз данных [3], как выбрать и разместить модели вложения [4] и как настраивать модели с языковыми моделями [5].

Помимо примера с RAG, вы знаете, как оценивалась производительность языковых моделей? Знаете ли вы, что такое внедрение запроса и что такое утечка запроса? Вы могли заметить в своей практике, что запросы чувствительны к нюансам, но вам интересно замерить устойчивость вашего запроса? Это все практические вопросы и являются объектом внимания многих исследователей. Хотя пока нет идеальных решений для этих вопросов, знание о проблемах и пути их устранения все же может очень помочь в проектировании наших решений. Надеюсь, эти вопросы вдохновят вас увидеть, что мы можем сделать так много. Все эти вопросы и решения сделают нас сильными профессионалами в области искусственного интеллекта.

Получите общую картину

Еще одна важная стратегия – рассмотреть приложение генеративного искусственного интеллекта как целостную систему, а не как отдельную модель. Мы знаем, что языковые модели имеют множество недостатков. Некоторые из них являются врожденными проблемами текущей структуры языковых моделей. Только революционные новые структуры могут решить эти проблемы. Как сказал Янн Лекун, “Языковые модели – не будущее”. В то время как исследователи заняты поиском альтернативных архитектур языковых моделей, нам нужно знать, что значительное количество проблем должно быть решено с помощью инженерных решений.

В MIT Technology Review есть интересная статья о неудачном проекте LLM компании Meta в прошлом году [6]. Meta выпустила новую LLM для генерации научных исследований. Однако модель прожила всего 3 дня, прежде чем была снята с публикации. Что произошло?

После обучения на 48 миллионах научных статей, учебников и лекций, модель могла создавать “научные дипфейки”. Она производила поддельные научные статьи и ложно приписывала их настоящим исследователям. Она генерировала фиктивные статьи для Википедии, например, “историю медведей в космосе”. Представьте, если бы добросовестный ученый использовал поддельную ссылку, предоставленную LLM.

Это, без сомнения, очень распространенная проблема галлюцинаций LLM. Избавиться от галлюцинаций LLM – это тяжелая борьба. Даже при применении всех известных мер по устранению проблемы, нам нужно иметь представление о том, какой уровень точности мы можем достичь. Если проект требует нулевой терпимости к неверным ответам, одиночная LLM, скорее всего, не является хорошим выбором. В зависимости от потребностей, более продвинутые решения, поддерживаемые графом знаний, работают гораздо лучше. Ответ будет более надежным и прослеживаемым, а вся система станет более управляемой.

Ознакомьтесь с следующей таблицей лидеров, чтобы получить представление о реалистичной точности для одной модели [8].

Ответственность

Все согласятся, что наиболее серьезной проблемой LLM являются галлюцинации. Люди разработали огромное количество стратегий для решения этой проблемы. Кроме галлюцинаций, есть ли еще какие-либо проблемы, которые заставляют принимающих решения колебаться перед применением генеративного ИИ в своих системах? Давайте рассмотрим несколько из них:

Объяснимость

Когда мы запрашиваем что-то, LLM всегда дает нам ответ. Но как модели приходят к этому ответу, неясно. Как мы можем быть уверены, как модель получает ответ? Ссылается ли она на другую надежную информацию или все просто придумано? Обратимся к RAG снова: как мы можем знать, что ответ содержит всю важную информацию или является неполным?

Справедливость

Все LLM обучаются на большом наборе данных. Они предназначены для обнаружения закономерностей в данных. В этом контексте LLM являются всего лишь статистическими моделями. И все статистические модели имеют предубеждения в пользу наиболее популярных закономерностей. Распространенной проблемой является их плохая работа с долгим хвостом.

Предположим, что модель создана на основе демографических данных Австралии, где 80% населения живет в 8 крупных городах. Она показывает хорошую общую производительность; однако она игнорирует интересы региональных жителей и аборигенов. В некоторых случаях эти предубеждения могут стать причиной отказа от использования модели, что стало особенно важным в свете растущих опасений по поводу безопасности ИИ.

Безопасность

Обучение новой LLM с нуля требует большого количества обучающих данных и огромных затрат. За исключением тех, кто работает в компаниях с большими финансовыми возможностями, большинство наших разработок приложений LLM должны быть основаны на предобученных моделях. И это приводит к двум внутренним рискам:

  1. Как мы можем быть уверены, что обучающие данные безопасны? Так легко внести вредоносные данные для создания задней двери.
  2. Как мы можем быть уверены, что созданная модель безопасна? Даже если обучающие данные чистые и ясные, сгенерированная модель может быть чувствительна к атакам со стороны злоумышленников. Вы, возможно, уже знаете, что модель компьютерного зрения может быть обманута, добавив невидимый шум к входному изображению. LLM также чувствительны к атакам.

Если мы должны предположить, что обучающие данные и модель небезопасны, как мы можем обнаружить, контролировать и управлять риском, чтобы предотвратить возникновение опасностей?

Конфиденциальность и безопасность данных

LLM – это всего лишь модели машинного обучения. И их знания основаны на большом наборе обучающих данных. Они не имеют представления о том, какие данные следует раскрывать без ограничений, какие данные следует предоставлять только определенным группам пользователей, а какие данные следует вообще не раскрывать. Тогда как мы можем обеспечить безопасность применений? Как мы можем проверить конфиденциальность и безопасность обучающих данных, и можем ли мы указать LLM, чтобы он забыл что-то, что мы не хотим, чтобы оно запомнил?

Инженерия – наше родное поле

Осознание всех вышеупомянутых проблем даст нам представление о том, что следует включить в наш базу знаний и в наши проектные предложения. Наши идеи не могут быть реализованы без надежной инженерии.

В производстве генеративного ИИ существует множество пустых полей. Немало аспектов являются новыми концепциями или требуют обновления существующих практик MLOps. Традиционные MLOps больше сосредоточены на обеспечении соответствия производительности модели ожиданиям, а также эффективности обучения и среды выполнения. Приложения LLM действительно требуют эффективного размещения модели, настройки и улучшения производительности во время выполнения. Кроме того, нам необходимо предложить инженерное решение для каждой из вышеупомянутых проблем. Эти уникальные вызовы делают операции LLM более сложными для поддержки, чем это может справиться традиционный MLOps.

Возьмем управление моделью LLM как пример: нам нужно научиться эффективно размещать модель на кластере GPU, что является навыком MLOps. Нам также необходимо знать все навыки оценки модели LLM, настройки модели, как эффективно подготовить обучающие данные, как контролировать смещение модели с помощью помощи человека, как контролировать риск модели с помощью RLHF и т. д. Список задач гораздо длиннее, и технический стек намного сложнее. Нам нужно быть владеющими всеми ними. Это те способы, которыми мы можем помочь нашим клиентам.

Программисты потратили десятилетия, пытаясь найти лучшую модель управления проектами. Было разработано множество методологий на основе бесчисленных неудач проектов. В конечном итоге люди поняли, что коммуникация является ключом к успеху проекта. Они обнаружили, что модель Agile является наиболее эффективным методом, и Scrum стал де-факто стандартом.

Машинное обучение гораздо сложнее в общении и намного сложнее поддерживать всех на одной волне; однако пока нет специфической лучшей практики для проектов машинного обучения. Мое толкование заключается в том, что это указывает на молодость приложений машинного обучения. Я видел, что коммуникация снова затормаживает проекты. Я ожидаю, что кто-нибудь придумает новые настройки Scrum, чтобы сделать проекты по машинному обучению более плавными.

Как мы можем справиться с этим вызовом? Мое предложение состоит в том, чтобы выходить за границы насколько это возможно. Не ограничивайте себя определенной областью. Ваш проект будет получать выгоду от вашей способности соединять интересы заинтересованных сторон.

Прощальные слова

Возникновение генеративного искусственного интеллекта затягивает нас в синее море неограниченных вызовов и возможностей. В данный момент все кажется туманным и быстро меняющимся. Ежедневно есть так много вещей, которые нужно изучить, попробовать и решить. Хорошая новость в том, что, пока не появится новое прорывное открытие, основные вызовы генеративного искусственного интеллекта являются практическими. Большинство из них решают реальные проблемы и не требуют продвинутых математических навыков. Если мы сможем составить план для себя и развивать свою экспертизу плановым путем, мы сможем легче следить за последними разработками. Мы можем продолжать быть полезными консультантами по машинному обучению и иметь возможность вносить свой вклад в сообщество машинного обучения. Я не уверен, насколько долго будет продолжаться эта возможность, но это просто потрясающе!

Как вы понимаете, это долгий путь. Если вы разделяете мою точку зрения, пожалуйста, поддержите меня, подписавшись и аплодируя, и я смогу делиться своими успехами с вами.

Ссылки

Выберите свое оружие: стратегии выживания для подавленных ученых по искусственному интеллекту

Вы являетесь исследователем по искусственному интеллекту в академическом учреждении? Вы беспокоитесь, что не справляетесь с текущим темпом развития искусственного интеллекта…

arxiv.org

Недостатки RAG

Недавно рост больших языковых моделей (LLM) вызвал большой интерес к системам RAG. Многие практикующие специалисты…

VoAGI.com

Что нам нужно знать перед принятием векторной базы данных

Чтобы продолжить наш путь к применимому генеративному искусственному интеллекту, я хотел бы обсудить некоторые проблемы…

VoAGI.com

Размещение модели текстовой вставки, которая лучше, дешевле и быстрее, чем решение OpenAI

С небольшими техническими усилиями мы можем получить лучшую модель текстовой вставки, которая превосходит решение OpenAI.

VoAGI.com

Настройка встроенной модели с использованием PEFT и LoRA

В нашем предыдущем обсуждении мы исследовали оценку моделей вложения и потенциальные преимущества их размещения…

VoAGI.com

Почему последняя обширная языковая модель Meta прожила всего три дня в Интернете

Галактика должна была помочь ученым. Вместо этого она бездумно выплескивала предвзятую и неправильную чушь.

www.technologyreview.com

Daliana Liu на LinkedIn: Мы провели опрос 150+ дата-сайентистов, инженеров машинного обучения, руководителей и менеджеров по продукту…

Мы провели опрос 150+ дата-сайентистов, инженеров машинного обучения, руководителей и менеджеров по продукту в 29 странах о их использовании LLM. Вот 3…

www.linkedin.com