Как создать приложение ассистента AI для Google Meet за 10 минут с помощью Unbody и Appsmith.
Как за 10 минут создать приложение AI-ассистента для Google Meet с использованием Unbody и Appsmith.
Эффективное общение и эффективное управление совещаниями являются ключевыми элементами успеха команды в современном рабочем месте. Признавая это, мы разработаем приложение-помощник для совещаний, основанное на искусственном интеллекте, которое преобразует записи Google Meet в автоматически создаваемые протоколы с ключевыми идеями и задачами. Этот блог-пост рассчитан на каждого создателя – от разработчиков до неразработчиков, которые заинтересованы в пересечении искусственного интеллекта и средств повышения продуктивности. Он особенно полезен для тех, у кого ограниченный опыт разработки искусственного интеллекта и кто хочет создавать приложения на основе искусственного интеллекта, используя простые инструменты низкого кода, такие как Unbody и Appsmith.
Представляем приложение-помощник для совещаний, основанное на искусственном интеллекте
Представьте себе приложение, которое связывает ваш Google Drive, где сохранены все записи видео Google Meet, и автоматически переводит аудиозаписи совещаний в протоколы с ключевыми моментами и задачами в режиме реального времени. Вы сможете активно участвовать в разговоре во время совещания, не занимаясь одновременно записью заметок. Если вы опаздываете или не можете присутствовать на совещании, приложение все равно сделает протокол. Приложение может сделать виртуальные совещания более продуктивными, включая руководителей команд, менеджеров проектов, разработчиков и всех, кто регулярно использует Google Meet.
Конечно, на рынке есть много готовых решений, таких как Otter.ai или Fathom. Но если вы хотите создать инструмент самостоятельно и настроить его вывод, то вы находитесь на одной волне со мной. Для разработки этого приложения мы будем использовать Unbody для преобразования аудиозаписей видео в интеллектуальное/генеративное содержание и Appsmith, чтобы сделать процесс проектирования и создания пользовательского интерфейса нашего приложения легким и понятным без необходимости написания сложного кода. Давайте разберем роль каждого из них в приложении.
Unbody – это мозг
Unbody является основой нашего инструмента, отвечающего за внедрение знаний, таких как преобразование аудио в тексты и создание сводок помощника на основе искусственного интеллекта и доставка знаний через GraphQL API. Используя передовые возможности искусственного интеллекта Unbody и анализа контента, наш проект определяет и извлекает задачи из аудиозаписей любого типа. Он преобразует их в структурированный контент, не упуская важной информации.
- 6 проверенных советов, чтобы сделать ваше ML приложение заметным
- GPT-4.5 факт или вымысел? Вот что мы знаем
- Искусственный интеллект для безопасной защиты головы на велосипеде и качественной подошвы
Unbody также позволяет объединять и синхронизировать различные типы файлов, включая текстовые документы, PDF-файлы, электронные таблицы, изображения и видео. Например, PDF-файл в Google Drive, изображение, отправленное в канал Slack, или видеофайлы в локальной папке могут все непрерывно синхронизироваться с Unbody. Узнайте больше о создании Unbody в статье “Все «шумы» искусственного интеллекта в одном конечном пункте, одна строка кода” от Амир Хуиэ.
Appsmith – это наш интерфейс
Appsmith является открытой платформой низкого кода, предназначенной для помощи разработчикам быстро и эффективно создавать внутренние инструменты. Он служит в качестве интерфейса нашего приложения, предоставляя настраиваемую и интерактивную панель управления для просмотра сводок совещаний и задач. Appsmith подключается к GraphQL, предоставляемому Unbody в качестве источника данных и извлекает и отображает данные в виджетах.
Перейдите по этой ссылке для просмотра демонстрационной версии приложения на Appsmith Cloud.
Как это работает
Вам нужно всего лишь:
- Включить запись видео во время совещаний в Google Meet, и записи автоматически загружаются в папку My Drive>Meet Recordings в вашем Google Drive.
- Подключить Google Drive как источник контента к Unbody. Unbody получает последние изменения на вашем диске при любом обнаружении изменений. Искусственно-интеллектуальный движок Unbody обрабатывает содержимое и индексирует его. Например, мы используем Unbody для извлечения ключевых моментов и принятых решений из видеозаписей.
- Получить результат из контентного API Unbody с помощью GraphQL. Вы пишете индивидуальные запросы GraphQL, чтобы получить сводку совещания и определить конкретные задачи. Конечная точка GraphQL выступает в качестве интерфейса между видеозаписями в Google Drive и панелью управления Appsmith.
- Получить доступ к панели управления Appsmith для просмотра сводки совещания и задач. Панель управления предоставляет реальное представление всех текущих задач и сроков выполнения. Ниже приведено изображение панели управления со списком примерных данных:
.
Отчет, созданный искусственным интеллектом помощником на Appsmith панели управления
Смотрите следующий GIF, чтобы понять весь процесс:
Как настроить и запустить проект
Исходный код проекта для пользовательского интерфейса Appsmith с примерами запросов GraphQL уже реализован и вы можете посмотреть репозиторий на GitHub. Чтобы настроить API контента Unbody, подключить ваш Google Drive и запустить пользовательский интерфейс, вам нужно следовать этому руководству.
Пререквизиты
- Вы используете Google Meet и соответствуете требованиям для записи видеоконференций.
- У вас есть учетная запись Unbody. Создайте новую учетную запись бесплатно, если у вас ее нет.
- У вас есть учетная запись Appsmith.
- Вы сделали форк репозитория на GitHub (ссылка в предыдущем пункте).
Шаг 1: Активация записи видео в Google Meet
Когда вы находитесь в конференции, начните записывать видео и транскрипцию в сессии Google Meet.
После того, как запись остановится или конференция закончится, она автоматически сохранится на ваш Google Drive в папке “Meet Recordings”.
Видеозапись автоматически сохраняется в Google Drive.
Шаг 2: Настройка проекта Unbody
1. Получите доступ к панели управления Unbody и начните с создания нового проекта. Сначала вы можете настроить работу и функции искусственного интеллекта.
Настройки функций Unbody
Unbody использует передовую технологию искусственного интеллекта, известную как большие языковые модели (LLM), для интерпретации входного текста. Эти модели имеют различные типы и конфигурации, и Unbody предоставляет широкий выбор. Мы собираемся использовать две функции: текстовый векторизатор и генеративный поиск.
Текстовый векторизатор преобразует транскрипцию ваших видео в Google Meet в формат, понятный искусственному интеллекту. Для выбора модели для векторизации транскрипций рекомендуется использовать бесплатный вариант с открытым исходным кодом Contextionary.
Вот некоторая техническая информация о Text Vectorizer:
Это алгоритм, создающий векторное представление транскрипции. Векторное представление представляет собой числа с плавающей точкой, например, 5.5, 0.25 и -1.2. Расстояние между двумя векторами измеряет их взаимосвязь. Маленькие расстояния указывают на высокую взаимосвязь, а большие расстояния указывают на низкую взаимосвязь. Unbody также индексирует векторные представления для удобного поиска. Подумайте о нем как о том, как организованы книги в библиотеке, чтобы их было легко найти.
После того, как Unbody проиндексировал данные, он предложил несколько генеративных поисковых движков – в настоящее время только от OpenAI (ChatGPT), чтобы обеспечить генеративные действия на основе ваших текстовых материалов. GPT очень хорошо понимает и использует язык так же, как люди. Этот движок поможет нам суммировать обсуждение встречи и определить любые задачи или “элементы работы”, которые нужно выполнить. Это похоже на наличие помощника, который слушает ваши встречи, а затем сообщает вам ключевые моменты и что нужно делать дальше. В будущем Unbody также будет поддерживать другие генеративные движки, предлагая вам больше вариантов.
2. Подключение к Google Drive и Google Calendar (необязательно, если вам также нужны детали событий, включенных в приложение).
Unbody создает новый проект с источниками данных
После успешного подключения к источникам данных вы должны увидеть Google Drive и Google Calendar в списке источников:
Google Drive и Calendar выбраны в качестве источников данных для Unbody
Шаг 4: Написание запросов GraphQL
Unbody имеет интуитивно понятную среду для работы с GraphQL, вы можете открыть вкладку GraphQL и попробовать существующие запросы из репозитория, которые извлекают элементы работы, или получают детали бронирования событий из Google Calendar, или создавайте свои собственные запросы.
Написание настраиваемых запросов в песочнице Unbody GraphQL
Шаг 5: Настройка фронтенда с помощью Appsmith
После этого со страницы репозитория GitHub переносите существующее приложение Appsmith. Импортируйте его в новое рабочее пространство вашей учетной записи Appsmith. Следуйте указанным шагам в разделе Импорт из репозитория на веб-сайте Appsmith.
Вы также можете установить Appsmith с помощью Docker на своей локальной машине, в дополнение к использованию облачной версии.
После завершения импорта вы увидите похожий на этот холст:
Пример холста Appsmith для создания интерфейсов пользовательских приложений
Вы можете использовать интерфейс перетаскивания для настройки панели инструментов. Изменяйте или добавляйте виджеты, такие как таблицы, текстовые поля и кнопки по мере необходимости. Обратите внимание, что Appsmith не экспортирует конфиденциальные настройки или заголовки, используемые для подключения источника данных, такого как Unbody API_KEYи PROJECT_ID. Вам необходимо найти ваш личный API-ключ и идентификатор проекта, сгенерированные в панели инструментов Unbody, и вручную настроить заголовки источника данных, аналогично этому:
Подключите Unbody в качестве источника данных к Appsmith
Как видите, проект настраивает источник данных в Appsmith для подключения к серверу Unbody GraphQL. Используйте это для получения сводок встреч и их отображения в панели инструментов. После импорта автоматически создаются другие запросы API, страницы интерфейса и виджеты.
Зарегистрируйте запросы Unbody GraphQL в Appsmith
Вы можете запустить приложение, щелкнув кнопку Предварительный просмотр в верхнем правом углу экрана, и, наконец, увидеть панель инструментов с данными.
Заключение
Теперь у вас есть полностью функциональное приложение, которое может преобразовывать видеозаписи встреч Google Meet в действенные сводки и задачи. Приложение для составления отчетов по встречам с поддержкой искусственного интеллекта – это хороший пример превращения любого контента в понятную и доступную базу знаний для поиска. Вы использовали подход RAG (Retrieval-Augmented Generation), чтобы обеспечить интуитивную и мощную платформу взаимодействия с контентом через единый конечный пункт GraphQL. Кроме того, использование интерфейса Appsmith с низким уровнем кодирования позволило значительно сократить время и усилия, обычно необходимые для такой полноценной задачи. Для более продвинутых функций и Unbody, и Appsmith позволяют использовать JavaScript и TypeScript, что дает разработчикам гибкость в написании своей логики.
Следующие шаги
Это руководство по настройке предоставляет базовую структуру, которую вы можете расширить и настроить в соответствии с вашими конкретными требованиями. В приложении вы заметили, что есть еще одна незавершенная страница с названием *Запросить заметки о встрече.* Примените знания, полученные в этой статье, и реализуйте новый запрос GraphQL с использованием функции Генеративных вопросов и ответов, чтобы выводить данные в виджете текста. Пользователи могут искать конкретную информацию из встреч в поле поиска.
