Исследователи искусственного интеллекта Amazon Alexa представляют QUADRo революционный ресурс с более чем 440 000 аннотированными примерами для усовершенствования систем вопросно-ответа.

QUADRo Революционный ресурс для улучшения систем вопросно-ответа с 440 000 аннотированными примерами от исследователей искусственного интеллекта Amazon Alexa

Способности искусственного интеллекта (ИИ) и машинного обучения (МО) успешно позволили им проникнуть во все отрасли. С появлением больших языковых моделей (LLM) и систем ответов на вопросы в недавнем времени ИИ-сообщество значительно продвинулось. Эффективное извлечение ответов из предварительно вычисленных баз данных, содержащих сопоставления вопрос-ответ, является общим шагом в разработке автоматизированных систем вопросно-ответного (QA) типа.

Существуют две основные парадигмы QA: открытая (Retrieve-and-read) и закрытая (closed-book). Парадигма открытой книги предполагает двухэтапную процедуру, при которой необходимые материалы получаются из значительного корпуса документов, часто Интернета, а затем решение извлекается из полученного материала с применением различных моделей и методов. Закрытая книжная парадигма, с другой стороны, является более новой и зависит от навыков, полученных в процессе обучения моделей. Модели, основанные на этой парадигме, как правило, используют модели Seq2Seq, например, T5, для достижения результатов без использования внешних корпусов.

Хотя закрытые методы показывают примечательные результаты, они слишком ресурсоемки для многих промышленных приложений и представляют значительный риск для производительности системы. Вместо использования информации, включенной в параметры моделей или значительные корпусы, метод QA, основанный на базе данных (DBQA),а извлекает ответ из предварительно сгенерированной базы данных пар вопрос-ответ.

• Исследовательский центр Google AI представляет революционный квантовый алгоритм для эффективного моделирования связанных осцилляторов.
• Научные исследования, спонсируемые DARPA, приводят к прорыву в квантовых вычислениях.
• Исследователи из Microsoft и Университета Цинхуа предлагают метод SCA (Segment and Caption Anything), чтобы эффективно оснастить модель SAM способностью генерировать региональные подписи.

Для этих систем существуют три основные части: база данных вопросов и ответов, модель извлечения для запросов к базе данных и модель ранжирования для выбора наилучшего ответа. DBQA-техники обеспечивают быстрое усвоение информации и возможность добавления новых пар без полноценной повторной обучения моделей, что позволяет внедрять новую информацию.

Недостаточность обучающих данных является одной из основных проблем при разработке моделей извлечения и ранжирования DBQA. Существующие ресурсы ограничены как в объеме, так и в содержании, поскольку большинство из них или требуют улучшения качества процесса аннотации, или сосредоточены только на сходстве вопрос-вопрос, игнорируя ответы.

Чтобы преодолеть эти трудности, команда исследователей предложила набор данных и модели для извлечения базы данных вопрос-ответ, названный QUADRo. Это новый, открытый ресурс для обучения и оценки моделей взаимосвязи. Для каждого из 15 211 входных вопросов в хранилище предоставляется тридцать пар связанных вопрос-ответ. Всего в этой коллекции имеется значительное количество (443 000) аннотированных примеров. Каждой паре был присвоен двоичный указатель, указывающий на ее важность относительно входного запроса.

Команда также провела тщательный эксперимент для оценки качества и характеристик ресурса по сравнению с несколькими важными компонентами системы QA. Эти элементы включают такие методы обучения, настройку входной модели и актуальность ответов. Эксперименты демонстрируют, насколько хорошо предложенный метод работает для извлечения соответствующих ответов исследуя поведение и эффективность моделей, обученных на этом наборе данных.

В заключение, данное исследование решает проблему недостатка обучающих и тестовых данных в автоматизированных системах качественного обеспечения, представляя полезный ресурс и тщательно оценивая его характеристики. Акцент на важных элементах, таких как методы обучения и актуальность ответов, способствует полному пониманию.