Исследователи из UCSD и Microsoft представляют ColDeco инструмент для проверки вычисляемых столбцов без кодирования.

Исследователи из UCSD и Microsoft представляют ColDeco инструмент для проверки вычисляемых столбцов без необходимости кодирования.

В статье “COLDECO: инструмент для анализа кода, созданного искусственным интеллектом, для пользователей конечных таблиц данных” команда исследователей из UCSD и Microsoft представила инновационный инструмент, направленный на решение проблемы обеспечения точности и доверия к коду, созданному большими языковыми моделями (LLM) для задач работы с табличными данными. Проблема заключается в том, что LLM может создавать сложный и потенциально неверный код, что представляет существенную проблему для непрограммистов, которые полагаются на эти модели для обработки данных в таблицах.

Текущие методы в данной области часто требуют участия опытных программистов для оценки и исправления кода, созданного LLM, что ограничивает доступность этих инструментов для более широкой аудитории. COLDECO стремится преодолеть эту проблему, предоставляя функции проверки для конечных пользователей, чтобы улучшить понимание и доверие к коду, созданному LLM, для работы с табличными данными.

COLDECO предлагает две ключевые функции в своем интерфейсе на основе сетки. Во-первых, он позволяет пользователям разложить созданное решение на промежуточные вспомогательные столбцы, что помогает понять, как проблема решается пошагово. Эта функция по сути разбивает сложный код на более управляемые компоненты. Во-вторых, пользователи могут взаимодействовать с отфильтрованной таблицей сводных строк, которая выделяет интересные случаи в программе, что облегчает выявление проблем и аномалий.

В рамках пользовательского исследования, в котором приняли участие 24 человека, функции COLDECO оказались ценными для понимания и проверки кода, созданного LLM. Пользователи считали как вспомогательные столбцы, так и сводные строки полезными, и их предпочтения склонялись к использованию этих функций в комбинации. Однако участники выразили желание получить больше прозрачности в том, как создаются сводные строки, что еще больше улучшило бы их возможность доверять и понимать код.

В заключение можно сказать, что COLDECO является многообещающим инструментом, который позволяет непрограммистам работать с кодом, созданным искусственным интеллектом в виде таблиц, предлагая ценные функции для проверки и подтверждения кода. Он решает критическую потребность в прозрачности и доверии к точности кода, созданного LLM, что в конечном итоге делает программирование доступнее для широкого круга пользователей.