Как автоматически исследовать и очищать данные с помощью PandasAI

Автоматическая обработка данных с помощью PandasAI

Легко очистите ваши данные с помощью подсказки

Изображение, сгенерированное с помощью ideogram.ai

Мы находимся на пике принятия модели большого языкового модуля (LLM), где многие наши текстовые требования предоставляются быстро. От ответа на вопросы, поиска ссылок и планирования ежедневных задач до создания контента – LLM может предоставить их сейчас.

Одной из ведущих компаний в области исследования LLM является OpenAI, особенно с их семейством моделей GPT. С появлением ChatGPT широкой публике была представлена мощь LLM, от которой тяжело отказаться.

Язык программирования Python имеет известную библиотеку обработки данных под названием Pandas. Он является основой для многих специалистов по данным, которые хотят выполнять любую исследовательскую работу с данными на Python. С появлением модели GPT возникла интересная возможность сочетания мощи LLM с Pandas – пакета, называемого PandasAI.

Используя возможности генеративного искусственного интеллекта, PandasAI поможет нам манипулировать данными с помощью естественного языка. Как мы можем это сделать? Давайте рассмотрим это подробнее.

PandasAI

PandasAI – это пакет для Python, который предоставляет реализацию LLM в Pandas. Он призван дополнять Pandas, а не заменять их. Используя PandasAI, мы можем превратить пакет Pandas в разговорный инструмент, который автоматически будет исследовать и очищать наши данные.

Чтобы использовать PandasAI, нам нужно установить его с помощью следующего кода.

pip install pandasai

Для использования пакета PandasAI нам нужен доступ к API LLM. Мы можем выбрать из различных моделей – от OpenAI GPT до модели HuggingFace.

Мы будем использовать модель OpenAI в этом примере, но я предоставлю вам пример кода, если вы захотите изменить модель на что-то другое. Мы также проведем пример в блокноте, чтобы эту статью можно было использовать в этой среде работы.

OpenAI

Чтобы использовать API OpenAI, нам нужно сгенерировать ключ. Используйте веб-сайт, чтобы получить ключ и использовать его в следующем коде.

from pandasai.llm import OpenAIllm = OpenAI(api_token="Ваш ключ API OpenAI")

HuggingFace