Как использовать Chat-GPT и Python для создания графа знаний в Neo4j на основе ваших собственных статей

Используйте Chat-GPT и Python для создания графа знаний в Neo4j на основе своих статей

Граф, содержащий структурированные знания из более чем 120 статей по математике и науке о данных

Снимок экрана автора

В этой статье я покажу, как можно структурировать и исследовать содержимое своих собственных статей, используя графовую технологию и некоторое программирование.

Идея использования техник обработки естественного языка для структурирования неструктурированных данных не нова, однако последние достижения в области LLM (больших языковых моделей) вызвали бесчисленные возможности для этого. Доступность для любителей через взрывную технологию Chat-GPT привлекла много внимания к LLM и генеративным моделям.

Фактически, генеративный ИИ уже находится на повестке дня во многих компаниях!

Способ, которым мы будем работать с технологией в этой статье, – это язык программирования Python с использованием разработческого API OpenAI. Мы будем работать с данными из VoAGI (мета, что ли?) и создавать граф знаний. Кажется, что это затруднительно, но на самом деле начать очень просто.

Начало работы

Сначала самое главное. План действий следующий.

  1. Заставить API работать и получить к нему доступ через Python.
  2. Использовать образец текста для инженерии запросов, чтобы GPT-4 понимала, что вы от нее хотите.
  3. Загрузить свои статьи из VoAGI (конечно, вы можете использовать другие тексты, если хотите) и предварительно обработать данные.
  4. Извлечь и собрать выводы из Chat-GPT.
  5. Послеобработать выводы из Chat-GPT
  6. Написать код для дальнейшей структуризации данных в граф, используя язык запросов Cypher.
  7. Поиграть с вашим новым лучшим другом и исследовать ваши статьи.

Без лишних слов, давайте начнем с быстрой настройки основных технологий.

Настройка

Нам нужно установить язык программирования Python и графовую базу данных Neo4j на нашем локальном компьютере.

Первое, что нужно сделать, это убедиться, что у вас есть плюс-аккаунт в OpenAI, чтобы вы могли использовать GPT-4. …