Развертывание Комической Фабрики с использованием Инференс API

Разворачиваем Комическую Фабрику с помощью Инференс API

Мы недавно объявили о нашем новом предложении под названием Inference for PROs, которое делает более крупные модели доступными широкой аудитории. Эта возможность открывает новые возможности для запуска приложений для конечных пользователей с использованием Hugging Face в качестве платформы.

Примером такого приложения является AI Comic Factory – пространство, которое оказалось невероятно популярным. Тысячи пользователей попробовали его, чтобы создать свои собственные комикс-панели, что способствовало формированию своего собственного сообщества постоянных пользователей. Они делятся своими творениями, и некоторые даже открывают pull-запросы.

В этом руководстве мы покажем вам, как сделать форк и настроить AI Comic Factory, чтобы избежать длительных времен ожидания и развернуть его в вашем собственном приватном пространстве с использованием Inference API. Для этого не требуются особые технические навыки, но рекомендуется иметь некоторое представление о API, переменных среды и общем понимании LLM и Stable Diffusion.

Начинаем

Сначала убедитесь, что вы зарегистрировались на PRO Hugging Face аккаунте, так как это даст вам доступ к моделям Llama-2 и SDXL.

• Вы, наверное, знаете GAN, но умеете ли вы обучать его?
• Ускорение работы более 130 000 моделей Hugging Face с помощью ONNX Runtime
• ChatGPT потрясающий, но переоцененный

Как работает AI Comic Factory

AI Comic Factory немного отличается от других пространств на Hugging Face: это приложение NextJS, развернутое с использованием Docker, и основано на клиент-серверном подходе, требующем двух API для работы:

• API языковой модели (в настоящее время Llama-2)
• API Stable Diffusion (в настоящее время SDXL 1.0)

Копирование пространства

Чтобы скопировать AI Comic Factory, перейдите в пространство и нажмите “Дублировать”:

Вы увидите, что владелец пространства, название и видимость уже заполнены, поэтому вы можете оставить эти значения как есть.

Ваше копия пространства будет работать внутри контейнера Docker, который не требует много ресурсов, поэтому вы можете использовать самый маленький экземпляр. Официальное пространство AI Comic Factory использует более мощный CPU, так как оно обслуживает большую базу пользователей.

Чтобы работать с AI Comic Factory в своей учетной записи, вам необходимо настроить ваш токен Hugging Face:

Выбор LLM и SD движков

AI Comic Factory поддерживает различные фоновые движки, которые можно настроить с помощью двух переменных среды:

• LLM_ENGINE для настройки языковой модели (возможные значения: INFERENCE_API, INFERENCE_ENDPOINT, OPENAI)
• RENDERING_ENGINE для настройки движка генерации изображений (возможные значения: INFERENCE_API, INFERENCE_ENDPOINT, REPLICATE, VIDEOCHAIN).

Мы сосредоточимся на том, чтобы AI Comic Factory работал с Inference API, поэтому оба значения должны быть установлены на INFERENCE_API:

Подробную информацию о альтернативных движках и поставщиках вы можете найти в README проекта и конфигурационном файле .env.

Настройка моделей

The AI Comic Factory comes with the following models pre-configured:

• LLM_HF_INFERENCE_API_MODEL: значение по умолчанию – meta-llama/Llama-2-70b-chat-hf
• RENDERING_HF_RENDERING_INFERENCE_API_MODEL: значение по умолчанию – stabilityai/stable-diffusion-xl-base-1.0

Ваша учетная запись PRO Hugging Face уже дает вам доступ к этим моделям, поэтому вам не нужно ничего делать или изменять.

Подробнее

Поддержка Inference API в AI Comic Factory находится на ранней стадии развития, и некоторые функции, такие как использование этапа уточнения для SDXL или реализация масштабирования, еще не перенесены.

Тем не менее, мы надеемся, что эта информация позволит вам начать форкать и настраивать AI Comic Factory в соответствии с вашими требованиями.

Не стесняйтесь экспериментировать и попробовать другие модели из сообщества, и счастливого взлома!