The Content Search Results FasterTransformer

Настройте Fein-tune Llama 2 с использованием QLoRA и разверните его на Amazon SageMaker с помощью AWS Inferentia2

В этом посте мы демонстрируем настройку модели Llama 2 с использованием метода эффективной настройки параметров (PEFT...

Улучшение производительности вывода LLM с помощью новых контейнеров Amazon SageMaker

Сегодня Amazon SageMaker запускает новую версию (0.25.0) контейнеров для глубокого обучения Large Model Inference (LM...

«Экземпляр EC2 DL2q Amazon для экономичной и высокопроизводительной инференции искусственного интеллекта теперь доступен для всех».

Это гостевая статья от A.K. Roy из Qualcomm AI. Экземпляры Amazon Elastic Compute Cloud (Amazon EC2) DL2q, оснащенные...

Умная и компактная машина будущего DejaVu сокращает расходы на общение ИИ, не теряя ни капли своей хитрости.

Тренировка большой языковой модели требует значительных вычислительных ресурсов, включая мощные графические процессор...

Это исследование искусственного интеллекта представляет Flash-Decoding новый подход искусственного интеллекта на основе FlashAttention, который делает выводы LLM с длинным контекстом в 8 раз быстрее.

Большие языковые модели (LLM), такие как ChatGPT и Llama, привлекли значительное внимание своими выдающимися возможно...

Создайте приложение искусственного интеллекта, генерирующее текст изображения, с использованием мультимодельных моделей на платформе Amazon SageMaker.

В этом посте мы предоставляем обзор популярных моделей мультимодальности. Мы также демонстрируем, как развернуть эти ...

Улучшение производительности пропускной способности моделей Llama 2 с использованием Amazon SageMaker

Мы находимся на захватывающей точке перелома в широком принятии машинного обучения (ML), и мы считаем, что большинств...

Оптимизация нагрузки генеративного искусственного интеллекта для экологической устойчивости

Для дополнения наших рекомендаций по оптимизации рабочих нагрузок глубокого обучения для устойчивости на AWS, в этой ...

Познакомьтесь с vLLM открытой библиотекой машинного обучения для быстрой инференции и обслуживания LLM

Большие языковые модели (LLM) все больше влияют на то, как меняются наша повседневная жизнь и карьера, так как они де...

Познакомьтесь с TensorRT-LLM библиотекой с открытым исходным кодом, которая ускоряет и оптимизирует производительность вывода на последних LLM-процессорах на графических процессорах Tensor Core от NVIDIA.

Искусственный интеллект (ИИ) на основе больших моделей языков (LLM) может генерировать текст, переводить языки, писат...