R_REDDYX.XYZ
AICuda★ 1,400⑂ 305 форковApache-2.0

alibaba/rtp-llm

RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM

Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Высокая скорость инференса на GPU
  • Поддержка множества LLM архитектур
  • Легкая интеграция через API
#gpt#inference#llama#llm#llm-serving#llmops#model-serving
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

aws-genai-llm-chatbot - МОЩНОЙ ЧАТБОТ НА AWS★ 1399ОТКРЫТЫЙ ДЕСКТОП-ПИТОМЕЦ С ИИ★ 1401LLM В SPACY PIPELINE БЕЗ БОЛИ★ 1399NullMotion: превью рекламного ролика★ 1398ГЕНЕРАТИВНЫЙ ИИ ДЛЯ БИЗНЕСА★ 1403Набор для AI‑видео★ 1397

← ВЕСЬ КАТАЛОГ

alibaba/rtp-llm — Rtp-LLM улучшенный инференс LLM