AICuda★ 1,257
alibaba/rtp-llm
RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Высокая скорость инференса на GPU
- Поддержка множества LLM архитектур
- Легкая интеграция через API
#gpt#inference#llama#llm#llm-serving#llmops#model-serving
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram