AICuda★ 1,400⑂ 305 форковApache-2.0
alibaba/rtp-llm
RTP-LLM УЛУЧШЕННЫЙ ИНФЕРЕНС LLM
Высокопроизводительный движок для инференса LLM от Alibaba, написанный на CUDA, обеспечивает быструю работу моделей в разнообразных приложениях.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Высокая скорость инференса на GPU
- Поддержка множества LLM архитектур
- Легкая интеграция через API
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram