AIPython★ 7,873
InternLM/lmdeploy
LMDeploy: ЛЁГКОЕ РАЗВЁРТЫВАНИЕ LLM
Набор инструментов для сжатия, деплоя и обслуживания LLM. ⭐ 7873 | Python
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оптимизация моделей для инференса
- ~~(Режимы TurboMind, PyTorch, Socket)
- Простой деплой серверов LLM
- Поддержка множества моделей
#codellama#cuda-kernels#deepspeed#fastertransformer#internlm#llama#llama2#llama3#llm#llm-inference#turbomind
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram