R_REDDYX.XYZ
AIPython★ 7,873

InternLM/lmdeploy

LMDeploy: ЛЁГКОЕ РАЗВЁРТЫВАНИЕ LLM

Набор инструментов для сжатия, деплоя и обслуживания LLM. ⭐ 7873 | Python

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Оптимизация моделей для инференса
  • ~~(Режимы TurboMind, PyTorch, Socket)
  • Простой деплой серверов LLM
  • Поддержка множества моделей
#codellama#cuda-kernels#deepspeed#fastertransformer#internlm#llama#llama2#llama3#llm#llm-inference#turbomind
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ШИКАРНЫЙ MCP ДЛЯ HOME ASSISTANT★ 7875AI инженерия с нуля★ 7884Автономные AI агенты★ 7852K8SGPT: АССИСТЕНТ KUBERNETES★ 7846ODS - ТВОЙ AI СЕРВЕР ДОМА★ 7832WHATSAPP HTTP API ЗА МИНУТУ★ 7825

← ВЕСЬ КАТАЛОГ

InternLM/lmdeploy — LMDeploy: ЛЁГКОЕ РАЗВЁРТЫВАНИЕ LLM