AIPython★ 3,123
thu-pacman/chitu
CHITU: УСКОРЯЕМ LLM В PYTHON
High‑performance framework для быстрого инференса больших языковых моделей на Python. Обеспечивает гибкость, эффективность и простоту развертывания.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Оптимизированный движок для низкой латентности
- Поддержка множества бэкендов и устройств
- Простой API с гибкой конфигурацией
#deepseek#gpu#llm#llm-serving#model-serving#pytorch
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram