AIRust★ 628
pegainfer-project/pegainfer
PEGAINFER: РАСТ + CUDA ИНФЕР
Движок LLM на чистом Rust с CUDA‑ускорением, совместимый с OpenAI API, запускает Qwen3 и Kimi‑K2 без PyTorch.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Чистый Rust + CUDA: максимальная производительность
- OpenAI‑совместимый API, без зависимостей от PyTorch
- Поддержка моделей Qwen3 и Kimi‑K2 out‑of‑the‑box
#cuda#cuda-kernels#deepseek#gpu#inference#inference-engine#kimi#kimi-k2#kv-cache#llm#llm-inference#llm-serving
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram