AIRust★ 625
openinfer-project/pegainfer
ПЕГАИНФЕР: RUST + CUDA LLM
Pegainfer — чистый Rust + CUDA движок для LLM‑инференса без PyTorch, совместимый с OpenAI API, обслуживает модели от Qwen3 до Kimi‑K2.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нет зависимостей от PyTorch или TensorFlow
- Полная совместимость с OpenAI‑совместимым API
- Поддержка множества моделей: Qwen3, Kimi‑K2 и др.
#cuda#cuda-kernels#deepseek#gpu#inference#inference-engine#kimi#kimi-k2#kv-cache#llm#llm-inference#llm-serving
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram