AIRust★ 469
openinfer-project/openinfer
LLM-ДВИЖОК НА RUST + CUDA
openinfer — чистый Rust и CUDA для инференса LLM без PyTorch. Поддерживает Qwen3 и Kimi-K2, совместим с OpenAI API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Pure Rust + CUDA без PyTorch
- OpenAI-совместимый API
- Qwen3 и Kimi-K2 из коробки
#cuda#cuda-kernels#deepseek#gpu#inference#inference-engine#kimi#kimi-k2#kv-cache#llm#llm-inference#llm-serving
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram