AIRust★ 271
guoqingbao/xinfer
XINFER - БЫСТРЫЙ ВЫВОД LLM
Xinfer — сверхбыстрый инференс LLM на чистом Rust, без PyTorch и Python. Позволяет запускать модели с минимальной задержкой.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Написана на чистом Rust
- Отсутствие зависимостей от PyTorch/Python
- Минимальная latency и высокий throughput
#agent#llm#qwen#rust#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram