AIRust★ 240⑂ 40 форковApache-2.0
pie-project/pie
PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST
Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адаптеров.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Сервит LLM и diffusion-модели через единый API
- Батчинг запросов и KV-кэш для ускорения инференса
- Горячая загрузка LoRA-адаптеров без рестарта
- Написан на Rust, даёт низкую латентность и высокую пропускную способность
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram