R_REDDYX.XYZ
AIRust★ 240⑂ 40 форковApache-2.0

pie-project/pie

PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST

Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адаптеров.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Сервит LLM и diffusion-модели через единый API
  • Батчинг запросов и KV-кэш для ускорения инференса
  • Горячая загрузка LoRA-адаптеров без рестарта
  • Написан на Rust, даёт низкую латентность и высокую пропускную способность
#diffusion-model#inference#inference-engine#llm-inference#llms#machine-learning#mlsystem#multimodal
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Движок инференса для кибербезопасности★ 240YourMemory - ИИ ПАМЯТЬ С ЗАБЫВАНИЕМ★ 240QVAC ЛОКАЛЬНЫЙ AI SDK★ 240AGENT-PULSE - AI ТРЕНДЫ В РЕАЛЬНОМ ВРЕМЕНИ★ 240CLAUDE CODE GPT-5 КОДИНГ С ПРОКСИ★ 240MAUI LABS: НОВЫЕ ИНСТРУМЕНТЫ★ 240

← ВЕСЬ КАТАЛОГ

pie-project/pie — Pie — сервинг моделей на Rust | REDDYX AI