AIPython★ 561
jjang-ai/vmlx
VMLX - МОДЕЛИ MLX НОВОГО ПОКОЛЕНИЯ
Сверхбыстрые сжатые MLX-модели с двухуровневым кэшем, гибридным планировщиком и непрерывным батчингом.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- L2 Disk Cache (переживает перезапуск)
- L1 Paged Cache (молниеносный TTFT)
- Hybrid SSM Scheduler + Cont Batching
#anthropic-api#kvcache-compression#kvcache-optimization#kvcache-reuse#llm#lmstudio#macbook#mcp-server#mlx#mlxllm#mlxstudio#omlx
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram