AIPython★ 299
FonaTech/Project_Chronos
FonaTech Chronos
Проект Chronos обеспечивает нулевую задержку инференса Mixture‑of‑Experts за счёт lookahead‑предсказания и асинхронного DMA‑префетча с SSD, а также GPU‑оптимизированных ядер. Гибридное внимание MLA + sliding‑window уменьшает память без потери качества.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Zero‑Stall MoE inference с lookahead‑предсказанием для минимальной задержки
- Асинхронный DMA‑префетч с SSD устраняет узкие места I/O
- GPU‑оптимизированные ядра с поддержкой смешанной точности
- Гибридное внимание MLA + sliding‑window снижает потребление памяти
#artificial-intelligence#async-dma#dual-layer-moe#generative-ai#high-throughput#io-latency-hiding#large-language-model#llm#lookahead-routing#lora#mixture-of-experts#mla-attention
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram