AIC++★ 1,329⑂ 126 форков
kvmem/kvmem
KV-память для ИИ
KVmem виртуализирует ключ‑значение память между различными бэкендами инференса, позволяя запускать модели с ultra‑длинным контекстом на ограниченном железе.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Виртуализация KV‑памяти между CPU, GPU и дисковым хранилищем.
- Поддержка контекста до сотен тысяч токенов без потери производительности.
- Прозрачная интеграция с LLama.cpp и HuggingFace Transformers.
- Снижение потребления памяти до 70% при работе с ultra‑длинными последовательностями.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram