R_REDDYX.XYZ
AIC++★ 1,329⑂ 126 форков

kvmem/kvmem

KV-память для ИИ

KVmem виртуализирует ключ‑значение память между различными бэкендами инференса, позволяя запускать модели с ultra‑длинным контекстом на ограниченном железе.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Виртуализация KV‑памяти между CPU, GPU и дисковым хранилищем.
  • Поддержка контекста до сотен тысяч токенов без потери производительности.
  • Прозрачная интеграция с LLama.cpp и HuggingFace Transformers.
  • Снижение потребления памяти до 70% при работе с ultra‑длинными последовательностями.
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Набор навыков RN для AI★ 1330MERIDIAN - ПРОКСИ ДЛЯ CLAUDE MAX В ЛЮБЫХ ИНСТРУМЕНТАХ★ 1328CHUBBYSKILLS - КИТАЙСКИЙ КОНТЕНТ В ВАШУ БАЗУ ЗНАНИЙ★ 1330ХАКИНГБАДДИ GPT ПОМОЩНИК★ 1328АНТСК ОФЛАЙН АГЕНТ .NET 9★ 1330MCP-WINDBG: AI ОТЛАДКА WINDOWS★ 1331

← ВЕСЬ КАТАЛОГ

kvmem/kvmem — KV-память для ИИ | REDDYX AI