R_REDDYX.XYZ
AIPython★ 778⑂ 99 форковApache-2.0

thu-nics/C2C

КЭШ-ТУ-КЭШ: ПРЯМОЙ ОБМЕН LLM

Реализация алгоритма Cache-to-Cache для прямого семантического обмена между большими языковыми моделями. Позволяет передавать KV‑кеш без десериализации, ускоряя multi‑agent взаимодействие. Поддерживает интеграцию с любыми LLM на Python.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Передаёт KV‑кеш между LLM напрямую без промежуточного текста.
  • Сокращает латентность multi‑agent диалога до миллисекунд.
  • Совместим с любыми HuggingFace Transformers моделями через простой API.
  • Позволяет настраивать степень сжатия семантического кеша для баланса точности и скорости.
#kv-cache#llm#multi-agent
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

МАКРОСЫ ДЛЯ SWIFT CODABLE★ 777DEEPZERO: ИЩИ УЯЗВИМОСТИ ВО СНЕ★ 777Физический ИИ-Агент ОПС-Физика★ 780Бесплатные API-ключи LLM★ 780MAGIC-CONTEXT - БЕЗГРАНИЧНЫЙ КОНТЕКСТ★ 780NUWAX — ПЛАТФОРМА ДЛЯ AI-АГЕНТОВ★ 780

← ВЕСЬ КАТАЛОГ

thu-nics/C2C — Кэш-ту-кэш: прямой обмен LLM | REDDYX AI