AIPython★ 778⑂ 99 форковApache-2.0
thu-nics/C2C
КЭШ-ТУ-КЭШ: ПРЯМОЙ ОБМЕН LLM
Реализация алгоритма Cache-to-Cache для прямого семантического обмена между большими языковыми моделями. Позволяет передавать KV‑кеш без десериализации, ускоряя multi‑agent взаимодействие. Поддерживает интеграцию с любыми LLM на Python.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Передаёт KV‑кеш между LLM напрямую без промежуточного текста.
- Сокращает латентность multi‑agent диалога до миллисекунд.
- Совместим с любыми HuggingFace Transformers моделями через простой API.
- Позволяет настраивать степень сжатия семантического кеша для баланса точности и скорости.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram