AIPython★ 8,224⑂ 606 форковMIT
zilliztech/GPTCache
GPTCache: СЕМАНТИЧНЫЙ КЭШ ДЛЯ LLM
GPTCache предоставляет семантическое кеширование запросов к большим языковым моделям, уменьшая токенопотребление и ускоряя ответы. Полностью интегрирован с LangChain и llama_index, поддерживает Python API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Кеширует запросы к LLM по смыслу, экономя до 80% токенов при повторных подобных вопросах.
- Полностью интегрирован с LangChain и llama_index через простые импорты и настройку.
- Поддерживает пользовательские эмбеддинги и разные хранилища: SQLite, FAISS, Redis.
- Сокращает время и расходы на вызовы OpenAI, Anthropic и локальных моделей за счёт кэша.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram