R_REDDYX.XYZ
AIPython★ 8,224⑂ 606 форковMIT

zilliztech/GPTCache

GPTCache: СЕМАНТИЧНЫЙ КЭШ ДЛЯ LLM

GPTCache предоставляет семантическое кеширование запросов к большим языковым моделям, уменьшая токенопотребление и ускоряя ответы. Полностью интегрирован с LangChain и llama_index, поддерживает Python API.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Кеширует запросы к LLM по смыслу, экономя до 80% токенов при повторных подобных вопросах.
  • Полностью интегрирован с LangChain и llama_index через простые импорты и настройку.
  • Поддерживает пользовательские эмбеддинги и разные хранилища: SQLite, FAISS, Redis.
  • Сокращает время и расходы на вызовы OpenAI, Anthropic и локальных моделей за счёт кэша.
#aigc#autogpt#babyagi#chatbot#chatgpt#chatgpt-api#dolly#gpt#langchain#llama#llama-index#llm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Трюки для Claude Code★ 8210GITHUB COPILOT В XCODE НАТИВНО★ 8204BITSANDBYTES: КОМПРЕССИЯ LLM НА PYTORCH★ 8246Редактор MobileGestalt для iOS★ 8201Редактор MobileGestalt для iOS★ 8248VIBE КОД С PI В IDE★ 8259

← ВЕСЬ КАТАЛОГ

zilliztech/GPTCache — GPTCache: СЕМАНТИЧНЫЙ КЭШ ДЛЯ LLM