AIGo★ 243
messkan/prompt-cache
ПРОМПТ КЕШ ЭКОНОМИЯ 80%
Intelligent semantic cache for LLM prompts, reduces costs up to 80% and delivers sub‑millisecond responses. Provider‑agnostic Go proxy.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Семантическое кэширование промптов
- Сокращение затрат на LLM до 80%
- Отклик менее 1 мс, provider‑agnostic
#ai#badgerdb#cache#claude#cost-optimization#go#langchain#llm#middleware#mistral#openai#performance
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram