AITypeScript★ 38
agentic-in/inferoa
Инференсный агент Tokenmaxxing
Agentic-in/inferoa — это фреймворк для создания агентов, оптимизированных под инференс с технологией Tokenmaxxing, обеспечивающий высокую эффективность работы с большими языковыми моделями.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Токенизация с адаптивным сжатием Tokenmaxxing для снижения вычислительной нагрузки
- Гибкая архитектура TypeScript с поддержкой plug‑in модулей для различных LLM
- Автоматический батчинг и кэширование промптов для ускорения инференса
- Встроенные метрики и логирование производительности в реальном времени
#agent#agent-harness#agentic-ai#harness-engineering#inference#kvcache#llm#token#tokenmaxxing
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram