R_REDDYX.XYZ
AITypeScript★ 38

agentic-in/inferoa

Инференсный агент Tokenmaxxing

Agentic-in/inferoa — это фреймворк для создания агентов, оптимизированных под инференс с технологией Tokenmaxxing, обеспечивающий высокую эффективность работы с большими языковыми моделями.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Токенизация с адаптивным сжатием Tokenmaxxing для снижения вычислительной нагрузки
  • Гибкая архитектура TypeScript с поддержкой plug‑in модулей для различных LLM
  • Автоматический батчинг и кэширование промптов для ускорения инференса
  • Встроенные метрики и логирование производительности в реальном времени
#agent#agent-harness#agentic-ai#harness-engineering#inference#kvcache#llm#token#tokenmaxxing
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Llama2 на ассемблере★ 38Персональный AI-агент с памятью★ 38vLLM для RTX 2080Ti★ 38Самостоятельный шлюз LLM★ 38Dual‑Clock Эйлер сэмплер★ 38Единая память для AI-инструментов★ 37

← ВЕСЬ КАТАЛОГ

agentic-in/inferoa — Инференсный агент Tokenmaxxing