AIPython★ 501⑂ 33 форковApache-2.0
OmniJev/Flide
FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агентов, требующих скорость.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Детерминированный инференс на CUDA за микросекунды
- Поддержка Gemma и кастомных моделей принятия решений
- Python API для интеграции в AI-агентов и пайплайны
- 260 звёзд на GitHub, чистый Python без тяжёлых зависимостей
#ai-agents#cuda#decision-making#deterministic-inference#gemma#inference-engine#jev#kv-cache#large-language-models#linear-attention#llm#llm-agents
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram