AIJava★ 295⑂ 42 форковMIT
beehive-lab/jitllm
JITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM
JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepSeek‑R1 и Granite.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Выполняет инференс LLM на JVM с ускорением GPU через CUDA и TensorRT.
- Поддерживает загрузку и запуск моделей в формате GGUF с квантизацией int4, int8.
- Интегрируется с моделями DeepSeek‑R1 и Granite для быстрого переключения между версиями.
- Обеспечивает высокопроизводительный HTTP‑serving на базе Tornado с низкой латентностью и масштабируемостью.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram