R_REDDYX.XYZ
AIJava★ 295⑂ 42 форковMIT

beehive-lab/jitllm

JITLLM: ВЫСОКОПРОИЗВОДИТЕЛЬНЫЙ LLM НА JVM

JITLLM — Java‑фреймворк для высокопроизводительного инференса и serving LLM на JVM. Поддерживает ускорение GPU, форматы GGUF иquantized модели, а также интеграцию с DeepSeek‑R1 и Granite.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Выполняет инференс LLM на JVM с ускорением GPU через CUDA и TensorRT.
  • Поддерживает загрузку и запуск моделей в формате GGUF с квантизацией int4, int8.
  • Интегрируется с моделями DeepSeek‑R1 и Granite для быстрого переключения между версиями.
  • Обеспечивает высокопроизводительный HTTP‑serving на базе Tornado с низкой латентностью и масштабируемостью.
#accelerators#compilers#deepseek-r1#gguf#gpu#granite#ibm-granite#java#java21#llama3#llm#mistral
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Мультиагентный трейдинг LangGraph★ 295PACKMIND - AI ДЛЯ ИНЖЕНЕРНОГО ПЛЕЙБУКА★ 295GOLEMBOT — АГЕНТ ВЕЗДЕ★ 295FABRIKT: KOTLIN ИЗ OPENAPI★ 295ВОСХИТИТЕЛЬНЫЙ RAG ПРОДАКШН★ 295KEELITH GO ФРЕЙМВОРК ДЛЯ ОБЛАКОВ★ 295

← ВЕСЬ КАТАЛОГ

beehive-lab/jitllm — Jitllm: высокопроизводительный LLM на Jvm