beehive-lab/jllm

Проект jllm реализует инференс Llama3.java на GPU с помощью TornadoVM, оставаясь полностью на Java. Поддерживает форматы GGUF и работу с моделями DeepSeek‑R1 и Granite. Есть 276 звёзд на GitHub.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

• Выполняет инференс Llama3 моделей на GPU через TornadoVM без native кода.
• Поддерживает загрузку и выполнение моделей в формате GGUF напрямую из Java.
• Обеспечивает ускорение до нескольких раз по сравнению с чистым CPU‑Java инференсом.
• Совместим с моделями DeepSeek‑R1, Granite и другими LLAMA‑подобными checkpoint‑ами.

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.