R_REDDYX.XYZ
AIRust★ 354⑂ 53 форковMIT

guoqingbao/xinfer

XINFER - БЫСТРЫЙ ВЫВОД LLM

Xinfer — сверхбыстрый инференс LLM на чистом Rust, без PyTorch и Python. Позволяет запускать модели с минимальной задержкой.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Написана на чистом Rust
  • Отсутствие зависимостей от PyTorch/Python
  • Минимальная latency и высокий throughput
#agent#llm#qwen#rust#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

LANGCHAIN + AWS = AI-АГЕНТЫ★ 354ВИРТУАЛЬНЫЙ ДИЗАЙН-НАБОР ДЛЯ AI★ 354Генератор Lottie анимаций★ 353KLAATCODE - ИИ АГЕНТ ДЛЯ КОДА★ 353ОПАСНОСТЬ НА СТРОЙКЕ YOLO HDBSCAN★ 353MINDEPOCKET: AI БУКМАРКИ★ 353

← ВЕСЬ КАТАЛОГ

guoqingbao/xinfer — Xinfer - быстрый вывод LLM | REDDYX AI