R_REDDYX.XYZ
AIC++★ 1,194⑂ 105 форковApache-2.0

jmaczan/tiny-vllm

TINY VLLM: СОБЕРИ СВОЙ LLM

Мини‑версия vLLM на C++ и CUDA для быстрого вывода больших языковых моделей. Позволяет создавать собственный высокопроизводительный движок inference.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Полная поддержка CUDA ускорения
  • Минималистичный код на чистом C++
  • Лёгкая интеграция в существующие проекты
#ai#attention#batching#course#cpp#cuda#hpc#inference#llm#llm-inference#pagedattention#tiny-vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

OBOT — ПЛАТФОРМА MCP НА GO★ 1194SAGE: МУЛЬТИАГЕНТНАЯ СИСТЕМА ДЛЯ СЛОЖНЫХ ЗАДАЧ★ 1193AI УЧЕНИЕ: РОДОКОРНЫЕ КАРТЫ★ 1195КАНБАН ДЛЯ ЛЮДЕЙ И АГЕНТОВ★ 1193CLAUDEBAR МОНИТОРИТ ИИ В МЕНЮБАРЕ★ 1196ФРЕЙМВОРК ФОНДОВЫХ МОДЕЛЕЙ★ 1192

← ВЕСЬ КАТАЛОГ

jmaczan/tiny-vllm — Tiny Vllm: собери свой LLM | REDDYX AI