LLM Inference: open-source проекты на GitHub
76 репозиториев по теме LLM Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON
PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени
★ 333 · RustLLM-TPU - ЗАПУСКАЙ AI НА BM1684X
Запускай генеративные ИИ-модели на Sophgo BM1684X/BM1688 с высокой скоростью и низким потреблением.
★ 323 · C++PICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ
picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.
★ 320 · PythonСЖМИМ ПРОМПТЫ НА 60%
leanctx — drop-in сжатие промптов для LLM-приложений. Уменьшает токены на 40-60% без изменения кода.
★ 308 · PythonJAX-LLM-EXAMPLES - БЫСТРЫЙ СТАРТ С LLM
Минимум кода, максимальная скорость: примеры LLM на чистом JAX для быстрого прототипа.
★ 287 · PythonHYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD
Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про
★ 271 · PythonДвижок инференса для кибербезопасности
Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.
★ 240 · RustPIE — СЕРВИНГ МОДЕЛЕЙ НА RUST
Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап
★ 240 · RustTRANSFORMER-TRICKS - УСКОРЕНИЕ ТРАНСФОРМЕРОВ
Набор приемов и утилит для ускорения трансформеров: оптимизация attention, квантование и кэширование вычислений.
★ 236 · TeXKALAVAI-CLIENT: GPU МОЩНОСТЬ В ОБЛАКЕ
Проект собирает свободные GPU мощности и предлагает их для распределённых вычислений.
★ 225 · TypeScriptLLAMA2 В ОДНОМ ФАЙЛЕ ZIG
Проект llama2.zig позволяет запускать Llama 2 инференс в одном файле на чистом Zig, без зависимостей.
★ 225 · ZigTAOS САМООБУЧАЮЩИЙСЯ AI ОС
Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.
★ 213 · PythonGLYD: LOSSLESS AI COMPRESSION
Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.
★ 200 · RustKVarN: квантование KV‑кеша
KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр
★ 159 · PythonMEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX
Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.
★ 6 · RustSparkDuet: на-demand библиотека моделей
Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под
★ 0 · PythonНовые проекты по теме — в Telegram
Telegram →