R_REDDYX.XYZ

LLM Inference: open-source проекты на GitHub

76 репозиториев по теме LLM Inference, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Vllm 62Cuda 46Qwen 101Local LLM 102LLM Serving 23Machine Learning 188Generative AI 187Speculative Decoding 21Large Language Models 151Llms 136Apple Silicon 53Self Hosted 348Llama 106
Epistates/pmetal

PMETAL: УСКОРЕНИЕ LLM НА APPLE SILICON

PMetal — фреймворк на Rust для высокопроизводительного запуска LLM на Apple Silicon. Поддерживает локальный инференс fine‑tuning LoRA/QLoRA сервинг квантизацию и ускорени

★ 333 · Rust
sophgo/LLM-TPU

LLM-TPU - ЗАПУСКАЙ AI НА BM1684X

Запускай генеративные ИИ-модели на Sophgo BM1684X/BM1688 с высокой скоростью и низким потреблением.

★ 323 · C++
Picovoice/picollm

PICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ

picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.

★ 320 · Python
jia-gao/leanctx

СЖМИМ ПРОМПТЫ НА 60%

leanctx — drop-in сжатие промптов для LLM-приложений. Уменьшает токены на 40-60% без изменения кода.

★ 308 · Python
jax-ml/jax-llm-examples

JAX-LLM-EXAMPLES - БЫСТРЫЙ СТАРТ С LLM

Минимум кода, максимальная скорость: примеры LLM на чистом JAX для быстрого прототипа.

★ 287 · Python
AMD-AGI/Hyperloom

HYPERLOOM АВТООПТИМИЗАЦИЯ LLM НА AMD

Hyperloom — агентная система, которая автоматически оптимизирует рабочие нагрузки больших языковых моделей на GPU AMD. Она подбирает ядра и параметры для максимальной про

★ 271 · Python
Avarok-Cybersecurity/atlas

Движок инференса для кибербезопасности

Высокопроизводительный движок инференса на Rust с безопасной работой с памятью для задач кибербезопасности.

★ 240 · Rust
pie-project/pie

PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST

Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап

★ 240 · Rust
OpenMachine-ai/transformer-tricks

TRANSFORMER-TRICKS - УСКОРЕНИЕ ТРАНСФОРМЕРОВ

Набор приемов и утилит для ускорения трансформеров: оптимизация attention, квантование и кэширование вычислений.

★ 236 · TeX
kalavai-net/kalavai-client

KALAVAI-CLIENT: GPU МОЩНОСТЬ В ОБЛАКЕ

Проект собирает свободные GPU мощности и предлагает их для распределённых вычислений.

★ 225 · TypeScript
cgbur/llama2.zig

LLAMA2 В ОДНОМ ФАЙЛЕ ZIG

Проект llama2.zig позволяет запускать Llama 2 инференс в одном файле на чистом Zig, без зависимостей.

★ 225 · Zig
jaylfc/taOS

TAOS САМООБУЧАЮЩИЙСЯ AI ОС

Self-hosted автокластеризующий AI-агентский ОС для вашего железа: Raspberry Pi, Orange, Mac Mini и т.д.

★ 213 · Python
surya-koritala/Glyd

GLYD: LOSSLESS AI COMPRESSION

Glyd снижает GPU-память на 33% без потери данных, обеспечивая бит-в-бит идентичность. Проект написан на Rust и поддерживает CUDA, C‑ABI и CLI для удобного бенчмарка.

★ 200 · Rust
huawei-csl/KVarN

KVarN: квантование KV‑кеша

KVarN — нативный бекенд квантования KV‑кеша для vLLM, увеличивающий контекст в 3‑5 раз, повышающий пропускную способность выше FP16 и сохраняющий точность FP16 без калибр

★ 159 · Python
avifenesh/memra

MEMRA - ИИ УСКОРИТЕЛЬ ДЛЯ RTX

Memra — это реализация inference LLM с нуля, оптимизированная под архитектуры RTX 5090 (sm_120a) и H100 (sm_90a) на Rust.

★ 6 · Rust
zorost/sparkduet

SparkDuet: на-demand библиотека моделей

Проект предоставляет единый OpenAI‑совместимый эндпоинт для запуска моделей DeepSeek и Qwen, обслуживает их через два vLLM‑лейна (TP=2) на кластере NVIDIA DGX Spark и под

★ 0 · Python

Новые проекты по теме — в Telegram

Telegram →
LLM Inference — страница 2 | REDDYX AI