R_REDDYX.XYZ
AIPython★ 4,092

ModelTC/LightLLM

LightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM

Лёгкий и быстрый фреймворк для инференса и сервинга больших языковых моделей на Python. Простое масштабирование и высокая производительность.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Лёгкий и быстрый инференс LLM
  • Простое масштабирование
  • Высокая производительность
#deep-learning#gpt#llama#llm#model-serving#nlp#openai-triton
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ONE DNN: УСКОРЯЕМ AI НА CPU★ 4092Семантический поиск по видео★ 4093SPRITE-GEN — ГЕНЕРАЦИЯ СПРАЙТОВ С AI★ 4089CISO ASSISTANT - ГЛОБАЛЬНАЯ ГРК ПЛАТФОРМА★ 4088МОНИТОРИНГ AI-ШЛЮЗОВ С ИИ★ 4085CSGHUB — ПЛАТФОРМА ДЛЯ LLM★ 4082

← ВЕСЬ КАТАЛОГ

ModelTC/LightLLM — LightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM