R_REDDYX.XYZ
LLMPython★ 12,607⑂ 851 форковApache-2.0

bentoml/OpenLLM

OPENLLM: ЗАПУСК LLM КАК OPENAI API

OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые рецепты деплоя в Docker и Kubernetes.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запуск любых открытых LLM как OpenAI-совместимый API одной командой
  • Встроенный веб-чат по эндпоинту /chat
  • Готовые конфигурации для деплоя в Docker и Kubernetes
  • Поддержка кастомных моделей через репозиторий моделей

// РАЗБОР: КАК ЭТО РАБОТАЕТ

OpenLLM ставится через pip и работает из CLI. `openllm serve модель` запускает сервер на порту 3000 с OpenAI-совместимым API. Модели тянутся из Hugging Face (нужен HF_TOKEN для закрытых), веса не сохраняет сам фреймворк. Есть веб-чат на `/chat` и терминальный режим через `openllm run`.

Единый интерфейс для десятков моделей: Llama 3.x, Qwen 2.5, DeepSeek, Gemma, Phi, Mistral, мультимодальные Pixtral и др. README даёт таблицу VRAM: от 12 ГБ до 80 ГБ×16. Под капотом — современные бэкенды инференса (vLLM, SGLang), скрытые за простым API. Кастомные модели добавляются через репозиторий.

Нужен GPU с VRAM под конкретную модель. Для гейтированных моделей — токен HF и доступ в HF. Продакшн-деплой упрощён через Docker/Kubernetes и интеграцию с BentoML, но требует навыков оркестрации.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Инженерам ML и бэкендерам для быстрого деплоя открытых LLM как API

  • Развернуть Llama 3.3 70B как OpenAI API на своём железе за минуту
  • Интегрировать локальную Qwen2.5-Coder в IDE через OpenAI-совместимый клиент
  • Запустить мультимодальный Pixtral в Kubernetes с веб-интерфейсом чата

// БЫСТРЫЙ СТАРТ

pip install openllm
openllm hello
openllm serve llama3.2:1b

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#bentoml#fine-tuning#llama#llama2#llama3-1#llama3-2#llama3-2-vision#llm#llm-inference#llm-ops#llm-serving#llmops
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ОТКРЫТЫЕ ФИНАНСОВЫЕ LLM ДЛЯ АНАЛИЗА ДАННЫХ★ 21591СТАТИЧЕСКИЙ ЧАТ ДЛЯ DEEPSEEK API★ 1701ПОЛНЫЕ ЛОГИ ЭКСПЕРИМЕНТОВ LLM С ВЕСАМИ НЕЙРОСЕТЕЙ★ 1243RISC-V CPU СКОМПИЛИРОВАН В ВЕСА QWEN3.5★ 814REA - РЕВЕРС ИНЖИНИРИНГ БЕЗ ГРАНИЦ★ 460891DeepSeek Плагин Фреймворк★ 281341

← ВЕСЬ КАТАЛОГ

bentoml/OpenLLM — Openllm: запуск LLM как Openai API