bentoml/OpenLLM
OPENLLM: ЗАПУСК LLM КАК OPENAI API
OpenLLM позволяет запускать любые открытые LLM (Llama, Qwen, DeepSeek) как OpenAI-совместимые API одной командой. Включает чат-UI, современные бэкенды инференса и готовые рецепты деплоя в Docker и Kubernetes.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск любых открытых LLM как OpenAI-совместимый API одной командой
- Встроенный веб-чат по эндпоинту /chat
- Готовые конфигурации для деплоя в Docker и Kubernetes
- Поддержка кастомных моделей через репозиторий моделей
// РАЗБОР: КАК ЭТО РАБОТАЕТ
OpenLLM ставится через pip и работает из CLI. `openllm serve модель` запускает сервер на порту 3000 с OpenAI-совместимым API. Модели тянутся из Hugging Face (нужен HF_TOKEN для закрытых), веса не сохраняет сам фреймворк. Есть веб-чат на `/chat` и терминальный режим через `openllm run`.
Единый интерфейс для десятков моделей: Llama 3.x, Qwen 2.5, DeepSeek, Gemma, Phi, Mistral, мультимодальные Pixtral и др. README даёт таблицу VRAM: от 12 ГБ до 80 ГБ×16. Под капотом — современные бэкенды инференса (vLLM, SGLang), скрытые за простым API. Кастомные модели добавляются через репозиторий.
Нужен GPU с VRAM под конкретную модель. Для гейтированных моделей — токен HF и доступ в HF. Продакшн-деплой упрощён через Docker/Kubernetes и интеграцию с BentoML, но требует навыков оркестрации.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Инженерам ML и бэкендерам для быстрого деплоя открытых LLM как API
- Развернуть Llama 3.3 70B как OpenAI API на своём железе за минуту
- Интегрировать локальную Qwen2.5-Coder в IDE через OpenAI-совместимый клиент
- Запустить мультимодальный Pixtral в Kubernetes с веб-интерфейсом чата
// БЫСТРЫЙ СТАРТ
pip install openllm
openllm hello
openllm serve llama3.2:1bКоманды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram