AIC++★ 2,898⑂ 403 форковMIT
mw00/project-maya
PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM
Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, дашборд, OpenAI- и Anthropic‑совместимый API и инструменты квантизации.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск GLM-5.3-Flash (321B MoE) на одном GPU с возможностью масштабирования до 16 карт.
- Кросс‑платформенный движок: работает на NVIDIA и AMD GPU под Linux и Windows без изменений кода.
- Встроенный сервер и дашборд предоставляют OpenAI‑ и Anthropic‑совместимый REST API для простой интеграции.
- Набор инструментов квантизации (FP8, INT4, etc.) снижает размер модели и ускоряет инференс.
#cuda#glm#glm-5#llm#llm-inference#local-llm#mixture-of-experts#moe#openai-api#quantization#rocm#self-hosted
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram