R_REDDYX.XYZ
AIC++★ 2,898⑂ 403 форковMIT

mw00/project-maya

PROJECT MAYA: ЛОКАЛЬНЫЙ ЗАПУСК LLM

Project Maya позволяет запускать GLM-5.3-Flash (321B MoE) локально на одном или до 16 GPU, поддерживая NVIDIA и AMD под Linux и Windows. В комплекте — движок, сервер, дашборд, OpenAI- и Anthropic‑совместимый API и инструменты квантизации.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запуск GLM-5.3-Flash (321B MoE) на одном GPU с возможностью масштабирования до 16 карт.
  • Кросс‑платформенный движок: работает на NVIDIA и AMD GPU под Linux и Windows без изменений кода.
  • Встроенный сервер и дашборд предоставляют OpenAI‑ и Anthropic‑совместимый REST API для простой интеграции.
  • Набор инструментов квантизации (FP8, INT4, etc.) снижает размер модели и ускоряет инференс.
#cuda#glm#glm-5#llm#llm-inference#local-llm#mixture-of-experts#moe#openai-api#quantization#rocm#self-hosted
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ФОРМАЛЬНАЯ ВЕРИФИКАЦИЯ ИИ-АГЕНТОВ★ 2897ВОЙСМЕМ УНИВЕРСАЛЬНАЯ ПАМЯТЬ★ 2901OPEN ONTOLOGIES AI ENGINE★ 2905DeepSeek Reasonix: AI-агент для терминала★ 2889MOSS-Image: DiT-модель 5B★ 2887OSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ★ 2911

← ВЕСЬ КАТАЛОГ

mw00/project-maya — Project Maya: локальный запуск LLM