R_REDDYX.XYZ
AISwift★ 217⑂ 17 форковGPL-3.0

uncSoft/anubis-oss

АНУБИС: БЕНЧМАРК LLM НА APPLE SILICON

anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой и выводя метрики в JSON/CSV.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запускает локальные LLM (Llama, Mistral) на Apple Silicon через Metal GPU для инференса.
  • Измеряет latency, throughput и токен‑в‑секунду при разных батчах и длинах контекста.
  • Сравнивает GPU‑результаты с CPU‑базовыми, генерируя отчеты в JSON и CSV форматах.
  • Позволяет настраивать параметры модели через CLI (temperature, top‑k, quantisation).
#apple-silicon#benchmarking#gpu#inference#llm#local-llm#macos#mlx#native#ollama#performance#swiftui
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ЧИСТЫЙ AI ТЕРМИНАЛ Coffee-CLI★ 217MINIAGENT ПЛАГИНОВЫЙ АГЕНТ PYTHON★ 217ГОЛОСОВЫЙ УВЕДОМИТЕЛЬ ДЛЯ CLAUDE★ 217R MCP СЕРВЕР ДЛЯ АНАЛИЗА ДАННЫХ★ 217НАВЫКИ ДЛЯ AI-АГЕНТОВ В ПРОДАКШН★ 217КРАСИВАЯ СТРОКА СТАТУСА ДЛЯ CLAUDE CODE★ 217

← ВЕСЬ КАТАЛОГ

uncSoft/anubis-oss — Анубис: бенчмарк LLM на Apple Silicon