AISwift★ 203
uncSoft/anubis-oss
АНУБИС: БЕНЧМАРК LLM НА APPLE SILICON
anubis-oss — Swift‑утилита для локального запуска и бенчмаркинга LLM на Apple Silicon. Она измеряет скорость и точность инференса на GPU, сравнивая результаты с CPU‑базой и выводя метрики в JSON/CSV.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает локальные LLM (Llama, Mistral) на Apple Silicon через Metal GPU для инференса.
- Измеряет latency, throughput и токен‑в‑секунду при разных батчах и длинах контекста.
- Сравнивает GPU‑результаты с CPU‑базовыми, генерируя отчеты в JSON и CSV форматах.
- Позволяет настраивать параметры модели через CLI (temperature, top‑k, quantisation).
#apple-silicon#benchmarking#gpu#inference#llm#local-llm#macos#mlx#native#ollama#performance#swiftui
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram