AIPython★ 399⑂ 49 форковMIT
aidatatools/ollama-benchmark
БЕНЧМАРК ПРОИЗВОДИТЕЛЬНОСТИ LLM
Инструмент для измерения пропускной способности локальных LLM через Ollama. Запускает нагрузочные тесты и выдаёт статистику токенов в секунду.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Измеряет throughput (токенов/сек) любых моделей в Ollama
- Тестирует параллельные запросы с настраиваемыми параметрами
- Сохраняет результаты в JSON и CSV для сравнения
- Готовый CLI-скрипт на Python для CI/CD пайплайнов
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram