AIC++★ 3,339⑂ 710 форковApache-2.0
Neroued/ninfer
Высокопроизводительный инференс на GPU
Оптимизированный C++ движок для быстрого инференса выбранных моделей на одиночных GPU. Поддерживает конкретные чекпойнты и архитектуры видеокарт.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Инференс конкретных чекпойнтов моделей
- Оптимизация под отдельные GPU архитектуры
- C++ реализация для максимальной скорости
- Работа на одиночном GPU без распределения
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram