AIC★ 51,088⑂ 6,095 форковApache-2.0
JustVugg/colibri
Иерархический движок вывода MoE
Движок для моделей MoE: горячие эксперты на GPU, тёплые в RAM, холодные стримятся с NVMe. На C, работает на имеющемся железе.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Трёхуровневая память: GPU → RAM → NVMe
- Поддержка CUDA и Vulkan для горячих экспертов
- Стриминг холодных экспертов с NVMe по требованию
- Чистый C без тяжёлых зависимостей
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram