AISwift★ 799⑂ 56 форковMIT
SharpAI/SwiftLM
SWIFTLM: SWIFT ДЛЯ LLM НА APPLE
Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- OpenAI‑совместимый API для Swift
- Потоковая SSD‑передача для моделей >100B MoE
- TurboQuant сжатие KV‑кеша, поддержка macOS и iOS
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram