AISwift★ 735
SharpAI/SwiftLM
SWIFTLM: SWIFT ДЛЯ LLM НА APPLE
Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- OpenAI‑совместимый API для Swift
- Потоковая SSD‑передача для моделей >100B MoE
- TurboQuant сжатие KV‑кеша, поддержка macOS и iOS
#apple-sili#inference#ios#llm#metal#mlx#moe#on-device-ai#openai-api#swift
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram