AIPython★ 2,339
youssofal/MTPLX
МТПЛХ СУПЕРБЫСТРЫЙ ЗАПУСК
MTPLX позволяет запускать Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac достигая 125 токенов/сек в OpenCode. Благодаря MTP speculative decoding на Apple Silicon результаты точны при любой температуре, сервер совместим с API OpenAI и Anthropic.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Нативное MTP speculative decoding на Apple Silicon для вывода при любой температуре.
- Запуск Qwen 3.8 Flash Next и Qwen 3.8 27B на Mac с производительностью до 125 токенов/сек.
- Полная совместимость с API OpenAI и Anthropic — сервер как замена облачным вызовам.
- Работает на Python, оптимизирован под чипы M-серии, без необходимости в драйверах.
#anthropic-compatible#apple-silicon#claude-code#flash-next#inference-engine#llm-inference#local-ai#local-llm#macos#metal#mlx#mtp
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram