AIPython★ 1,234⑂ 111 форковApache-2.0
synchopate/llama-modchip
ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU
llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановление Claude Code за 13мс.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает DeepSeek-V4-Flash 284B на 64GB RAM без GPU
- Достигает 44.4 tok/s префилл и 9-14 tok/s генерация
- Поддерживает 30B MoE модели со скоростью 25-111 tok/s
- Восстанавливает сессию Claude Code за 13мс
#ai-agents#apple-silicon#avx512#claude-code#cpu-inference#deepseek#deepseek-v4#gguf#hpc#llama-cpp#local-llm#mamba2
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram