R_REDDYX.XYZ
AIPython★ 1,234⑂ 111 форковApache-2.0

synchopate/llama-modchip

ЗАПУСКАЕМ 284B LLM НА CPU БЕЗ GPU

llama-modchip запускает DeepSeek-V4-Flash 284B на чистом CPU 64GB RAM: 44.4 tok/s префилл, 9-14 tok/s генерация. 30B MoE модели до 111 tok/s. Контекст 256K, восстановление Claude Code за 13мс.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запускает DeepSeek-V4-Flash 284B на 64GB RAM без GPU
  • Достигает 44.4 tok/s префилл и 9-14 tok/s генерация
  • Поддерживает 30B MoE модели со скоростью 25-111 tok/s
  • Восстанавливает сессию Claude Code за 13мс
#ai-agents#apple-silicon#avx512#claude-code#cpu-inference#deepseek#deepseek-v4#gguf#hpc#llama-cpp#local-llm#mamba2
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

GETSPECSTORY - СИНХРОНИЗИРУЙТЕ AI-ЧАТЫ В ОБЛАКЕ★ 1234GRAPHGEN: СИНТЕЗ ДАННЫХ ИЗ ГРАФОВ★ 1234AI-помощник для юристов★ 1232ВРЕМЕННЫЕ РАБОЧИЕ ПРОСТРАНСТВА ДЛЯ ЛЮДЕЙ И AI-АГЕНТОВ★ 1232DARK-MOON АВТОНОМНЫЙ ИИ ПЕНТЕСТ★ 1238Автоматическая эволюция алгоритмов★ 1230

← ВЕСЬ КАТАЛОГ

synchopate/llama-modchip — Запускаем 284b LLM на CPU без GPU