R_REDDYX.XYZ
LLMPython★ 814⑂ 110 форков

divagr18/qwenputer

RISC-V CPU СКОМПИЛИРОВАН В ВЕСА QWEN3.5

Qwen3.5-4B с 32-битным RISC-V CPU, скомпилированным прямо в веса модели. CPU использует состояние Gated DeltaNet как ОЗУ и выполняет код внутри прямого прохода модели.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • CPU RV32IM с бигнам-копроцессором в 11 слоях перед Qwen
  • Gated DeltaNet работает как адресуемая память (RAM)
  • Запускает C и MicroPython внутри forward pass без инструментов
  • Проходит официальные riscv-tests, 3200 токенов/с на L4

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Qwenputer встраивает 32-битный RISC-V CPU (RV32IM с Zba и бигнам-копроцессором) прямо в веса Qwen3.5-4B. CPU занимает 11 трансформерных слоёв перед собственными слоями Qwen; все веса вычисляются компилятором, а не обучаются. Памятью служит состояние Gated DeltaNet: в головах DeltaNet gate зафиксирован в α=1, write strength β=1, ключи — one-hot векторы, поэтому каждое обновление перезаписывает ровно одну строку — ячейку RAM.

В отличие от tool-use или sandbox-подходов, исполнение происходит внутри forward pass модели. Драйвер RvChat загружает прошивку в DeltaNet-состояние после промпта, а Triton-исполнитель прогоняет CPU на ~3200 токенов трассы в секунду на L4. Модель генерирует токены вызова `calc` в формате tool-call Qwen3.5, но сам вызов обрабатывают компьютерные слои, а затем модель посимвольно выдаёт результат. На бенчмарках арифметики (DeepMind mul_big, div_big и др.) Qwenputer достигает 97.5–100% против 55–90% у базовой модели; реплей 230 тыс. позиций показал нулевые расхождения с референсной машиной.

Требуется GPU с поддержкой Triton (тестировалось на L4). Установка через uv и huggingface-hub; модель загружается как обычный Qwen3_5ForCausalLM. Код CPU и прошивки лежат в experimental/riscv/. Поведение текста совпадает с базовой моделью (KL 6e-4) на промптах без разметки tool-call; транскрипты с завершёнными вызовами не подходят для оценки перплексии.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Исследователям интерпретируемости и архитектур LLM с встроенным исполнением кода

  • Изучить компиляцию CPU в веса трансформера без обучения
  • Проверить точность арифметики LLM через встроенный RISC-V
  • Экспериментировать с DeltaNet как адресуемой памятью

// БЫСТРЫЙ СТАРТ

git clone https://github.com/divagr18/qwenputer && cd qwenputer/experimental/riscv && uv sync --extra hf
hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv

Команды взяты из README репозитория — перед запуском сверьтесь с актуальной версией на GitHub.

#compiled-weights#gated-deltanet#interpretability#llm#qwen#transformers
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ПОЛНЫЕ ЛОГИ ЭКСПЕРИМЕНТОВ LLM С ВЕСАМИ НЕЙРОСЕТЕЙ★ 1243СТАТИЧЕСКИЙ ЧАТ ДЛЯ DEEPSEEK API★ 1701OPENLLM: ЗАПУСК LLM КАК OPENAI API★ 12607ОТКРЫТЫЕ ФИНАНСОВЫЕ LLM ДЛЯ АНАЛИЗА ДАННЫХ★ 21591REA - РЕВЕРС ИНЖИНИРИНГ БЕЗ ГРАНИЦ★ 460891DeepSeek Плагин Фреймворк★ 281341

← ВЕСЬ КАТАЛОГ

divagr18/qwenputer — Risc-V CPU скомпилирован в веса Qwen3.5