R_REDDYX.XYZ
AIJupyter Notebook★ 5,831⑂ 947 форковApache-2.0

rasbt/reasoning-from-scratch

LLM С НУЛЯ В PYTORCH

Проект reasoning-from-scratch показывает, как построить Reasoning LLM с нуля на PyTorch, шаг за шагом. В Jupyter ноутбуках реализованы архитектура, обучение с CoT и дистилляцией, а также эксперименты с GRPO.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Пошаговая реализация архитектуры трансформера и обучение LLM с нуля в PyTorch
  • Интеграция техники цепочки мышления (Chain-of-Thought) для улучшения рассуждений модели
  • Применение методов дистилляции и GRPO для повышения качества ответов при меньших ресурсах
  • Всё выполнено в Jupyter ноутбуках с визуализацией этапов обучения и inference
#ai#artificial-intelligence#chain-of-thought#deep-learning#distillation#grpo#inference-time-scaling#large-language-models#llm#llms#machine-learning#math-reasoning
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

PHP КЛИЕНТ ДЛЯ OPENAI★ 5835RUOYI-AI AI АГЕНТ ФРЕЙМВОРК★ 5837VLM НА MAC ЛОКАЛЬНО★ 5847ВИРТУАЛЬНЫЙ ИСПОЛНИТЕЛЬНЫЙ КОМИТЕТ НА ИИ★ 5812Запись сеансов и создание навыков★ 5809COST-XRAY: ВИДИШЬ РАСХОДЫ CLAUDE CODE★ 5806

← ВЕСЬ КАТАЛОГ

rasbt/reasoning-from-scratch — LLM с нуля в Pytorch