AIJupyter Notebook★ 5,831⑂ 947 форковApache-2.0
rasbt/reasoning-from-scratch
LLM С НУЛЯ В PYTORCH
Проект reasoning-from-scratch показывает, как построить Reasoning LLM с нуля на PyTorch, шаг за шагом. В Jupyter ноутбуках реализованы архитектура, обучение с CoT и дистилляцией, а также эксперименты с GRPO.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Пошаговая реализация архитектуры трансформера и обучение LLM с нуля в PyTorch
- Интеграция техники цепочки мышления (Chain-of-Thought) для улучшения рассуждений модели
- Применение методов дистилляции и GRPO для повышения качества ответов при меньших ресурсах
- Всё выполнено в Jupyter ноутбуках с визуализацией этапов обучения и inference
#ai#artificial-intelligence#chain-of-thought#deep-learning#distillation#grpo#inference-time-scaling#large-language-models#llm#llms#machine-learning#math-reasoning
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram