R_REDDYX.XYZ
AIJupyter Notebook★ 2,960⑂ 286 форков

datawhalechina/diy-llm

DIY-LLM: ПОЛНЫЙ КУРС LLM С КОДОМ

Проект diy-llm предлагает шесть пошаговых Jupyter‑ноутбуков, охватывающих предобучение данных, токенизацию, Transformer, MoE, распределённое обучение, масштабирующие законы, вывод и выравнивание LLM. Каждое задание усложняется последовательно, давая возможность собрать полноценную LLM с нуля.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Создаёт и обучает собственный токенизатор на любом тексте.
  • Реализует Transformer‑блоки с Mixture‑of‑Experts (MoE) слоями.
  • Обучает модели на нескольких GPU через PyTorch Distributed и DeepSpeed.
  • Оценивает scaling laws, выполняет инференс и выравнивание LLM через RLHF.
#datawhale#gpu-programming#grpo#llm#nlp#rl#sft#transformer
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

J-SPACE КОГНИТИВНЫЙ СУИТ★ 2958VORTEX — САМЫЙ СТРУКТНЫЙ ФОРМАТ ДАННЫХ★ 2966RunMaestro/Maestro★ 2953davepoon/buildwithclaude★ 2971AI АГЕНТЫ: ДЕФИНИТИВНЫЙ ГАЙД★ 2949ОТКРЫТОЕ УПРАВЛЕНИЕ КОМПЬЮТЕРОМ★ 2975

← ВЕСЬ КАТАЛОГ

datawhalechina/diy-llm — Diy-LLM: полный курс LLM с кодом