AIJupyter Notebook★ 2,960⑂ 286 форков
datawhalechina/diy-llm
DIY-LLM: ПОЛНЫЙ КУРС LLM С КОДОМ
Проект diy-llm предлагает шесть пошаговых Jupyter‑ноутбуков, охватывающих предобучение данных, токенизацию, Transformer, MoE, распределённое обучение, масштабирующие законы, вывод и выравнивание LLM. Каждое задание усложняется последовательно, давая возможность собрать полноценную LLM с нуля.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Создаёт и обучает собственный токенизатор на любом тексте.
- Реализует Transformer‑блоки с Mixture‑of‑Experts (MoE) слоями.
- Обучает модели на нескольких GPU через PyTorch Distributed и DeepSpeed.
- Оценивает scaling laws, выполняет инференс и выравнивание LLM через RLHF.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram