AIJupyter Notebook★ 53
walkinglabs/modern-llm-notebook
Курс по LLM с нуля
Практический курс на 23 Jupyter‑ноутбуках, где вы создаёте токенизаторы, attention, MoE, RLHF, инференс, оценку и дистилляцию современных LLM на PyTorch.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Реализуйте BPE и WordPiece токенизаторы с нуля в PyTorch
- Соберите multi‑head attention и transformer блоки, обучите их на данных
- Постройте mixture‑of‑experts модель и примените RLHF для выравнивания
- Запустите инференс, оцените метрики и выполните дистилляцию больших моделей
#ai#attention#finetune#gpt#large-language-models#llm#notebook#pretrain#transformer#tutorial
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram