AIPython★ 857
datawhalechina/zero-to-sglang
ZERO-TO-SGLANG: ОБУЧЕНИЕ LLM ИНФЕРЕНСУ
Курс от Datawhale и SGLang教你 с нуля понять инференс LLM, собрать мини‑версию SGLang и изучить исходный код, чтобы оформить первый PR. Доступно на английском и китайском.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Пошагово объясняет принципы инференса LLM и работу KV‑кеша.
- Обучает собирать мини‑версию SGLang с нуля на Python и CUDA.
- Проводит код‑ревью реального SGLang: структура, оптимизации, API.
- Помогает оформить первый pull‑request в открытый проект SGLang.
#cuda#datawhale#inference-engine#infra#kv-cache#llm#llm-inference#sglang#tutorial
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram