AIJupyter Notebook★ 21,491
lyogavin/airllm
AIRLLM: 70B МОДЕЛЬ НА 4GB GPU
Запуск огромных LLM на слабом железе. AirLLM позволяет инференс 70B моделей всего на одной 4GB видеокарте.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- 70B модель на 4GB GPU
- Оптимизация памяти для инференса
- Работа на слабом оборудовании
#chinese-llm#chinese-nlp#finetune#generative-ai#instruct-gpt#instruction-set#llama#llm#lora#open-models#open-source#open-source-models
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram