AIC++★ 380⑂ 44 форковMIT
JakeATX/llamAmpere
LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090
Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- 110+ токенов/с на Qwen 3.8 при 100K контексте
- Полная поддержка 262K контекста на RTX 3090/3090 Ti
- Квантизация KV-кеша для работы на 12 ГБ VRAM
- Форк llama.cpp с CUDA-оптимизациями под Ampere
#ampere#consumer-gpu#cuda#ggml#gguf#kv-cache-quantization#llama-cpp#llm#llm-inference#local-llm#long-context#mtp
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram