R_REDDYX.XYZ
AIC++★ 380⑂ 44 форковMIT

JakeATX/llamAmpere

LLAMAMPERE: УСКОРЕНИЕ LLM НА RTX 3090

Форк llama.cpp с оптимизацией под Ampere GPU. Даёт 110+ токенов/с на Qwen 3.8 при 100K контексте. Работает на 12 ГБ VRAM с 200K+ контекстом.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • 110+ токенов/с на Qwen 3.8 при 100K контексте
  • Полная поддержка 262K контекста на RTX 3090/3090 Ti
  • Квантизация KV-кеша для работы на 12 ГБ VRAM
  • Форк llama.cpp с CUDA-оптимизациями под Ampere
#ampere#consumer-gpu#cuda#ggml#gguf#kv-cache-quantization#llama-cpp#llm#llm-inference#local-llm#long-context#mtp
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Минимальный фреймворк для world models★ 380ТОКЛЕСС БЫСТРОЕ АГЕНТНОЕ КОДИРОВАНИЕ★ 380AI NPC В SKYRIM: ГОЛОС И ПАМЯТЬ★ 380🤖 FREE-AI - 16,000+ МОДЕЛЕЙ ИИ БЕЗ ОПЛАТЫ★ 379ВЕБ-ПАНЕЛЬ ДЛЯ AI-КОД-АССИСТЕНТОВ★ 381ВЕРА: ЯЗЫК ДЛЯ LLM★ 379

← ВЕСЬ КАТАЛОГ

JakeATX/llamAmpere — Llamampere: ускорение LLM на RTX 3090