R_REDDYX.XYZ
AIPython★ 1,585⑂ 16 форковApache-2.0

RunanywhereAI/trnrt

LLM inference для AWS Trainium

Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Инференс LLM на AWS Trainium через NKI
  • Контекст до 1 млн токенов
  • OpenAI-совместимый API
  • Написан на Python, открытый код
#aws#glm#inference#llm#llm-serving#megakernels#neuron#nki#openai-api#trainium
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

UZU: МОЩНЫЙ ДВИЖОК ДЛЯ AI-МОДЕЛЕЙ★ 1586AGENTLY: УПРОЩЕНИЕ GEN-AI РАЗРАБОТКИ★ 1584AGMSG - КРОСС-ВЕНДОРНЫЙ МЕССЕНДЖЕР ДЛЯ CLI-АГЕНТОВ★ 1586UCCL: GPU СВЯЗЬ НА МАКСИМУМЕ★ 1586OPENSERP — ИИ СЕРЧ API САМОХОСТИНГ★ 1584AI-DEV-KIT ДЛЯ CODING AGENTS★ 1583

← ВЕСЬ КАТАЛОГ

RunanywhereAI/trnrt — LLM inference для AWS Trainium