AIPython★ 1,585⑂ 16 форковApache-2.0
RunanywhereAI/trnrt
LLM inference для AWS Trainium
Открытый движок инференса LLM для AWS Trainium с NKI-мегаядрами, поддержкой 1M токенов контекста и OpenAI-совместимым API.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Инференс LLM на AWS Trainium через NKI
- Контекст до 1 млн токенов
- OpenAI-совместимый API
- Написан на Python, открытый код
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram