AIPython★ 4,092
ModelTC/LightLLM
LightLLM - БЫСТРЫЙ ИНФЕРЕНС LLM
Лёгкий и быстрый фреймворк для инференса и сервинга больших языковых моделей на Python. Простое масштабирование и высокая производительность.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Лёгкий и быстрый инференс LLM
- Простое масштабирование
- Высокая производительность
#deep-learning#gpt#llama#llm#model-serving#nlp#openai-triton
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram