AIRust★ 1,175⑂ 211 форковApache-2.0
chrishayuk/larql
RUST RUNTIME ДЛЯ ИНФЕРЕНСА И РЕДАКТИРОВАНИЯ LLM
larql — Runtime на Rust для запуска, сервирования и редактирования моделей. Формат VINDEX3 делает модели исполняемыми и инспектируемыми. 1173⭐ на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запускает и сервит LLM через CLI и HTTP API
- Редактирует веса модели без переобучения
- Формат VINDEX3: исполняемые, инспектируемые модели
- Поддержка Metal на macOS и Hugging Face Hub
#huggingface#inference#llm#mechanistic-interpretability#metal#model-editing#model-interpretability#openai-api#rust#vindex3
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram