AIPython★ 313
Picovoice/picollm
PICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ
picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- X‑битная квантизация снижает размер модели до 2‑бит
- Запуск LLM на устройстве без интернета и GPU
- Совместим с Python‑пакетами HuggingFace и Transformers
#compression#efficient-inference#gemma#generative-ai#language-model#language-models#large-language-model#llama#llama2#llama3#llm#llm-inference
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram