R_REDDYX.XYZ
AIPython★ 320⑂ 26 форковApache-2.0

Picovoice/picollm

PICOLLM - ОФЛАЙН LLM НА УСТРОЙСТВЕ

picollm позволяет выполнять LLM на устройстве благодаря экстремальной k‑битной квантизации, обеспечивая быстрый и приватный вывод без облака.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • X‑битная квантизация снижает размер модели до 2‑бит
  • Запуск LLM на устройстве без интернета и GPU
  • Совместим с Python‑пакетами HuggingFace и Transformers
#compression#efficient-inference#gemma#generative-ai#language-model#language-models#large-language-model#llama#llama2#llama3#llm#llm-inference
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

AGENT TRADE KIT: OKX AI★ 320AI ЧАТ ДЛЯ GODOT С MCP★ 320DELPHIOPENAI – API ДЛЯ DELPHI★ 320MCP-SERVER УПРАВЛЕНИЕ BITWARDEN★ 320ГУАРДВАРК ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТАНЦИЯ★ 320WРИТ: УПРАВЛЕНИЕ АГЕНТОМ★ 320

← ВЕСЬ КАТАЛОГ

Picovoice/picollm — Picollm - офлайн LLM на устройстве