R_REDDYX.XYZ
AITypeScript★ 2,205⑂ 230 форковMIT

withcatai/node-llama-cpp

ЗАПУСКАЙ LLM ЛОКАЛЬНО В NODE.JS

Запускайте AI-модели прямо на своём компьютере через node.js. Принудительная валидация JSON-схемы прямо на уровне генерации.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Локальный запуск моделей без серверов
  • JSON-схема на уровне генерации
  • TypeScript-биндинги для llama.cpp
#ai#bindings#catai#cmake#cmake-js#cuda#embedding#function-calling#gguf#gpu#grammar#json-schema
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

Сжатие токенов LLM★ 2206MCP-GSC - SEO ИНСАЙТЫ С КЛОД ИИ★ 2207Анализ системных данных macOS★ 2208OHMYGAME — ИГРОВАЯ СТУДИЯ ИИ★ 2214МЕММИ-АГЕНТ ОБЩАЯ ПАМЯТЬ ИИ★ 2217YOVOICE ЛОКАЛЬНАЯ AI-СТУДИЯ★ 2193

← ВЕСЬ КАТАЛОГ

withcatai/node-llama-cpp — Запускай LLM локально в Node.JS