R_REDDYX.XYZ
AIJavaScript★ 357⑂ 44 форковMIT

jasonacox/TinyLLM

ЗАПУСТИ LLM ЛОКАЛЬНО НА ЛЮБОМ ЖЕЛЕЗЕ

TinyLLM позволяет развернуть локальный LLM и чат-бота на обычном железе. Проект на JavaScript использует llama-cpp-python для инференса без GPU. 352 звезды на GitHub.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Работает на CPU без видеокарты через llama-cpp-python
  • Совместим с OpenAI API для легкой миграции
  • Готовый чат-интерфейс из коробки
  • Установка одной командой через npm
#artificial-intelligence#chatbot#large-language-models#llama-cpp-python#llm#openai#rag#retrieval-augmented-generation#vllm
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

CLAWMETRY - ВИДЬ МЫСЛИ АГЕНТА★ 357TESTDRIVERAI - АВТОМАТИЗАЦИЯ E2E ТЕСТОВ★ 357COLPALI-COOKBOOKS — ПРИГОТОВЛЯЕМ MULTIMODAL RAG★ 357OAuth-фреймворк для AI★ 357Студия LoRA датасетов★ 357КОМПЛЕКСНЫЙ ПОРТФЕЛЬ ДАТА САЙЕНС★ 357

← ВЕСЬ КАТАЛОГ

jasonacox/TinyLLM — Запусти LLM локально на любом железе