AIJavaScript★ 357⑂ 44 форковMIT
jasonacox/TinyLLM
ЗАПУСТИ LLM ЛОКАЛЬНО НА ЛЮБОМ ЖЕЛЕЗЕ
TinyLLM позволяет развернуть локальный LLM и чат-бота на обычном железе. Проект на JavaScript использует llama-cpp-python для инференса без GPU. 352 звезды на GitHub.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Работает на CPU без видеокарты через llama-cpp-python
- Совместим с OpenAI API для легкой миграции
- Готовый чат-интерфейс из коробки
- Установка одной командой через npm
#artificial-intelligence#chatbot#large-language-models#llama-cpp-python#llm#openai#rag#retrieval-augmented-generation#vllm
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram