AIJavaScript★ 649⑂ 98 форковMIT
Nehanth/pooled
Пул устройств для LLM
Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу чат‑ботов и агентов программирования.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Запуск LLM напрямую в браузере без серверов.
- Объединение устройств пользователей в P2P‑пул для распределённого вывода.
- Поддержка чат‑интерфейса и агентов для написания кода.
- Работа с открытыми моделями Llama, Mistral через WebGPU.
#browser#distributed-inference#inference#llm#local-llm#peer-to-peer#speculative-decoding#webgpu#webrtc#wgsl
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram