R_REDDYX.XYZ
AIJavaScript★ 649⑂ 98 форковMIT

Nehanth/pooled

Пул устройств для LLM

Проект позволяет объединять вычислительные мощности браузеров пользователей для запуска больших открытых языковых моделей непосредственно в браузере, обеспечивая работу чат‑ботов и агентов программирования.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Запуск LLM напрямую в браузере без серверов.
  • Объединение устройств пользователей в P2P‑пул для распределённого вывода.
  • Поддержка чат‑интерфейса и агентов для написания кода.
  • Работа с открытыми моделями Llama, Mistral через WebGPU.
#browser#distributed-inference#inference#llm#local-llm#peer-to-peer#speculative-decoding#webgpu#webrtc#wgsl
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ANTIVIBE - УЧИСЬ КОДУ ОТ ИИ★ 648PROXMOXMCP-PLUS - УПРАВЛЯЙ PROXMOX С ИИ★ 650SHOW-ME-THE-STORY: ИИ РОМАН★ 648CASBIN-GATEWAY - ЗАЩИТА API С ИИ★ 650CCTEAM ОДИН АГЕНТ КОМАНДА★ 648ГОЛОСОВОЙ АГЕНТ ДЛЯ AI-АГЕНТОВ★ 648

← ВЕСЬ КАТАЛОГ

Nehanth/pooled — Пул устройств для LLM | REDDYX AI