On Device AI: open-source проекты на GitHub
37 репозиториев по теме On Device AI, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Набор SDK для локального ИИ
Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.
★ 10,350 · C++GENIEX: LLMs НА УСТРОЙСТВАХ
Запускайте передовые мультимодальные модели на GPU, NPU и CPU — от ПК до мобильных и IoT устройств.
★ 8,530 · RustNEXA-SDK AI ВЕЗДЕ И ВСЕГДА
Запускай передовые LLMs и VLMs на GPU, NPU и CPU — от ПК до мобильных и IoT устройств. Поддержка моделей GPT-OSS, Granite-4, Qwen-3-VL и др.
★ 8,094 · RustTURBO-FIELDFARE - GEMMA 4 НА МАКБУКЕ
Запускайте Gemma 4 26B‑A4B на любом MacBook с чипом M‑series, используя менее 2 ГБ ОЗУ. Быстро и без лишних ресурсов.
★ 7,391 · SwiftAI РАМКА ДЛЯ УСТРОЙСТВ
Этот проект предлагает low-bit quant kernels и runtime для consumer устройств. Поддержка Android, ARM и edge-ai фреймворков.
★ 6,192 · C++Эффективный ИИ для мобильных устройств
Движок искусственного интеллекта с минимальной задержкой для смартфонов и носимых устройств.
★ 4,949 · CЛокальный Claude Code
Запускайте Claude Code полностью на устройстве с Apple Silicon, используя MLX‑нативный сервер, совместимый с Anthropic API. Поддерживает локальные модели Qwen 3.5 122B, L
★ 2,578 · PythonMano-P: GUI-агент для edge
Открытый GUI-VLA агент для edge-устройств. №1 на OSWorld (58.2%). Работает локально на Mac mini/MacBook — данные не покидают устройство.
★ 2,031Парлор AI на устройстве
Парлор — открытый проект, позволяющий вести естественные голосовые и визуальные диалоги с ИИ, работающим полностью локально на вашем устройстве. Он построен на моделях Ge
★ 1,752 · HTMLRUN LLM ЛОКАЛЬНО С NOBODYWHO
NobodyWho позволяет запускать LLM локально на любом устройстве благодаря эффективному инференс‑движку на Rust.
★ 1,677 · RustLOCAL AI ДЛЯ MAC БЕЗ ИНТЕРНЕТА
Nativ запускает открытые LLM локально на Apple Silicon. Никакие данные не покидают ваш Mac. Работает на MLX и Swift.
★ 1,591 · SwiftГОЛОСОВОЙ АССИСТЕНТ ДЛЯ MAC
Wally позволяет голосом управлять Mac и искать в локальных документах без выхода в интернет. Работает на Apple Silicon, использует оффлайн LLM через llama.cpp и RAG‑поиск
★ 1,571 · C++RCLI — Голосовой ИИ
Голосовой ИИ с RAG без облака: общайтесь с Mac и запрашивайте документы локально.
★ 1,507 · C++ЗАПУСКАЙ LLM ЛОКАЛЬНО В REACT NATIVE
Запускайте большие языковые модели прямо на устройстве без интернета. Полная совместимость с Vercel AI SDK для привычного API.
★ 1,438 · TypeScriptPHONECLAW: ИИ‑АГЕНТ НА УСТРОЙСТВЕ
On‑device AI-агент для смартфонов, работающий на Gemma 4, обеспечивает быстрый доступ к интеллектуальным функциям без облака.
★ 1,291 · SwiftФРЕЙМВОРК ФОНДОВЫХ МОДЕЛЕЙ
Практическая лаборатория для создания и тестирования приложений на Apple Foundation Models.
★ 1,192 · SwiftFRAMEWORK FINE-TUNING ДЛЯ iOS 26
Примеры приложений для Foundation Models Framework в iOS 26 и macOS 26 — разбираем тонкую настройку LLM прямо на девайсе.
★ 1,060 · SwiftSiliconScope — Мониторинг Apple Silicon
Нативный монитор системы Apple Silicon на SwiftUI без sudo: отслеживание ANE, Media Engine и пропускной способности памяти.
★ 1,024 · SwiftJEVOS: БИНАРНЫЕ РЕШЕНИЯ НА НОУТБУКЕ
Jevos — открытая альтернатива Jev для решений да/нет. Работает полностью локально на CPU через FastAPI. Данные не покидают устройство.
★ 963 · PythonПОКЕКЛОУ AI НА АНКДРОИД
PokeClaw — первое локальное AI‑агенты для управления Android без облака и API‑ключей, построенное на Gemma 4. Управляй телефоном голосом и жестами прямо на устройстве.
★ 872 · KotlinBIGMOEONEDGE - СУПЕР МОЭ НА ТЕЛЕФОНЕ
Проект позволяет запускать модели Mixture‑of‑Experts размером 284 B на устройстве с 12 ГБ ОЗУ, используя только CPU и llama.cpp без потери точности.
★ 855 · C++WAX: ОДНОФАЙЛОВАЯ ПАМЯТЬ AI
Wax — однофайловая память для AI-агентов с суб-миллисекундным RAG на Apple Silicon, полностью на Swift и оптимизированная под Metal.
★ 810 · SwiftSWIFTLM: SWIFT ДЛЯ LLM НА APPLE
Native inference сервер LLM на Swift с MLX, совместимый с OpenAI API, потоковая передача SSD для MoE >100B и сжатие KV‑кеша TurboQuant.
★ 799 · SwiftSENTIENT OS: ТВОЙ ИИ ПОМОЩНИК
Локальная LLM на Swift анализирует ваши данные и самостоятельно предлагает выполнять задачи за вас.
★ 750 · SwiftFLUTTER EDGE AI: ПРЯМО НА УСТРОЙСТВЕ
On-device AI для Flutter: Gemma и другие LLM, мультимодальность, вызов функций, эмбеддинги, RAG и речь. Поддерживается Android, iOS, Web, macOS, Windows и Linux.
★ 663 · JavaScriptOLLITERT LLM СЕРВЕР ANDROID
OlliteRT превращает Android‑смартфон в локальный OpenAI‑совместимый LLM‑сервер. Работает полностью офлайн, гарантируя конфиденциальность и открытый код на Kotlin.
★ 633 · KotlinXYBRID: AI НА УСТРОЙСТВЕ
xybrid — framework для создания приложений с on‑device AI на Rust.
★ 524 · RustZERAIX: ЛОКАЛЬНЫЙ AI РАБОЧИЙ СТОЛ
Локальное open-source окружение для запуска ИИ-моделей на устройстве. Ускоряет inference без облака.
★ 405 · TypeScriptCOTABBY AI АВТОКОМПЛИТ МАК
Локальный ИИ-аутокомплемент для всего Mac — работает оффлайн, везде где печатаешь, открытый исходник на Swift.
★ 395 · SwiftLOCALMIND: ОФЛАЙН ЧАТ С LLM
Localmind — мобильное приложение на Dart/Flutter для работы с локальными LLM и серверами ИИ без утечки данных. Обеспечивает быстрый чат, поддержку моделей Gemma и совмест
★ 326 · DartОФФЛАЙН LLM НА АНДРОИД: ПОЛНАЯ ПРИВАТНОСТЬ
OfflineLLM запускает любые GGUF-модели локально через llama.cpp с ARM-оптимизацией. Никаких сетевых разрешений: настройки зашифрованы, есть биометрическая блокировка и за
★ 291 · KotlinРАСШИРЕНИЕ БРАУЗЕРА ДЛЯ ЛОКАЛЬНОГО ПЕРЕВОДА
Расширение для Chrome и Firefox, переводящее страницы, PDF, субтитры и вводимый текст локально через модель PLaMo. Работает без сервера, аккаунтов и телеметрии.
★ 253 · TypeScriptЛокальное AI ролевое приложение
Open Dungeon позволяет генерировать рассказы и inline‑изображения полностью на вашем компьютере, используя Gemma 4 QAT через Ollama (и другие) + FLUX, без учётных записей
★ 241 · TypeScriptON-DEVICE AI SDK KOTLIN
Llamatik — on-device AI SDK для Kotlin Multiplatform (Android, iOS, Desktop, JVM, WASM). Поддерживает LLM inference, Speech-to-Text, генерацию изображений, Agent Framewor
★ 220 · KotlinКОМПАКТНЫЙ TTS С КЛОНИРОВАНИЕМ ГОЛОСА
Многоязыковая модель текста в речь с zero-shot клонированием голоса. Запускается локально на GPU, CPU, Apple Silicon и в браузере через WebGPU.
★ 219 · PythonLabLLM на macOS
LabLLM – это нативное приложение для macOS, где вы можете собрать архитектуру tiny language model, обучить её веса и увидеть, как модель возникает с нуля на Apple Silicon
★ 39 · SwiftNEEDLE - МОДЕЛЬ 26M НА НАНОУСТРОЙСТВАХ
Небольшая модель функций вызовов 26M, работающая на устройствах с ограниченными ресурсами.
★ 11 · PythonНовые проекты по теме — в Telegram
Telegram →