R_REDDYX.XYZ
MultimodalC++★ 37,717⑂ 6,228 форковApache-2.0

google-ai-edge/mediapipe

КРОСС-ПЛАТФОРМЕННЫЙ ФРЕЙМВОРК ON-DEVICE ML

MediaPipe — фреймворк Google для запуска ML на устройстве. Поддерживает мобильные платформы, веб, десктоп и IoT без отправки данных в облако.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Готовые решения для аудио, зрения, текста и GenAI
  • MediaPipe Tasks — кроссплатформенные API для деплоя
  • MediaPipe Studio — визуализация и бенчмарки в браузере
  • Обработка данных локально, метрики уходят в Google

// РАЗБОР: КАК ЭТО РАБОТАЕТ

MediaPipe состоит из двух уровней: высокоуровневые Solutions (Tasks, Models, Studio) для быстрой интеграции и низкоуровневый Framework на C++ для построения кастомных пайплайнов через графы калькуляторов и пакетов данных. Solutions покрывают аудио, зрение, текст, принятие решений, генеративный ИИ и поиск, предоставляя предобученные модели и единые API для Android, iOS, Python и Web.

Ключевое отличие — строгая on-device обработка: входные данные (изображения, видео, текст) не покидают устройство, что критично для приватности. При этом фреймворк собирает анонимные метрики производительности и использования API для отправки в Google. Архитектура на графах позволяет комбинировать калькуляторы в эффективные конвейеры с минимальными накладными расходами.

Требуется настройка окружения под целевую платформу (Android, iOS, Python, Web). Для кастомизации выше Solutions нужно работать с C++ Framework и понимать концепции пакетов, графов и калькуляторов. Документация и демо перенесены на developers.google.com/edge/mediapipe.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Мобильным и веб-разработчикам для on-device ML

  • Добавить распознавание жестов в мобильное приложение без облака
  • Запустить семантический поиск на устройстве через EmbeddingGemma
  • Построить кастомный ML-пайплайн для трекинга позы в реальном времени
#android#audio-processing#c-plus-plus#calculator#computer-vision#deep-learning#framework#graph-based#graph-framework#inference#machine-learning#mediapipe
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ОТКРЫТАЯ СТУДИЯ ГЕНЕРАТИВНОГО ИИ★ 34782ПРОФЕССИОНАЛЬНЫЙ ИИ-ДВИЖОК ДЛЯ ВИЗУАЛЬНЫХ МЕДИА★ 29106ОТКРЫТОЕ ИИ РАБОЧЕЕ МЕСТО КРЕАТОРА★ 14387EMBEDDED ВЕКТОРНАЯ БД ДЛЯ МУЛЬТИМОДАЛЬНОГО AI★ 11947LTX-2: ДИТ-МОДЕЛЬ СИНХРОННОГО АУДИО И ВИДЕО★ 10312УДАЛЕНИЕ AI ВОДЯНЫХ ЗНАКОВ И МЕТАДАННЫХ★ 6403

← ВЕСЬ КАТАЛОГ

google-ai-edge/mediapipe — Кросс-платформенный фреймворк…