Multimodal: open-source проекты на GitHub
144 репозиториев по теме Multimodal, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
AI-продуктивность на устройстве
Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.
★ 59,922 · JavaScriptГлубокое понимание AI Agent
Открытый репозиторий книги «Глубокое понимание AI Agent»: полный текст, скомпилированный PDF и код к каждому разделу.
★ 58,104 · PythonМультимодальный AI‑стек
Открытый мультимодальный стек ИИ‑агента, объединяющий передовые модели и инфраструктуру для создания автономных агентов.
★ 33,596 · TypeScriptUNILM МОЩНАЯ ПРЕДОБУЧЕННАЯ МОДЕЛЬ
UniLM — это масштабная самонаблюдаемая предобученная модель, охватывающая задачи, языки и модальности. Она поддерживает BEiT, BEiT-3, BitNet, DeepNet и Document AI, напис
★ 22,242 · Pythonscreenpipe: Запись и поиск
Локальное приватное приложение, которое круглосуточно записывает всё, что вы видите, говорите и слышите, и даёт ИИ возможность жить ваш жизненным опытом.
★ 18,711 · Rustms-swift: обучение LLM
Фреймворк для тонкой настройки 600+ языковых и 300+ мультимодальных моделей. Поддержка PEFT, полная донастройка, CPT/SFT/DPO/GRPO.
★ 14,178 · PythonPixelRAG: Поиск по пикселям
PixelRAG заменяет традиционный веб‑парсинг на поиск непосредственно в пиксельном представлении страниц, обеспечивая масштабируемый и точный извлекатель данных.
★ 10,946 · PythonRerun: мультимодальные данные
Визуализация, запросы и потоковая передача мультимодальных робототехнических данных для обучения ИИ.
★ 10,824 · RustНабор SDK для локального ИИ
Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.
★ 10,350 · C++ВИДЕО ПО КОДУ: РЕВЕРС ИНЖЕРИНГ
Reverse engineering для любых видео. Агентский видеогенератор: создавай, редактируй и рендери локально через HTML, поддерживая изображения, видео, музыку и голос.
★ 9,939 · TypeScriptPYOD — ДЕТЕКТОР АНОМАЛИЙ В AI
Библиотека pyod предлагает 60+ детекторов аномалий для таблиц, временных рядов, графов, текста и изображений с оркестрацией ADEngine.
★ 9,867 · PythonMOBILEAGENT МОЩНОЙ GUI АГЕНТ
Проект MobileAgent предлагает семейство мощных GUI‑агентов на Python для автоматизации взаимодействия с интерфейсами.
★ 9,379 · PythonSEATUNNEL — ИНТЕГРАЦИЯ ДАННЫХ КАК NVIDIA NIMS
Мультимодальный распределённый инструмент для массовой интеграции данных с высокой производительностью на Java.
★ 9,359 · JavaBENTOML ПРОСТОЙ ПУТЬ К AI API
Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.
★ 8,663 · PythonMLX-AUDIO: РЕЧЬ НА APPLE SILICON
mlx-audio — библиотека для TTS, STT и STS на фреймворке MLX от Apple. Работает эффективно на Apple Silicon. 8192 звёзд на GitHub.
★ 8,267 · PythonBlaizzy/mlx-audio
A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.
★ 7,115 · PythonДИГАП ПОИСК ПО СОДЕРЖИМОМУ ФАЙЛОВ
DigUp индексирует ваши локальные файлы — фото, PDF, видео, аудио и код — и позволяет находить их по смыслу запроса. Поиск выполняется на устройстве с помощью модели Embed
★ 6,418 · SwiftVLM-R1: УМНОЕ РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ
Проект демонстрирует, как обучение с подкреплением улучшает понимание изображений мультимедийными моделями.
★ 6,046 · PythonGenkit AI: Фреймворк для ИИ на разных языках
Открытый фреймворк для создания приложений с ИИ на JavaScript, Go и Python. Разработан и применяется в Google.
★ 5,985 · TypeScriptММФ: МОДУЛЬНЫЙ ФРЕЙМВОРК МУЛЬТИМОДАЛЬНОСТИ
Модульный фреймворк от FAIR для исследований зрения и языка, объединяющий гибкость Python и мощь мультимодальных моделей.
★ 5,633 · PythonUltraRAG: фреймворк RAG-пайплайнов
Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.
★ 5,549 · PythonDAFT — ДВИЖОК ДАННЫХ ДЛЯ AI
Высокопроизводительный движок для AI и мультимодальных задач. Обрабатывайте изображения, аудио, видео и структурированные данные любого масштаба. На Rust ⭐5533
★ 5,533 · RustXTUNER: ТРЕНЕР ДЛЯ БОЛЬШИХ MoE
A Next-Generation Training Engine Built for Ultra-Large MoE Models. ⭐ 5138 звёзд на GitHub!
★ 5,138 · Pythonvllm-omni
Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.
★ 4,863 · PythonTREE OF THOUGHTS: УМНЫЙ ПОИСК РЕШЕНИЙ
Реализация Tree of Thoughts для LLM: модель строит дерево рассуждений, оценивает ветви и выбирает лучший путь. Повышает качество решений на 70%+ без дообучения.
★ 4,592 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonПАМЯТЬ ДЛЯ AI-АГЕНТОВ
SimpleMem — эффективная долгосрочная память для LLM-агентов с поддержкой текста и мультимодальных данных.
★ 3,878 · PythonMORPHIK-CORE: ТОЧНЫЙ ПОИСК ДЛЯ AI
morphik-core — точный поиск и хранение документов для AI-приложений. 3614 ⭐ на GitHub.
★ 3,721 · PythonMTEB - БЕНЧМАРК ДЛЯ ВЛОЖЕНИЙ ТЕКСТОВ
Масштабный бенчмарк для оценки качества text embeddings. 800+ задач на 50+ языках.
★ 3,287 · PythonVORTEX — САМЫЙ СТРУКТНЫЙ ФОРМАТ ДАННЫХ
Vortex — расширяемый фреймворк для колоночного сжатия данных и самый быстрый открытый колоночный форматфайл. Главный инструмент для аналитики нового поколения от LFAI&Dat
★ 2,966 · RustOSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ
OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.
★ 2,911 · PythonAUTODISTILL: БЕЗ РАЗМЕТКИ ОБУЧЕНИЕ
Автоматически превращает сырые изображения в готовые модели инференса, используя фундаментальные модели для генерации псевдо‑меток и обучения сверvised моделей. Никакой р
★ 2,798 · PythonDATACHAIN - ДАННЫЕ С AI
Типизированные версионированные датасеты для неструктурированных данных поверх S3, GCS и Azure. Отличный инструмент для работы с AI информацией.
★ 2,748 · PythonMAESTRO - Упрощаем тонкую настройку моделей
Проект упрощает fine‑tuning мультимодальных моделей PaliGemma 2, Florence‑2 и Qwen2.5‑VL, экономя время и ресурсы разработчиков.
★ 2,696 · PythonTanStack AI SDK
🤖 Типобезопасный AI SDK для TypeScript с поддержкой потоковый чат, вызовы инструментов, агенты и мультимодальные приложения через OpenAI, Anthropic, Gemini, React, Vue,
★ 2,684 · TypeScriptГЕНЕРАТИВНЫЙ ИИ ROADMAP ПРОЕКТЫ
Коллекция ресурсов по генеративному ИИ: дорожная карта, проекты, подготовка к интервью и кодингу.
★ 2,670 · Jupyter NotebookОМАГЕНТ: МУЛЬТИМОДАЛЬНЫЙ AGENT
OmAgent — фреймворк для мультимодальных агентов на Gemini, GPT-4 и др. LLM. Позволяет быстро прототипировать и деплоить через Gradio, поддерживает RAG и шаблоны чат-ботов
★ 2,670 · PythonAWESOME MODEL QUANTIZATION RESOURCES
Кураторский список статей, бенчмарков, опросов и инструментов по квантованию нейросетей. Охватывает низкобитовые сети, LLMs, мультимодальные и генеративные модели, вектор
★ 2,469ОБЗОР ГЕНЕРАЦИИ ИЗОБРАЖЕНИЙ
Масштабный обзор методов генерации изображений по тексту: архитектуры, модели и подходы — всё собрано в одном репозитории.
★ 2,446claude-real-video - СМОТРИ ВИДЕО С КЛОДОМ
Позволяет любой LLM «смотреть» видео: извлекает ключевые кадры и транскрипт, работает локально.
★ 2,319 · PythonINTERNVIDEO ВИДЕО ФОНДАЦИЯ МОДЕЛЕЙ
Проект InternVideo предлагает открытые видео-фoundation модели и датасет для multimodal понимания, представленный на ECCV2024.
★ 2,281 · PythonПАРАЛЛЕЛЬНАЯ ОБРАБОТКА КОНТЕНТА НА PYTHON
Лёгкая библиотека для эффективной параллельной обработки контента с помощью GenAI. 2110 звёзд на GitHub!
★ 2,123 · PythonQWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД
Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.
★ 1,983 · PythonBITNET: 1‑БИТНЫЙ ТРАНСФОРМЕР
Реализация BitNet: 1‑битные трансформеры для LLM на PyTorch. Открытый код для быстрых экспериментов.
★ 1,949 · PythonДизайнер данных NVIDIA
NeMo Data Designer: генерация высококачественных синтетических данных с нуля или на основе seed-данных. Идеально для обучения и тонкой настройки моделей.
★ 1,877 · PythonDETIKZIFY РИСУЕТ LATEX-СХЕМЫ МГНОВЕННО
DeTikZify превращает словесные описания или ручные эскизы в готовый TikZ‑код для LaTeX. Проект использует модели из HuggingFace и Llama для обратного генерирования график
★ 1,831 · PythonWeMM-Embedding от Tencent
Семейство универсальных мультимодальных эмбеддинг-моделей от команды WeChat Vision, поддерживающее понимание и поиск по разным модальностям.
★ 1,818 · PythonSGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ
SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.
★ 1,791 · PythonMAGE: ИИ-АГЕНТ ДЛЯ УПРАВЛЕНИЯ ПК
Microsoft выпустил Mage — агента для управления GUI через flow matching. Модель редактирует изображения и выполняет задачи на компьютере без дообучения.
★ 1,782 · PythonПарлор AI на устройстве
Парлор — открытый проект, позволяющий вести естественные голосовые и визуальные диалоги с ИИ, работающим полностью локально на вашем устройстве. Он построен на моделях Ge
★ 1,752 · HTMLPIXELTABLE — ДЕКЛАРАТИВНЫЙ БЕКЕНД ИИ
Pixeltable — декларативный и инкрементальный бекенд для мультимодальных AI‑приложений, упрощающий работу с данными и моделями.
★ 1,569 · PythonОВИС: СИНХРОНИЗАЦИЯ ВИЗУАЛЬНЫХ И ТЕКСТОВ
Модернная архитектура MLLM для структурного выравнивания визуальных и текстовых эмбеддингов.
★ 1,539 · PythonБЫСТРЫЙ МУЛЬТИМОДАЛЬНЫЙ LLM НА МОБИЛЕ
Библиотека на C++ обеспечивает запуск мультимодальных LLM прямо на смартфонах с высокой скоростью и низким энергопотреблением.
★ 1,533 · C++ВИЗУАЛЬНЫЙ ИНТЕЛЛЕКТ ДЛЯ ДОМА
ha-llmvision brings visual intelligence to your home, enabling real‑time object, face and activity recognition for smarter automation.
★ 1,531 · PythonTHEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО
ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г
★ 1,530 · PythonXTREME1 — ПЛАТФОРМА МУЛЬТИМОДАЛЬНОЙ РАЗМЕТКИ
Xtreme1 — платформа для разметки 3D‑LiDAR, изображений и данных LLM. Поддерживает совместную работу, AI‑подсказки и экспорт в COCO, KITTI, Hugging Face.
★ 1,393 · TypeScriptВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ
Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.
★ 1,368 · MarkdownAIRUNNER ОФЛАЙН ИИ ДЛЯ ВСЕХ
Offline inference engine для искусств, реального времени голосовых диалогов, LLM‑чатботов и автоматизированных workflows.
★ 1,315 · Pythondsh-vision-router - ЗРЕНИЕ ДЛЯ AГЕНТОВ
Бесплатный цепочка зрения для агентов DeepSeek Harness: Q&A, grounding, OCR и др. Один‑командный установ, без Python, работа с изображениями как обычный инструмент.
★ 1,274 · JavaScriptВизуальный набор для LLM
Библиотека для текстовых моделей, позволяющая «смотреть» изображения: распознавать содержание, отвечать на вопросы, восстанавливать UI, автоматизировать GUI и интегрирова
★ 1,262 · PythonНовые проекты по теме — в Telegram
Telegram →