Multimodal: open-source проекты на GitHub
144 репозиториев по теме Multimodal, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
MULTIMODAL AI ДЛЯ КОНТЕНТА
UForm — компактный MULTIMODAL AI для понимания и генерации контента. Обрабатывает multilingual тексты, изображения и видео, работая в 5 раз быстрее OpenAI CLIP и LLaVA.
★ 1,253 · PythonPROXIMA: ОБЪЕДИНЯЙ AI С ИНСТРУМЕНТАМИ
Proxima — сервер MCP, который объединяет ChatGPT, Claude, Gemini и Perplexity с вашими инструментами разработки, работая без прямых API‑вызовов. Поддерживает JavaScript и
★ 1,210 · JavaScriptMOVA СКАЛИРУЕМОЕ ВИДЕО‑АУДИО
Проект MOVA генерирует синхронное видео и аудио, масштабируясь до больших наборов данных на Python.
★ 1,144 · PythonTONGFLOW: ВИЗУАЛЬНЫЙ AI-СТУДИЯ
Открытая платформа для создания мультимодальных AI-воркфлоу. Собирай пайплайны из моделей без кода.
★ 1,047 · TypeScriptОБЗОР MULTIMODAL CHAIN-OF-THOUGHT
Обзор мультиmodal Chain-of-Thought: анализ методов, данных и benchmark для LLM и VLM. Включает таксономию, оценку и рекомендации.
★ 1,029 · TeXVECTORDB-RECIPES: RAG И АГЕНТЫ НА ПРИМЕРАХ
Сборник ноутбуков с примерами RAG, мультимодального AI и агентов. Покрывает эмбеддинги, файн-тюнинг и векторный поиск. 986 звёзд на GitHub.
★ 989 · Jupyter NotebookNEO: ВИЗИОН-ЯЗЫКОВЫЕ МОДЕЛИ
Серия мультимодальных Vision-Language моделей, созданных с нуля. 839 звёзд на GitHub.
★ 926 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты
★ 918 · PythonANYGPT — ЕДИНЫЙ МУЛЬТИМОДАЛЬНЫЙ ЯЗЫКОВОЙ МОДЕЛЬ
AnyGPT — это универсальная мультимодальная модель, построенная на дискретном последовательном моделировании. Она генерирует изображения, музыку и речь из текста и понимае
★ 889 · PythonHALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM
Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin
★ 862 · PythonMOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО
Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо
★ 833 · PythonЛММС ДВИГАТЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНЫХ МОДЕЛЕЙ
lmms‑engine — лёгкий и гибкий фреймворк для обучения универсальных мультимодальных моделей на Python.
★ 783 · PythonDOC7: ПРЕОБРАЗОВАНИЕ ДОКУМЕНТОВ В MARKDOWN
Преобразуйте любые документы в чистый Markdown, сохраняя структуру и визуальные элементы, готовые для ИИ-моделей.
★ 718 · GoMOSS-AUDIO: МОДЕЛЬ ДЛЯ АНАЛИЗА ЗВУКА
MOSS-Audio — открытая модель на Python для генерации подписей к аудио, ответов на вопросы о звуке и рассуждений о речи, окружении и музыке. За 655 звёзд на GitHub она под
★ 709 · PythonMMRec: 10+ МОДЕЛЕЙ В ОДНОМ
Мощный инструмент для мультимодальных рекомендаций с поддержкой более 10 моделей. Идеально для исследователей и разработчиков рекомендательных систем.
★ 706 · PythonVLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ
Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.
★ 704 · PythonРЕЛАКС: АСИНХРОННЫЙ RL ДЛЯ МУЛЬТИМОДАЛЬНОЙ ОБУЧЕНИЕ
Relax — асинхронный движок reinforcement learning для масштабированного пост‑обучения агентов. Поддерживает распределённое обучение, мультиагентные сценарии и работу с ра
★ 676 · PythonАКТУАЛЬНЫЕ ПАПЕРЫ РАССУЖДЕНИЙ LLM
Сборник новейших статей и бенчмарков по рассуждению фундаментальных моделей. Позволяет быстро находить передовые исследования и сравнивать их производительность. Поддержи
★ 663Claude Video Vision
Плагин для Claude Code, позволяющий анализировать видео: извлечение ключевых кадров и мультимодальный анализ аудио.
★ 639 · TypeScriptMOTIS - МУЛЬТИМОДАЛЬНАЯ НАВИГАЦИЯ
Мотis предоставляет мультимодальную маршрутизацию, геокодинг и векторные тайлы карт на C++.
★ 627 · C++RAI: АГЕНТ ДЛЯ РОБОТОВ
RAI — фреймворк для физического ИИ‑робота на ROS 2 и Python, поддерживает голосовое взаимодействие, сценарии и логи.
★ 616 · PythonMMMU: МУЛЬТИМОДАЛЬНЫЙ БЕНЧМАРК
Оценка кода дляbenchmark MMMU, измеряющего мультидисциплинарное мультимодальное понимание и рассуждение для экспертного AGI.
★ 601 · Pythonwatch-skill - ВИДЕО ДЛЯ АГЕНТОВ ПОИСК И ПРОВЕРКА
Преобразуйте видео, стримы и записи экранов агентов в поисковый индекс с таймкодами, затем проверяйте и исправляйте работу через THE LOOP.
★ 582 · PythonPSI: ИИ-ПЛАТФОРМА ДЛЯ РЕАЛЬНОГО МИРА
psi — платформа для situated intelligence, объединяющая ИИ-агенты с реальным миром через C# и кроссплатформенные инструменты.
★ 577 · C#CLIP.CPP - МОЩНЫЙ ИНФЕРЕНС БЕЗ ЗАВИСИМОСТЕЙ
CLIP inference на чистом C/C++ без дополнительных зависимостей. Быстрая работа с изображениями и текстом в одном файле.
★ 573 · C++АМАДЕУС: ИИ-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА
Amadeus — это реального времени мультимедиа агент для рабочего стола, построенный на Python и использующий CUDA, Electron и GPT‑SoVITS. Проект движется к постоянному AI‑и
★ 554 · PythonSECOND BRAIN - ВАШ ЦИФРОВОЙ ОС
Агентный фреймворк, который автоматизирует задачи с помощью LLM и файловой интеллектуальности. 552 звезды, Python. Отличный DevTools для мультиплатформенной автоматизации
★ 552 · PythonСТОРИБОРД ВИДЕО В ОДНОМ ИЗОБРАЖЕНИИ
dsh-video-storyboard создаёт сценный сторיבורд для DeepSeek Harness: 9-16 ячеек с таймкодами, транскриптом и огибающей звука в одном изображении (384 токена). Два инструм
★ 542 · JavaScriptFLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ
Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент
★ 501 · PythonOPENVLHARNESS: ВИЗУАЛЬНЫЕ АГЕНТЫ С ПАМЯТЬЮ
OpenVLHarness — фреймворк для оценки и разработки визуальных агентов с мультимодальной памятью. Поддерживает реальные сценарии инструментов и сложные цепочки рассуждений.
★ 499 · PythonPYKALE — МОЩНЫЙ ИНСТРУМЕНТ ДЛЯ ML
Библиотека на базе PyTorch для междисциплинарных исследований с использованием знаний из множества источников.
★ 494 · PythonCHATTS LLM ДЛЯ ВРЕМЕННЫХ РЯДОВ
ChatTS — первая LLM, обучающаяся понимать и рассуждать о временных рядах, представленная на VLDB'25.
★ 490 · PythonTELEMEM - MEM0 УБИЙЦА УЖЕ ЗДЕСЬ
Высокопроизводительная замена Mem0 с семантической дедупликацией, долгосрочной памятью диалогов и мультимодальным видеоанализом.
★ 464 · PythonГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ ЧЕРЕЗ CLIP
CLI-инструмент и Python-модуль для генерации изображений из текста через guided diffusion и CLIP от OpenAI. Создавайте визуалы из командной строки или встраивайте в проек
★ 459 · PythonAI АГЕНТЫ НА AZURE И GPU
Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV
★ 451 · Jupyter NotebookLAMINDB: УПРАВЛЕНИЕ ДАННЫМИ AI
Открытая платформа для управления мульти-модальными данными AI: lineage‑нативное озеро данных, поддержка биологических форматов от создателей Scanpy.
★ 437 · PythonVMODAL SDK ДЛЯ РОБОТОТЕХНИКИ
vmodal_sdk_robotics — Python‑SDK для multimodal vision в робототехнике. Объединяет данные камер, LiDAR и IMU в единый поток. Поддерживает обучение моделей на синтетически
★ 434 · PythonОЛИМП ОБЕДИНЯЕТ ЗАДАЧИ CV
Официальный код Olympus — универсального роутера задач для CV, представленный на CVPR 2025. Маршрутизирует данные к лучшим моделям.
★ 427 · PythonАРХИВ ПРОРЫВОВ В АГЕНТАХ AI
Ключевые статьи по агентам, архитектуре, обучению, RAG и on‑device AI. Актуальные исследования в одном репозитории.
★ 426OSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ
OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.
★ 421 · PythonРАЗБЛОКИРУЙ МУЛЬТИМОДАЛЬНЫЙ ПОТЕНЦИАЛ
Официальный репозиторий ICLR 2026: Reconstruction Alignment улучшает универсальные мультимедийные модели через самонаблюдаемое обучение.
★ 419 · PythonImageIndexer: Автотегирование фото через LLM
Индексирует изображения, отправляет запросы в локальную LLM и автоматически добавляет теги в метаданные файлов.
★ 400 · PythonСИМУЛЯЦИЯ МИРА В ИИ
Масштабный обзор мультимодальных генеративных моделей для симуляции реального мира. 381 звезда, IEEE TPAMI 2026.
★ 397ANTFLY - МОЩНЫЙ ИНСТРУМЕНТ НА ZIG
antfly — проект на Zig с 376 звёздами на GitHub. Быстрый и эффективный инструмент для разработчиков.
★ 376 · ZigМУЛЬТИМОДАЛЬНЫЕ РЕКОМЕНДАЦИИ: ПОДБОРКА СТАТЕЙ
Сборник последних статей по мультимодальным рекомендациям, постоянно обновляемый. Для исследователей и практиков ИИ.
★ 370MIMIC-IV: МУЛЬТИМОДАЛЬНАЯ ЭКСТРАКЦИЯ ДАННЫХ
Настраиваемый пайплайн для извлечения мультимодальных данных из MIMIC-IV на Jupyter Notebook.
★ 366 · Jupyter NotebookOPENCLAW.NET: САМОРАЗВЕРТЫВАЕМЫЙ .NET ШЛЮЗ
Self-hosted gateway и агент рантайм на .NET с поддержкой NativeAOT для быстрого развертывания OpenClaw.
★ 360 · C#AWESOME МУЛЬТИМОДАЛЬНЫЕ ПАПЕРЫ
Подборка лучших работ по мультимодальному обучению: статьи, код и датасеты в одном репозитории.
★ 348LLMINTERNSKILL – РЕЗЮМЕ ПОД КЛЮЧ
Инструмент для полировки резюме, подбора вакансий, проверки доказательств и подготовки к интервью с помощью LLM.
★ 348 · MarkdownVERL-OMNI: ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ
Фреймворк для RL-обучения диффузионных и мультимодальных моделей. 347 звёзд на GitHub.
★ 347 · PythonAWESOME МУЛЬТИМОДАЛЬНОЕ МОДЕЛИРОВАНИЕ
Коллекция ресурсов по мультимодальному моделированию: MLLM, UMM, NMM, 336 ★.
★ 336МУЛЬТИМОДАЛЬНАЯ БИБЛИОТЕКА РЕКОМЕНДАЦИЙ
Библиотека предоставляет постоянно обновляемый набор моделей для мультимодальных рекомендаций на основе глубокого обучения. Поддерживает работу с изображениями, текстом и
★ 328 · PythonAUTOGLUON-ASSISTANT - МУЛЬТИАГЕНТ ДЛЯ МУЛЬТИМОДАЛЬНОГО МЛ
Система мультиагентов на базе LLM автоматизирует весь пайплайн мультимодального машинного обучения от данных до деплоя.
★ 313 · Pythonhflow: ПРОВЕРКА КАЧЕСТВА ДАННЫХ ДЛЯ AI
hflow — SDK на Python для команд робототехники. Проверяет качество данных перед обучением AI-моделей. Интеграция с Airflow и DuckDB.
★ 310 · PythonPY-IDP: AI ДЛЯ ОБРАБОТКИ ДОКУМЕНТОВ
py-idp — AI‑платформа для IDP на Python: 12+ LLM бэкендов, Pydantic‑схемы, OCR Nanonets‑OCR2‑3B, автосхема и HITL. Есть FastAPI‑сервер, лицензия AGPL‑3.0 + коммерческая,
★ 298 · PythonVIDEOGPT-ПЛЮС: ПРОДВИНУТОЕ ВИДЕО ПОНИМАНИЕ
Официальный репозиторий статьи VideoGPT+: объединяет image и video энкодеры для улучшенного понимания видеоконтента. Позволяет извлекать семантические признаки, генериров
★ 294 · PythonСИНТЕЗ ПОЧЕРКА С ВЕРИФИКАЦИЕЙ
VeriInk создаёт верифицируемый синтез почерка для улучшения моделей через обратную связь и исследований RSI. Включает сидовые примеры, проверку артефактов и аудируемую пе
★ 290 · PythonПРОМПТЫ ДЛЯ GPT-4V И DALL-E3
Awesome-Multimodal-Prompts — подобран коллекция из промпты для GPT-4V and DALL-E3 that unlock весь multimodal capabilities. Use them to improve образ распознавание with G
★ 288LYNNREAL-OMNI: ВИДЕО ЗА 4 ШАГА
LynnReal-Omni объединяет текст‑в‑видео, изображение‑в‑видео, управление позой человека и рук, структурный контроль, omni‑reference генерацию, стилевой трансфер, редактиро
★ 281 · PythonГЕОВИСТА ВЕБ-АУГМЕНТИРОВАННЫЙ ИИ ДЛЯ ГЕОЛОКАЦИИ
GeoVista — официальная реализация веб‑аугментированного агентного визуального рассуждения для геолокации. На Python объединяет мультимодальную LLM и веб‑поиск, позволяя м
★ 281 · PythonНовые проекты по теме — в Telegram
Telegram →