R_REDDYX.XYZ

Multimodal: open-source проекты на GitHub

144 репозиториев по теме Multimodal, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064VLM 50RAG 507Agent 540Vision Language Model 27MCP 1593AI Agents 1303Machine Learning 188Deep Learning 101Large Language Models 151Pytorch 91Vision 17Computer Vision 40Artificial Intelligence 157
unum-cloud/UForm

MULTIMODAL AI ДЛЯ КОНТЕНТА

UForm — компактный MULTIMODAL AI для понимания и генерации контента. Обрабатывает multilingual тексты, изображения и видео, работая в 5 раз быстрее OpenAI CLIP и LLaVA.

★ 1,253 · Python
Zen4-bit/Proxima

PROXIMA: ОБЪЕДИНЯЙ AI С ИНСТРУМЕНТАМИ

Proxima — сервер MCP, который объединяет ChatGPT, Claude, Gemini и Perplexity с вашими инструментами разработки, работая без прямых API‑вызовов. Поддерживает JavaScript и

★ 1,210 · JavaScript
OpenMOSS/MOVA

MOVA СКАЛИРУЕМОЕ ВИДЕО‑АУДИО

Проект MOVA генерирует синхронное видео и аудио, масштабируясь до больших наборов данных на Python.

★ 1,144 · Python
tong-io/tongflow

TONGFLOW: ВИЗУАЛЬНЫЙ AI-СТУДИЯ

Открытая платформа для создания мультимодальных AI-воркфлоу. Собирай пайплайны из моделей без кода.

★ 1,047 · TypeScript
yaotingwangofficial/Awesome-MCoT

ОБЗОР MULTIMODAL CHAIN-OF-THOUGHT

Обзор мультиmodal Chain-of-Thought: анализ методов, данных и benchmark для LLM и VLM. Включает таксономию, оценку и рекомендации.

★ 1,029 · TeX
lancedb/vectordb-recipes

VECTORDB-RECIPES: RAG И АГЕНТЫ НА ПРИМЕРАХ

Сборник ноутбуков с примерами RAG, мультимодального AI и агентов. Покрывает эмбеддинги, файн-тюнинг и векторный поиск. 986 звёзд на GitHub.

★ 989 · Jupyter Notebook
EvolvingLMMs-Lab/NEO

NEO: ВИЗИОН-ЯЗЫКОВЫЕ МОДЕЛИ

Серия мультимодальных Vision-Language моделей, созданных с нуля. 839 звёзд на GitHub.

★ 926 · Python
Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты

★ 918 · Python
OpenMOSS/AnyGPT

ANYGPT — ЕДИНЫЙ МУЛЬТИМОДАЛЬНЫЙ ЯЗЫКОВОЙ МОДЕЛЬ

AnyGPT — это универсальная мультимодальная модель, построенная на дискретном последовательном моделировании. Она генерирует изображения, музыку и речь из текста и понимае

★ 889 · Python
whitecircle/halo

HALO: ФРЕЙМВОРК ОБУЧЕНИЯ LLM

Halo — открытый фреймворк от White Circle для обучения больших языковых и мультимодальных моделей. Поддерживает агентное обучение, async-RL, распределённое обучение и fin

★ 862 · Python
OpenMOSS/MOSS-VL

MOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО

Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо

★ 833 · Python
EvolvingLMMs-Lab/lmms-engine

ЛММС ДВИГАТЕЛЬ ДЛЯ МУЛЬТИМОДАЛЬНЫХ МОДЕЛЕЙ

lmms‑engine — лёгкий и гибкий фреймворк для обучения универсальных мультимодальных моделей на Python.

★ 783 · Python
magicrew/doc7

DOC7: ПРЕОБРАЗОВАНИЕ ДОКУМЕНТОВ В MARKDOWN

Преобразуйте любые документы в чистый Markdown, сохраняя структуру и визуальные элементы, готовые для ИИ-моделей.

★ 718 · Go
OpenMOSS/MOSS-Audio

MOSS-AUDIO: МОДЕЛЬ ДЛЯ АНАЛИЗА ЗВУКА

MOSS-Audio — открытая модель на Python для генерации подписей к аудио, ответов на вопросы о звуке и рассуждений о речи, окружении и музыке. За 655 звёзд на GitHub она под

★ 709 · Python
enoche/MMRec

MMRec: 10+ МОДЕЛЕЙ В ОДНОМ

Мощный инструмент для мультимодальных рекомендаций с поддержкой более 10 моделей. Идеально для исследователей и разработчиков рекомендательных систем.

★ 706 · Python
TIGER-AI-Lab/VLM2Vec

VLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ

Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.

★ 704 · Python
redai-studio/Relax

РЕЛАКС: АСИНХРОННЫЙ RL ДЛЯ МУЛЬТИМОДАЛЬНОЙ ОБУЧЕНИЕ

Relax — асинхронный движок reinforcement learning для масштабированного пост‑обучения агентов. Поддерживает распределённое обучение, мультиагентные сценарии и работу с ра

★ 676 · Python
reasoning-survey/Awesome-Reasoning-Foundation-Models

АКТУАЛЬНЫЕ ПАПЕРЫ РАССУЖДЕНИЙ LLM

Сборник новейших статей и бенчмарков по рассуждению фундаментальных моделей. Позволяет быстро находить передовые исследования и сравнивать их производительность. Поддержи

★ 663
jordanrendric/claude-video-vision

Claude Video Vision

Плагин для Claude Code, позволяющий анализировать видео: извлечение ключевых кадров и мультимодальный анализ аудио.

★ 639 · TypeScript
motis-project/motis

MOTIS - МУЛЬТИМОДАЛЬНАЯ НАВИГАЦИЯ

Мотis предоставляет мультимодальную маршрутизацию, геокодинг и векторные тайлы карт на C++.

★ 627 · C++
RobotecAI/rai

RAI: АГЕНТ ДЛЯ РОБОТОВ

RAI — фреймворк для физического ИИ‑робота на ROS 2 и Python, поддерживает голосовое взаимодействие, сценарии и логи.

★ 616 · Python
MMMU-Benchmark/MMMU

MMMU: МУЛЬТИМОДАЛЬНЫЙ БЕНЧМАРК

Оценка кода дляbenchmark MMMU, измеряющего мультидисциплинарное мультимодальное понимание и рассуждение для экспертного AGI.

★ 601 · Python
oxbshw/watch-skill

watch-skill - ВИДЕО ДЛЯ АГЕНТОВ ПОИСК И ПРОВЕРКА

Преобразуйте видео, стримы и записи экранов агентов в поисковый индекс с таймкодами, затем проверяйте и исправляйте работу через THE LOOP.

★ 582 · Python
microsoft/psi

PSI: ИИ-ПЛАТФОРМА ДЛЯ РЕАЛЬНОГО МИРА

psi — платформа для situated intelligence, объединяющая ИИ-агенты с реальным миром через C# и кроссплатформенные инструменты.

★ 577 · C#
monatis/clip.cpp

CLIP.CPP - МОЩНЫЙ ИНФЕРЕНС БЕЗ ЗАВИСИМОСТЕЙ

CLIP inference на чистом C/C++ без дополнительных зависимостей. Быстрая работа с изображениями и текстом в одном файле.

★ 573 · C++
Code-Amadeus/Amadeus

АМАДЕУС: ИИ-АГЕНТ ДЛЯ РАБОЧЕГО СТОЛА

Amadeus — это реального времени мультимедиа агент для рабочего стола, построенный на Python и использующий CUDA, Electron и GPT‑SoVITS. Проект движется к постоянному AI‑и

★ 554 · Python
henrydaum/second-brain

SECOND BRAIN - ВАШ ЦИФРОВОЙ ОС

Агентный фреймворк, который автоматизирует задачи с помощью LLM и файловой интеллектуальности. 552 звезды, Python. Отличный DevTools для мультиплатформенной автоматизации

★ 552 · Python
SAOS-3624/dsh-video-storyboard

СТОРИБОРД ВИДЕО В ОДНОМ ИЗОБРАЖЕНИИ

dsh-video-storyboard создаёт сценный сторיבורд для DeepSeek Harness: 9-16 ячеек с таймкодами, транскриптом и огибающей звука в одном изображении (384 токена). Два инструм

★ 542 · JavaScript
OmniJev/Flide

FLIDE: МГНОВЕННЫЙ ИНФЕРЕНС РЕШЕНИЙ

Flide — движок вывода для моделей принятия решений с поддержкой CUDA. Обеспечивает детерминированный инференс Gemma и других моделей за микросекунды. Идеален для AI-агент

★ 501 · Python
uclanlp/OpenVLHarness

OPENVLHARNESS: ВИЗУАЛЬНЫЕ АГЕНТЫ С ПАМЯТЬЮ

OpenVLHarness — фреймворк для оценки и разработки визуальных агентов с мультимодальной памятью. Поддерживает реальные сценарии инструментов и сложные цепочки рассуждений.

★ 499 · Python
pykale/pykale

PYKALE — МОЩНЫЙ ИНСТРУМЕНТ ДЛЯ ML

Библиотека на базе PyTorch для междисциплинарных исследований с использованием знаний из множества источников.

★ 494 · Python
NetManAIOps/ChatTS

CHATTS LLM ДЛЯ ВРЕМЕННЫХ РЯДОВ

ChatTS — первая LLM, обучающаяся понимать и рассуждать о временных рядах, представленная на VLDB'25.

★ 490 · Python
TeleAI-UAGI/telemem

TELEMEM - MEM0 УБИЙЦА УЖЕ ЗДЕСЬ

Высокопроизводительная замена Mem0 с семантической дедупликацией, долгосрочной памятью диалогов и мультимодальным видеоанализом.

★ 464 · Python
afiaka87/clip-guided-diffusion

ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ ЧЕРЕЗ CLIP

CLI-инструмент и Python-модуль для генерации изображений из текста через guided diffusion и CLIP от OpenAI. Создавайте визуалы из командной строки или встраивайте в проек

★ 459 · Python
david-xinyuwei/david-share

AI АГЕНТЫ НА AZURE И GPU

Репозиторий с кодом, бенчмарками и гайдами по AI-агентам и Deep Learning. Развёртывание на Microsoft Foundry и Azure, фаин-тюнинг, оптимизация инференса и GPU-тесты на NV

★ 451 · Jupyter Notebook
laminlabs/lamindb

LAMINDB: УПРАВЛЕНИЕ ДАННЫМИ AI

Открытая платформа для управления мульти-модальными данными AI: lineage‑нативное озеро данных, поддержка биологических форматов от создателей Scanpy.

★ 437 · Python
v-modal/vmodal_sdk_robotics

VMODAL SDK ДЛЯ РОБОТОТЕХНИКИ

vmodal_sdk_robotics — Python‑SDK для multimodal vision в робототехнике. Объединяет данные камер, LiDAR и IMU в единый поток. Поддерживает обучение моделей на синтетически

★ 434 · Python
yuanze-lin/Olympus

ОЛИМП ОБЕДИНЯЕТ ЗАДАЧИ CV

Официальный код Olympus — универсального роутера задач для CV, представленный на CVPR 2025. Маршрутизирует данные к лучшим моделям.

★ 427 · Python
gyunggyung/AGI-Papers

АРХИВ ПРОРЫВОВ В АГЕНТАХ AI

Ключевые статьи по агентам, архитектуре, обучению, RAG и on‑device AI. Актуальные исследования в одном репозитории.

★ 426
xlang-ai/OSWorld-V2

OSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ

OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.

★ 421 · Python
HorizonWind2004/reconstruction-alignment

РАЗБЛОКИРУЙ МУЛЬТИМОДАЛЬНЫЙ ПОТЕНЦИАЛ

Официальный репозиторий ICLR 2026: Reconstruction Alignment улучшает универсальные мультимедийные модели через самонаблюдаемое обучение.

★ 419 · Python
jabberjabberjabber/ImageIndexer

ImageIndexer: Автотегирование фото через LLM

Индексирует изображения, отправляет запросы в локальную LLM и автоматически добавляет теги в метаданные файлов.

★ 400 · Python
ALEEEHU/World-Simulator

СИМУЛЯЦИЯ МИРА В ИИ

Масштабный обзор мультимодальных генеративных моделей для симуляции реального мира. 381 звезда, IEEE TPAMI 2026.

★ 397
antflydb/antfly

ANTFLY - МОЩНЫЙ ИНСТРУМЕНТ НА ZIG

antfly — проект на Zig с 376 звёздами на GitHub. Быстрый и эффективный инструмент для разработчиков.

★ 376 · Zig
Jinfeng-Xu/Awesome-Multimodal-Recommender-Systems

МУЛЬТИМОДАЛЬНЫЕ РЕКОМЕНДАЦИИ: ПОДБОРКА СТАТЕЙ

Сборник последних статей по мультимодальным рекомендациям, постоянно обновляемый. Для исследователей и практиков ИИ.

★ 370
healthylaife/MIMIC-IV-Data-Pipeline

MIMIC-IV: МУЛЬТИМОДАЛЬНАЯ ЭКСТРАКЦИЯ ДАННЫХ

Настраиваемый пайплайн для извлечения мультимодальных данных из MIMIC-IV на Jupyter Notebook.

★ 366 · Jupyter Notebook
clawdotnet/openclaw.net

OPENCLAW.NET: САМОРАЗВЕРТЫВАЕМЫЙ .NET ШЛЮЗ

Self-hosted gateway и агент рантайм на .NET с поддержкой NativeAOT для быстрого развертывания OpenClaw.

★ 360 · C#
friedrichor/Awesome-Multimodal-Papers

AWESOME МУЛЬТИМОДАЛЬНЫЕ ПАПЕРЫ

Подборка лучших работ по мультимодальному обучению: статьи, код и датасеты в одном репозитории.

★ 348
wanyichen06/LLMInternSkill

LLMINTERNSKILL – РЕЗЮМЕ ПОД КЛЮЧ

Инструмент для полировки резюме, подбора вакансий, проверки доказательств и подготовки к интервью с помощью LLM.

★ 348 · Markdown
verl-project/verl-omni

VERL-OMNI: ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ

Фреймворк для RL-обучения диффузионных и мультимодальных моделей. 347 звёзд на GitHub.

★ 347 · Python
OpenEnvision/Awesome-Multimodal-Modeling

AWESOME МУЛЬТИМОДАЛЬНОЕ МОДЕЛИРОВАНИЕ

Коллекция ресурсов по мультимодальному моделированию: MLLM, UMM, NMM, 336 ★.

★ 336
Jinfeng-Xu/Multimodal-Recommendation-Library

МУЛЬТИМОДАЛЬНАЯ БИБЛИОТЕКА РЕКОМЕНДАЦИЙ

Библиотека предоставляет постоянно обновляемый набор моделей для мультимодальных рекомендаций на основе глубокого обучения. Поддерживает работу с изображениями, текстом и

★ 328 · Python
autogluon/autogluon-assistant

AUTOGLUON-ASSISTANT - МУЛЬТИАГЕНТ ДЛЯ МУЛЬТИМОДАЛЬНОГО МЛ

Система мультиагентов на базе LLM автоматизирует весь пайплайн мультимодального машинного обучения от данных до деплоя.

★ 313 · Python
Hebbian-Robotics/hflow

hflow: ПРОВЕРКА КАЧЕСТВА ДАННЫХ ДЛЯ AI

hflow — SDK на Python для команд робототехники. Проверяет качество данных перед обучением AI-моделей. Интеграция с Airflow и DuckDB.

★ 310 · Python
rollroyces/py-idp

PY-IDP: AI ДЛЯ ОБРАБОТКИ ДОКУМЕНТОВ

py-idp — AI‑платформа для IDP на Python: 12+ LLM бэкендов, Pydantic‑схемы, OCR Nanonets‑OCR2‑3B, автосхема и HITL. Есть FastAPI‑сервер, лицензия AGPL‑3.0 + коммерческая,

★ 298 · Python
mbzuai-oryx/VideoGPT-plus

VIDEOGPT-ПЛЮС: ПРОДВИНУТОЕ ВИДЕО ПОНИМАНИЕ

Официальный репозиторий статьи VideoGPT+: объединяет image и video энкодеры для улучшенного понимания видеоконтента. Позволяет извлекать семантические признаки, генериров

★ 294 · Python
znxzsy/VeriInk

СИНТЕЗ ПОЧЕРКА С ВЕРИФИКАЦИЕЙ

VeriInk создаёт верифицируемый синтез почерка для улучшения моделей через обратную связь и исследований RSI. Включает сидовые примеры, проверку артефактов и аудируемую пе

★ 290 · Python
langgptai/Awesome-Multimodal-Prompts

ПРОМПТЫ ДЛЯ GPT-4V И DALL-E3

Awesome-Multimodal-Prompts — подобран коллекция из промпты для GPT-4V and DALL-E3 that unlock весь multimodal capabilities. Use them to improve образ распознавание with G

★ 288
LynnReal-AI/LynnReal-Omni

LYNNREAL-OMNI: ВИДЕО ЗА 4 ШАГА

LynnReal-Omni объединяет текст‑в‑видео, изображение‑в‑видео, управление позой человека и рук, структурный контроль, omni‑reference генерацию, стилевой трансфер, редактиро

★ 281 · Python
ekonwang/GeoVista

ГЕОВИСТА ВЕБ-АУГМЕНТИРОВАННЫЙ ИИ ДЛЯ ГЕОЛОКАЦИИ

GeoVista — официальная реализация веб‑аугментированного агентного визуального рассуждения для геолокации. На Python объединяет мультимодальную LLM и веб‑поиск, позволяя м

★ 281 · Python

Новые проекты по теме — в Telegram

Telegram →
Multimodal — страница 2 | REDDYX AI