R_REDDYX.XYZ

Multimodal: open-source проекты на GitHub

144 репозиториев по теме Multimodal, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064VLM 50RAG 507Agent 540Vision Language Model 27MCP 1593AI Agents 1303Machine Learning 188Deep Learning 101Large Language Models 151Pytorch 91Vision 17Computer Vision 40Artificial Intelligence 157
Mintplex-Labs/anything-llm

AI-продуктивность на устройстве

Универсальный инструмент для продуктивности с ИИ, работающий локально и обеспечивающий полную конфиденциальность без сложной настройки.

★ 59,922 · JavaScript
bojieli/ai-agent-book

Глубокое понимание AI Agent

Открытый репозиторий книги «Глубокое понимание AI Agent»: полный текст, скомпилированный PDF и код к каждому разделу.

★ 58,104 · Python
bytedance/UI-TARS-desktop

Мультимодальный AI‑стек

Открытый мультимодальный стек ИИ‑агента, объединяющий передовые модели и инфраструктуру для создания автономных агентов.

★ 33,596 · TypeScript
microsoft/unilm

UNILM МОЩНАЯ ПРЕДОБУЧЕННАЯ МОДЕЛЬ

UniLM — это масштабная самонаблюдаемая предобученная модель, охватывающая задачи, языки и модальности. Она поддерживает BEiT, BEiT-3, BitNet, DeepNet и Document AI, напис

★ 22,242 · Python
screenpipe/screenpipe

screenpipe: Запись и поиск

Локальное приватное приложение, которое круглосуточно записывает всё, что вы видите, говорите и слышите, и даёт ИИ возможность жить ваш жизненным опытом.

★ 18,711 · Rust
modelscope/ms-swift

ms-swift: обучение LLM

Фреймворк для тонкой настройки 600+ языковых и 300+ мультимодальных моделей. Поддержка PEFT, полная донастройка, CPT/SFT/DPO/GRPO.

★ 14,178 · Python
StarTrail-org/PixelRAG

PixelRAG: Поиск по пикселям

PixelRAG заменяет традиционный веб‑парсинг на поиск непосредственно в пиксельном представлении страниц, обеспечивая масштабируемый и точный извлекатель данных.

★ 10,946 · Python
rerun-io/rerun

Rerun: мультимодальные данные

Визуализация, запросы и потоковая передача мультимодальных робототехнических данных для обучения ИИ.

★ 10,824 · Rust
RunanywhereAI/runanywhere-sdks

Набор SDK для локального ИИ

Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.

★ 10,350 · C++
nexu-io/openmotion

ВИДЕО ПО КОДУ: РЕВЕРС ИНЖЕРИНГ

Reverse engineering для любых видео. Агентский видеогенератор: создавай, редактируй и рендери локально через HTML, поддерживая изображения, видео, музыку и голос.

★ 9,939 · TypeScript
yzhao062/pyod

PYOD — ДЕТЕКТОР АНОМАЛИЙ В AI

Библиотека pyod предлагает 60+ детекторов аномалий для таблиц, временных рядов, графов, текста и изображений с оркестрацией ADEngine.

★ 9,867 · Python
X-PLUG/MobileAgent

MOBILEAGENT МОЩНОЙ GUI АГЕНТ

Проект MobileAgent предлагает семейство мощных GUI‑агентов на Python для автоматизации взаимодействия с интерфейсами.

★ 9,379 · Python
apache/seatunnel

SEATUNNEL — ИНТЕГРАЦИЯ ДАННЫХ КАК NVIDIA NIMS

Мультимодальный распределённый инструмент для массовой интеграции данных с высокой производительностью на Java.

★ 9,359 · Java
bentoml/BentoML

BENTOML ПРОСТОЙ ПУТЬ К AI API

Сервируйте модели и AI‑приложения за считанные минуты: API, очереди, мульти‑модельные пайплайны и LLM‑сервисы.

★ 8,663 · Python
Neywa-Labs/mlx-audio

MLX-AUDIO: РЕЧЬ НА APPLE SILICON

mlx-audio — библиотека для TTS, STT и STS на фреймворке MLX от Apple. Работает эффективно на Apple Silicon. 8192 звёзд на GitHub.

★ 8,267 · Python
Blaizzy/mlx-audio

Blaizzy/mlx-audio

A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.

★ 7,115 · Python
ARahim3/DigUp

ДИГАП ПОИСК ПО СОДЕРЖИМОМУ ФАЙЛОВ

DigUp индексирует ваши локальные файлы — фото, PDF, видео, аудио и код — и позволяет находить их по смыслу запроса. Поиск выполняется на устройстве с помощью модели Embed

★ 6,418 · Swift
om-ai-lab/VLM-R1

VLM-R1: УМНОЕ РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

Проект демонстрирует, как обучение с подкреплением улучшает понимание изображений мультимедийными моделями.

★ 6,046 · Python
genkit-ai/genkit

Genkit AI: Фреймворк для ИИ на разных языках

Открытый фреймворк для создания приложений с ИИ на JavaScript, Go и Python. Разработан и применяется в Google.

★ 5,985 · TypeScript
facebookresearch/mmf

ММФ: МОДУЛЬНЫЙ ФРЕЙМВОРК МУЛЬТИМОДАЛЬНОСТИ

Модульный фреймворк от FAIR для исследований зрения и языка, объединяющий гибкость Python и мощь мультимодальных моделей.

★ 5,633 · Python
OpenBMB/UltraRAG

UltraRAG: фреймворк RAG-пайплайнов

Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.

★ 5,549 · Python
Eventual-Inc/Daft

DAFT — ДВИЖОК ДАННЫХ ДЛЯ AI

Высокопроизводительный движок для AI и мультимодальных задач. Обрабатывайте изображения, аудио, видео и структурированные данные любого масштаба. На Rust ⭐5533

★ 5,533 · Rust
InternLM/xtuner

XTUNER: ТРЕНЕР ДЛЯ БОЛЬШИХ MoE

A Next-Generation Training Engine Built for Ultra-Large MoE Models. ⭐ 5138 звёзд на GitHub!

★ 5,138 · Python
vllm-project/vllm-omni

vllm-omni

Фреймворк для эффективного инференса мультимодальных моделей. Объединяет текст, изображения и аудио в единой системе вывода.

★ 4,863 · Python
kyegomez/tree-of-thoughts

TREE OF THOUGHTS: УМНЫЙ ПОИСК РЕШЕНИЙ

Реализация Tree of Thoughts для LLM: модель строит дерево рассуждений, оценивает ветви и выбирает лучший путь. Повышает качество решений на 70%+ без дообучения.

★ 4,592 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
aiming-lab/SimpleMem

ПАМЯТЬ ДЛЯ AI-АГЕНТОВ

SimpleMem — эффективная долгосрочная память для LLM-агентов с поддержкой текста и мультимодальных данных.

★ 3,878 · Python
morphik-org/morphik-core

MORPHIK-CORE: ТОЧНЫЙ ПОИСК ДЛЯ AI

morphik-core — точный поиск и хранение документов для AI-приложений. 3614 ⭐ на GitHub.

★ 3,721 · Python
embeddings-benchmark/mteb

MTEB - БЕНЧМАРК ДЛЯ ВЛОЖЕНИЙ ТЕКСТОВ

Масштабный бенчмарк для оценки качества text embeddings. 800+ задач на 50+ языках.

★ 3,287 · Python
vortex-data/vortex

VORTEX — САМЫЙ СТРУКТНЫЙ ФОРМАТ ДАННЫХ

Vortex — расширяемый фреймворк для колоночного сжатия данных и самый быстрый открытый колоночный форматфайл. Главный инструмент для аналитики нового поколения от LFAI&Dat

★ 2,966 · Rust
xlang-ai/OSWorld

OSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ

OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.

★ 2,911 · Python
autodistill/autodistill

AUTODISTILL: БЕЗ РАЗМЕТКИ ОБУЧЕНИЕ

Автоматически превращает сырые изображения в готовые модели инференса, используя фундаментальные модели для генерации псевдо‑меток и обучения сверvised моделей. Никакой р

★ 2,798 · Python
datachain-ai/datachain

DATACHAIN - ДАННЫЕ С AI

Типизированные версионированные датасеты для неструктурированных данных поверх S3, GCS и Azure. Отличный инструмент для работы с AI информацией.

★ 2,748 · Python
roboflow/maestro

MAESTRO - Упрощаем тонкую настройку моделей

Проект упрощает fine‑tuning мультимодальных моделей PaliGemma 2, Florence‑2 и Qwen2.5‑VL, экономя время и ресурсы разработчиков.

★ 2,696 · Python
TanStack/ai

TanStack AI SDK

🤖 Типобезопасный AI SDK для TypeScript с поддержкой потоковый чат, вызовы инструментов, агенты и мультимодальные приложения через OpenAI, Anthropic, Gemini, React, Vue,

★ 2,684 · TypeScript
genieincodebottle/generative-ai

ГЕНЕРАТИВНЫЙ ИИ ROADMAP ПРОЕКТЫ

Коллекция ресурсов по генеративному ИИ: дорожная карта, проекты, подготовка к интервью и кодингу.

★ 2,670 · Jupyter Notebook
om-ai-lab/OmAgent

ОМАГЕНТ: МУЛЬТИМОДАЛЬНЫЙ AGENT

OmAgent — фреймворк для мультимодальных агентов на Gemini, GPT-4 и др. LLM. Позволяет быстро прототипировать и деплоить через Gradio, поддерживает RAG и шаблоны чат-ботов

★ 2,670 · Python
AI-Efficiency/Awesome-Model-Quantization

AWESOME MODEL QUANTIZATION RESOURCES

Кураторский список статей, бенчмарков, опросов и инструментов по квантованию нейросетей. Охватывает низкобитовые сети, LLMs, мультимодальные и генеративные модели, вектор

★ 2,469
Yutong-Zhou-cv/Awesome-Text-to-Image

ОБЗОР ГЕНЕРАЦИИ ИЗОБРАЖЕНИЙ

Масштабный обзор методов генерации изображений по тексту: архитектуры, модели и подходы — всё собрано в одном репозитории.

★ 2,446
HUANGCHIHHUNGLeo/claude-real-video

claude-real-video - СМОТРИ ВИДЕО С КЛОДОМ

Позволяет любой LLM «смотреть» видео: извлекает ключевые кадры и транскрипт, работает локально.

★ 2,319 · Python
OpenGVLab/InternVideo

INTERNVIDEO ВИДЕО ФОНДАЦИЯ МОДЕЛЕЙ

Проект InternVideo предлагает открытые видео-фoundation модели и датасет для multimodal понимания, представленный на ECCV2024.

★ 2,281 · Python
google-gemini/genai-processors

ПАРАЛЛЕЛЬНАЯ ОБРАБОТКА КОНТЕНТА НА PYTHON

Лёгкая библиотека для эффективной параллельной обработки контента с помощью GenAI. 2110 звёзд на GitHub!

★ 2,123 · Python
2U1/Qwen-VL-Series-Finetune

QWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД

Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.

★ 1,983 · Python
kyegomez/BitNet

BITNET: 1‑БИТНЫЙ ТРАНСФОРМЕР

Реализация BitNet: 1‑битные трансформеры для LLM на PyTorch. Открытый код для быстрых экспериментов.

★ 1,949 · Python
NVIDIA-NeMo/DataDesigner

Дизайнер данных NVIDIA

NeMo Data Designer: генерация высококачественных синтетических данных с нуля или на основе seed-данных. Идеально для обучения и тонкой настройки моделей.

★ 1,877 · Python
potamides/DeTikZify

DETIKZIFY РИСУЕТ LATEX-СХЕМЫ МГНОВЕННО

DeTikZify превращает словесные описания или ручные эскизы в готовый TikZ‑код для LaTeX. Проект использует модели из HuggingFace и Llama для обратного генерирования график

★ 1,831 · Python
Tencent/WeMM-Embedding

WeMM-Embedding от Tencent

Семейство универсальных мультимодальных эмбеддинг-моделей от команды WeChat Vision, поддерживающее понимание и поиск по разным модальностям.

★ 1,818 · Python
sgl-project/sglang-omni

SGLANG-OMNI: ОМНИ-СЕРВИС ДЛЯ ИИ

SGLang-Omni обеспечивает высокопроизводительный запуск моделей TTS, ASR и речевых omni-моделей на Python.

★ 1,791 · Python
microsoft/Mage

MAGE: ИИ-АГЕНТ ДЛЯ УПРАВЛЕНИЯ ПК

Microsoft выпустил Mage — агента для управления GUI через flow matching. Модель редактирует изображения и выполняет задачи на компьютере без дообучения.

★ 1,782 · Python
fikrikarim/parlor

Парлор AI на устройстве

Парлор — открытый проект, позволяющий вести естественные голосовые и визуальные диалоги с ИИ, работающим полностью локально на вашем устройстве. Он построен на моделях Ge

★ 1,752 · HTML
pixeltable/pixeltable

PIXELTABLE — ДЕКЛАРАТИВНЫЙ БЕКЕНД ИИ

Pixeltable — декларативный и инкрементальный бекенд для мультимодальных AI‑приложений, упрощающий работу с данными и моделями.

★ 1,569 · Python
ATH-MaaS/Ovis

ОВИС: СИНХРОНИЗАЦИЯ ВИЗУАЛЬНЫХ И ТЕКСТОВ

Модернная архитектура MLLM для структурного выравнивания визуальных и текстовых эмбеддингов.

★ 1,539 · Python
UbiquitousLearning/mllm

БЫСТРЫЙ МУЛЬТИМОДАЛЬНЫЙ LLM НА МОБИЛЕ

Библиотека на C++ обеспечивает запуск мультимодальных LLM прямо на смартфонах с высокой скоростью и низким энергопотреблением.

★ 1,533 · C++
valentinfrlch/ha-llmvision

ВИЗУАЛЬНЫЙ ИНТЕЛЛЕКТ ДЛЯ ДОМА

ha-llmvision brings visual intelligence to your home, enabling real‑time object, face and activity recognition for smarter automation.

★ 1,531 · Python
emcf/thepipe

THEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО

ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г

★ 1,530 · Python
xtreme1-io/xtreme1

XTREME1 — ПЛАТФОРМА МУЛЬТИМОДАЛЬНОЙ РАЗМЕТКИ

Xtreme1 — платформа для разметки 3D‑LiDAR, изображений и данных LLM. Поддерживает совместную работу, AI‑подсказки и экспорт в COCO, KITTI, Hugging Face.

★ 1,393 · TypeScript
gokayfem/awesome-vlm-architectures

ВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ

Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.

★ 1,368 · Markdown
Capsize-Games/airunner

AIRUNNER ОФЛАЙН ИИ ДЛЯ ВСЕХ

Offline inference engine для искусств, реального времени голосовых диалогов, LLM‑чатботов и автоматизированных workflows.

★ 1,315 · Python
ysr666/dsh-vision-router

dsh-vision-router - ЗРЕНИЕ ДЛЯ AГЕНТОВ

Бесплатный цепочка зрения для агентов DeepSeek Harness: Q&A, grounding, OCR и др. Один‑командный установ, без Python, работа с изображениями как обычный инструмент.

★ 1,274 · JavaScript
Anionex/agent-vision-toolkit

Визуальный набор для LLM

Библиотека для текстовых моделей, позволяющая «смотреть» изображения: распознавать содержание, отвечать на вопросы, восстанавливать UI, автоматизировать GUI и интегрирова

★ 1,262 · Python

Новые проекты по теме — в Telegram

Telegram →
Multimodal — 144 open-source проектов на GitHub | REDDYX AI