R_REDDYX.XYZ

Vision Language Model: open-source проекты на GitHub

27 репозиториев по теме Vision Language Model, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

Multimodal 144LLM 2064VLM 50Llava 15Local AI 73Apple Silicon 53Mlx 48Computer Use 59Deepseek 223RAG 507Retrieval 23Pytorch 91Search 45Large Language Models 151
Neywa-Labs/mlx-vlm

VLM НА MAC ЛОКАЛЬНО

mlx-vlm позволяет запускать и дообучать vision-language модели (LLaVA, Florence-2, Idefics) на Apple Silicon через MLX. Всё работает локально на твоём Mac без GPU-серверо

★ 5,847 · Python
Blaizzy/mlx-vlm

MLX-VLM: ЗАПУСКАЙТЕ VLM НА MAC ПРЯМОЙ СЕЙЧАС

Пакет для запуска и дообучения Vision Language Models на Mac через MLX. 4.7K⭐

★ 4,787 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
off-grid-ai/OGAM

OGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ

OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.

★ 3,380 · TypeScript
2U1/Qwen-VL-Series-Finetune

QWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД

Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.

★ 1,983 · Python
microsoft/Mage

MAGE: ИИ-АГЕНТ ДЛЯ УПРАВЛЕНИЯ ПК

Microsoft выпустил Mage — агента для управления GUI через flow matching. Модель редактирует изображения и выполняет задачи на компьютере без дообучения.

★ 1,782 · Python
ATH-MaaS/Ovis

ОВИС: СИНХРОНИЗАЦИЯ ВИЗУАЛЬНЫХ И ТЕКСТОВ

Модернная архитектура MLLM для структурного выравнивания визуальных и текстовых эмбеддингов.

★ 1,539 · Python
emcf/thepipe

THEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО

ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г

★ 1,530 · Python
gokayfem/awesome-vlm-architectures

ВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ

Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.

★ 1,368 · Markdown
Anionex/agent-vision-toolkit

Визуальный набор для LLM

Библиотека для текстовых моделей, позволяющая «смотреть» изображения: распознавать содержание, отвечать на вопросы, восстанавливать UI, автоматизировать GUI и интегрирова

★ 1,262 · Python
waybarrios/vllm-mlx

vllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей

OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то

★ 1,260 · Python
EvolvingLMMs-Lab/LLaVA-OneVision-2

МУЛЬТИМОДАЛЬНОЕ БУДУЩЕЕ УЖЕ ЗДЕСЬ

Полностью open-source фреймворк для обучения мультимодальных моделей — доступен каждому. Python.

★ 1,050 · Python
OpenBMB/VisRAG

VISRAG: RAG БЕЗ ПАРСИНГА

VisRAG обеспечивает RAG без парсинга текста, используя VLMs для прямого извлечения знаний из изображений и документов.

★ 991 · Python
mbzuai-oryx/groundingLMM

ГРОУНДИНГ LMM: ВИЖИ И ПОНИМАЙ

CVPR 2024 🔥 Grounding Large Multimodal Model (GLaMM) – первая модель, генерирующая ответы на естественном языке, связанные с масками сегментации объектов. Она сочетает п

★ 969 · Python
Anionex/dsh-vision-toolkit

Визуальный набор DSH

Проект предоставляет мощный набор инструментов для работы с изображениями в чисто текстовых моделях: простая установка, распознавание вставленных изображений, вопрос‑отве

★ 945 · TypeScript
Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты

★ 918 · Python
OpenMOSS/MOSS-VL

MOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО

Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо

★ 833 · Python
magicrew/doc7

DOC7: ПРЕОБРАЗОВАНИЕ ДОКУМЕНТОВ В MARKDOWN

Преобразуйте любые документы в чистый Markdown, сохраняя структуру и визуальные элементы, готовые для ИИ-моделей.

★ 718 · Go
yuanze-lin/Olympus

ОЛИМП ОБЕДИНЯЕТ ЗАДАЧИ CV

Официальный код Olympus — универсального роутера задач для CV, представленный на CVPR 2025. Маршрутизирует данные к лучшим моделям.

★ 427 · Python
tonywu71/colpali-cookbooks

COLPALI-COOKBOOKS — ПРИГОТОВЛЯЕМ MULTIMODAL RAG

Подборка рецептов для обучения и адаптации модели ColPali под ваши задачи мультимодального поиска.

★ 357
jolibrain/colette

COLETTE МУЛЬТИМОДАЛЬНЫЙ RAG

Локальный мультимодальный RAG для поиска и взаимодействия с любыми техническими документами через веб‑интерфейс.

★ 302 · HTML
microsoft/AesCode

ЭСТЕТИЧЕСКАЯ ГЕНЕРАЦИЯ HTML/CSS ИЗ ПРОМПТОВ

AesCode превращает промпты в редактируемые HTML/CSS-инфографики. Использует генераторы изображений как эстетические наводки и cross-modal rewards с RL (Qwen3) для верифиц

★ 281 · Python
ailuntx/Thinking-with-Visual-Primitives

ВИЗУАЛЬНЫЕ ПРИМИТИВЫ ДЛЯ МЫШЛЕНИЯ ИИ

Архивный снапшот проекта Thinking-with-Visual-Primitives — 254 звезды. Исследование визуальных примитивов в контексте AI-мышления.

★ 280 · Makefile
illuin-tech/vidore-benchmark

VIDORE: BENCHMARK VISION RETRIEVAL

Официальный бенчмарк ViDoRe для оценки Vision Document Retrieval. Реализует метрики и код из статьи ColPali. Позволяет сравнивать модели поиска по визуальным документам.

★ 278 · Python
OmniJev/OneJev

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ РЕШЕНИЙ

OneJev — мультимодальная модель System One для калибрированных ответов на вопросы об экранах, фото, видео и тексте за один проход.

★ 272 · Python
Event-AHU/Medical_Image_Analysis

MEDICAL_IMAGE_ANALYSIS - ИИ АНАЛИЗ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ

Проект использует foundation models для анализа медицинских изображений, обеспечивая высокую точность и скорость диагностики.

★ 243 · Python
ForeverBlue816/GRACE

GRACE: INT4 QWEN3-VL DISTILL

Qwen3-VL в INT4 с quantization-aware distillation – готов к деплою.

★ 213 · Jupyter Notebook

Новые проекты по теме — в Telegram

Telegram →
Vision Language Model — 27 open-source проектов на GitHub | REDDYX AI