Vision Language Model: open-source проекты на GitHub
27 репозиториев по теме Vision Language Model, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
VLM НА MAC ЛОКАЛЬНО
mlx-vlm позволяет запускать и дообучать vision-language модели (LLaVA, Florence-2, Idefics) на Apple Silicon через MLX. Всё работает локально на твоём Mac без GPU-серверо
★ 5,847 · PythonMLX-VLM: ЗАПУСКАЙТЕ VLM НА MAC ПРЯМОЙ СЕЙЧАС
Пакет для запуска и дообучения Vision Language Models на Mac через MLX. 4.7K⭐
★ 4,787 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonOGAM ОФЛАЙН AI ШВЕЙЦАРСКИЙ НОЖ
OGAM — чат, зрение, речь и генерация изображений офлайн на вашем устройстве без ключей и данных в сети.
★ 3,380 · TypeScriptQWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД
Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.
★ 1,983 · PythonMAGE: ИИ-АГЕНТ ДЛЯ УПРАВЛЕНИЯ ПК
Microsoft выпустил Mage — агента для управления GUI через flow matching. Модель редактирует изображения и выполняет задачи на компьютере без дообучения.
★ 1,782 · PythonОВИС: СИНХРОНИЗАЦИЯ ВИЗУАЛЬНЫХ И ТЕКСТОВ
Модернная архитектура MLLM для структурного выравнивания визуальных и текстовых эмбеддингов.
★ 1,539 · PythonTHEPIPE: ДАННЫЕ ИЗ ДОКУМЕНТОВ БЫСТРО
ThePipe использует vision‑language модели для извлечения чистых данных из PDF, Word и PowerPoint. Автоматически распознаёт таблицы, текст и изображения, преобразуя их в г
★ 1,530 · PythonВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ
Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.
★ 1,368 · MarkdownВизуальный набор для LLM
Библиотека для текстовых моделей, позволяющая «смотреть» изображения: распознавать содержание, отвечать на вопросы, восстанавливать UI, автоматизировать GUI и интегрирова
★ 1,262 · Pythonvllm-mlx - Сервер LLM для Apple Silicon с поддержкой мультимодальных моделей
OpenAI и Anthropic совместимый сервер для Apple Silicon. Запускайте LLM и модели с поддержкой зрения с непрерывной пакетной обработкой и вызовом инструментов MCP. 400+ то
★ 1,260 · PythonМУЛЬТИМОДАЛЬНОЕ БУДУЩЕЕ УЖЕ ЗДЕСЬ
Полностью open-source фреймворк для обучения мультимодальных моделей — доступен каждому. Python.
★ 1,050 · PythonVISRAG: RAG БЕЗ ПАРСИНГА
VisRAG обеспечивает RAG без парсинга текста, используя VLMs для прямого извлечения знаний из изображений и документов.
★ 991 · PythonГРОУНДИНГ LMM: ВИЖИ И ПОНИМАЙ
CVPR 2024 🔥 Grounding Large Multimodal Model (GLaMM) – первая модель, генерирующая ответы на естественном языке, связанные с масками сегментации объектов. Она сочетает п
★ 969 · PythonВизуальный набор DSH
Проект предоставляет мощный набор инструментов для работы с изображениями в чисто текстовых моделях: простая установка, распознавание вставленных изображений, вопрос‑отве
★ 945 · TypeScriptМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты
★ 918 · PythonMOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО
Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо
★ 833 · PythonDOC7: ПРЕОБРАЗОВАНИЕ ДОКУМЕНТОВ В MARKDOWN
Преобразуйте любые документы в чистый Markdown, сохраняя структуру и визуальные элементы, готовые для ИИ-моделей.
★ 718 · GoОЛИМП ОБЕДИНЯЕТ ЗАДАЧИ CV
Официальный код Olympus — универсального роутера задач для CV, представленный на CVPR 2025. Маршрутизирует данные к лучшим моделям.
★ 427 · PythonCOLPALI-COOKBOOKS — ПРИГОТОВЛЯЕМ MULTIMODAL RAG
Подборка рецептов для обучения и адаптации модели ColPali под ваши задачи мультимодального поиска.
★ 357COLETTE МУЛЬТИМОДАЛЬНЫЙ RAG
Локальный мультимодальный RAG для поиска и взаимодействия с любыми техническими документами через веб‑интерфейс.
★ 302 · HTMLЭСТЕТИЧЕСКАЯ ГЕНЕРАЦИЯ HTML/CSS ИЗ ПРОМПТОВ
AesCode превращает промпты в редактируемые HTML/CSS-инфографики. Использует генераторы изображений как эстетические наводки и cross-modal rewards с RL (Qwen3) для верифиц
★ 281 · PythonВИЗУАЛЬНЫЕ ПРИМИТИВЫ ДЛЯ МЫШЛЕНИЯ ИИ
Архивный снапшот проекта Thinking-with-Visual-Primitives — 254 звезды. Исследование визуальных примитивов в контексте AI-мышления.
★ 280 · MakefileVIDORE: BENCHMARK VISION RETRIEVAL
Официальный бенчмарк ViDoRe для оценки Vision Document Retrieval. Реализует метрики и код из статьи ColPali. Позволяет сравнивать модели поиска по визуальным документам.
★ 278 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ РЕШЕНИЙ
OneJev — мультимодальная модель System One для калибрированных ответов на вопросы об экранах, фото, видео и тексте за один проход.
★ 272 · PythonMEDICAL_IMAGE_ANALYSIS - ИИ АНАЛИЗ МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ
Проект использует foundation models для анализа медицинских изображений, обеспечивая высокую точность и скорость диагностики.
★ 243 · PythonGRACE: INT4 QWEN3-VL DISTILL
Qwen3-VL в INT4 с quantization-aware distillation – готов к деплою.
★ 213 · Jupyter NotebookНовые проекты по теме — в Telegram
Telegram →