VLM: open-source проекты на GitHub
50 репозиториев по теме VLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
🤗 Transformers
Фреймворк для определения моделей машинного обучения в тексте, зрении, аудио и мультимодальных моделях, для инференса и обучения.
★ 160,482 · PythonМультимодальный AI‑стек
Открытый мультимодальный стек ИИ‑агента, объединяющий передовые модели и инфраструктуру для создания автономных агентов.
★ 33,596 · TypeScriptSGLang: Фреймворк LLM
SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.
★ 27,854 · PythonPixelRAG: Поиск по пикселям
PixelRAG заменяет традиционный веб‑парсинг на поиск непосредственно в пиксельном представлении страниц, обеспечивая масштабируемый и точный извлекатель данных.
★ 10,946 · PythonНабор SDK для локального ИИ
Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.
★ 10,350 · C++OUMI ЛЁГКАЯ НАСТРОЙКА LLM
OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.
★ 9,433 · PythonGENIEX: LLMs НА УСТРОЙСТВАХ
Запускайте передовые мультимодальные модели на GPU, NPU и CPU — от ПК до мобильных и IoT устройств.
★ 8,530 · RustРАЗБОР ВИДЕО ПО КАДРАМ
Проект rea-video обратным инжинирингом анализирует видео по кадрам: определяет, что снято на камеру, сгенерировано ИИ или закодено. Выдаёт детали монтажа, субтитров, звук
★ 8,505 · PythonNEXA-SDK AI ВЕЗДЕ И ВСЕГДА
Запускай передовые LLMs и VLMs на GPU, NPU и CPU — от ПК до мобильных и IoT устройств. Поддержка моделей GPT-OSS, Granite-4, Qwen-3-VL и др.
★ 8,094 · RustVLM-R1: УМНОЕ РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ
Проект демонстрирует, как обучение с подкреплением улучшает понимание изображений мультимедийными моделями.
★ 6,046 · PythonUltraRAG: фреймворк RAG-пайплайнов
Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.
★ 5,549 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonОткрытая модель парсинга документов
OXR — открытая модель парсинга документов с SOTA-точностью и скоростью, использующая цикл рекурсивного самоулучшения (RSI) на этапе дообучения.
★ 3,830 · PythonSKYWORK-R1V ВИЗИОННЫЙ ЯЗЫК ИИ
Серия моделей Skywork-R1V объединяет зрение и язык для сложного рассуждения. Доступна на Python и уже собрала более 3к звёзд.
★ 3,173 · PythonOSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ
OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.
★ 2,911 · PythonEVALSCOPE: ТЕСТИРОВАНИЕ LLM ПРОСТО
Гибкий фреймворк Python для оценки производительности больших моделей (LLM, VLM, AIGC). ⭐2874
★ 2,874 · PythonОМАГЕНТ: МУЛЬТИМОДАЛЬНЫЙ AGENT
OmAgent — фреймворк для мультимодальных агентов на Gemini, GPT-4 и др. LLM. Позволяет быстро прототипировать и деплоить через Gradio, поддерживает RAG и шаблоны чат-ботов
★ 2,670 · PythonLLM АГЕНТ ФРЕЙМВОРК В COMFYUI
Framework объединяет LLM-агентов, Omost, GPT‑Sovits, ChatTTS и OCR в ComfyUI с поддержкой Feishu, Discord и всех популярных LLM.
★ 2,390 · PythonQWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД
Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.
★ 1,983 · PythonПОДБОРКА МЕТОДОВ JAILBREAK LLM
Awesome-Jailbreak-on-LLMs — это подборка передовых методов взлома больших языковых моделей. В репозитории собраны статьи, код, наборы данных, оценки и анализ эффективност
★ 1,977OPENGUI: УПРАВЛЯЙ АНДРОИДОМ ЧЕРЕЗ GUI
OpenGUI — фреймворк для создания AI‑агентов, способных видеть, планировать и управлять реальными Android‑приложениями через их интерфейс.
★ 1,811 · KotlinPaperBanana: генерация научных визуализаций
Открытая реализация и расширение Google Research PaperBanana для автоматизации создания академических рисунков, диаграмм и научных визуализаций.
★ 1,648 · PythonGPU-АКСЕЛЕРАЦИЯ ДЛЯ ВИДЕОАНАЛИТИКИ НА БАЗЕ ИИ
Набор референсных архитектур для создания GPU-ускоренных vision-агентов и приложений видеоаналитики на основе AI. ⭐ 1486 звёзд, Python.
★ 1,486 · PythonВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ
Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.
★ 1,368 · MarkdownANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ
Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.
★ 1,257 · PythonNEO: ВИЗИОН-ЯЗЫКОВЫЕ МОДЕЛИ
Серия мультимодальных Vision-Language моделей, созданных с нуля. 839 звёзд на GitHub.
★ 926 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты
★ 918 · PythonMOBILEGYM: АНДРОИД АГЕНТ ТРЕНИРОВКА
MobileGym — это браузер-хостированный Android‑эмулятор для исследовательской работы с мобильными GUI‑агентами. Платформа обеспечивает проверяемую оценку и высокопараллель
★ 866 · PythonMOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО
Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо
★ 833 · PythonDINGO: ОЦЕНКА ИИ МОДЕЛЕЙ
Dingo – инструмент для комплексной оценки качества данных, моделей и приложений ИИ на Python. Позволяет измерять надёжность и производительность систем.
★ 768 · PythonSPARKVSR: ИНТЕРАКТИВНОЕ ВИДЕО SUPER-RESOLUTION
Новый метод супер-разрешения видео через разреженную передачу ключевых кадров. Статья ECCV 2026, 675 звёзд на GitHub.
★ 750 · PythonVLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ
Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.
★ 704 · PythonOPTIMUM-INTEL - УСКОРЯЙ ИНФЕРЕНС С ИНТЕЛ
Optimum Intel предоставляет инструменты Intel для ускорения инференса моделей ИИ, упрощая развертывание и повышая производительность.
★ 630 · Jupyter NotebookВИДЕО РЕКАП С КЛОД КОД
Проект предоставляет навыки Claude Code для создания китайского озвучивания-рЕкапа из видеофайлов. Экспортирует результат в редактируемый черновик JianYing/CapCut. Работа
★ 626 · PythonRAI: АГЕНТ ДЛЯ РОБОТОВ
RAI — фреймворк для физического ИИ‑робота на ROS 2 и Python, поддерживает голосовое взаимодействие, сценарии и логи.
★ 616 · PythonФАБРИКА ТВОРЧЕСКОЕ 3D КОДИРОВАНИЕ
Fabric — это Node‑based среда для креативного кодинга, 3D‑графики и обработки изображений, вдохновлённая Quartz Composer. На Swift использует Metal для быстрого рендеринг
★ 606 · SwiftComfyUI_VLM_nodes — МОЩНЫЙ ИНСТРУМЕНТ ДЛЯ MULTIMODAL AI
Набор кастомных узлов для ComfyUI: от работы с VLM и LLM до генерации музыки и креативных промптов.
★ 593 · PythonAUTOMODEL — РАСПРЕДЕЛЁННОЕ ОБУЧЕНИЕ LLM/VLM
Нативная библиотека PyTorch для распределённого обучения LLM/VLM с поддержкой Hugging Face из коробки. ⭐ 576 звёзд на GitHub.
★ 576 · PythonREMARKABLE2 — ИНТЕРФЕЙС ДЛЯ VISION-LLM
Проект ghostwriter превращает reMarkable2 в рукописный интерфейс для vision-LLM: ChatGPT, Claude, Gemini. Пишете от руки на E Ink — модель видит, понимает и отвечает. Нап
★ 573 · RustVLA МОДЕЛИ ДЛЯ АВТОМОБИЛЕЙ
Подборка Vision-Language-Action моделей для автономного вождения: обзор прошлого, настоящего и будущего направления.
★ 527 · HTMLYZMA: ЛОКАЛЬНЫЙ LLM В GO
Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.
★ 496 · GoOSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ
OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.
★ 421 · PythonAWESOME МУЛЬТИМОДАЛЬНОЕ МОДЕЛИРОВАНИЕ
Коллекция ресурсов по мультимодальному моделированию: MLLM, UMM, NMM, 336 ★.
★ 336VLMRUN-COOKBOOK - ГОТОВЫЕ НОУТБУКИ ДЛЯ VLM
Подборка Jupyter‑ноутбуков, показывающих как быстро начать работу с API VLM Run: загрузка моделей, inference и мультимодальный вывод.
★ 313 · Jupyter Notebookphi - ПРОСТОЙ ЗАПУСК PHI-4 НА MAC
Запускайте мощную multimodal модель Phi-4 прямо на своём Mac с Apple Silicon — без облаков и сложной настройки.
★ 280 · Jupyter NotebookLongVT — ПОДУМАЙ НАД ОСНОВАМИ ВИДЕО
Модель, которая учится «думать» над длинными видео через встроенные инструменты для CVPR 2026.
★ 274 · PythonМУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ РЕШЕНИЙ
OneJev — мультимодальная модель System One для калибрированных ответов на вопросы об экранах, фото, видео и тексте за один проход.
★ 272 · PythonLLAMA_ROS ROS 2 LLM
Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.
★ 268 · C++КОМФИUI ФАЛ API: 1400+ МОДЕЛЕЙ
Production-ready кастомные ноды для ComfyUI, предоставляющие доступ к 1400+ моделям fal.ai с автообновлением, кэшированием и контролем затрат.
★ 227 · PythonАвторазметка и обучение YOLO
Платформа для автоматической разметки изображений и видео с использованием VLM NVIDIA LocateAnything-3B, ручной корректировки и однокликового обучения моделей YOLO.
★ 31 · PythonНовые проекты по теме — в Telegram
Telegram →