R_REDDYX.XYZ

VLM: open-source проекты на GitHub

50 репозиториев по теме VLM, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064Multimodal 144Agent 540Llama 106Qwen 101Reinforcement Learning 47RAG 507Vision Language Model 27Deepseek 223GPT Oss 20Openai 691Benchmark 51Pytorch 91MCP 1593
huggingface/transformers

🤗 Transformers

Фреймворк для определения моделей машинного обучения в тексте, зрении, аудио и мультимодальных моделях, для инференса и обучения.

★ 160,482 · Python
bytedance/UI-TARS-desktop

Мультимодальный AI‑стек

Открытый мультимодальный стек ИИ‑агента, объединяющий передовые модели и инфраструктуру для создания автономных агентов.

★ 33,596 · TypeScript
sgl-project/sglang

SGLang: Фреймворк LLM

SGLang — это высокопроизводительный фреймворк для обслуживания больших языковых и мультимодальных моделей.

★ 27,854 · Python
StarTrail-org/PixelRAG

PixelRAG: Поиск по пикселям

PixelRAG заменяет традиционный веб‑парсинг на поиск непосредственно в пиксельном представлении страниц, обеспечивая масштабируемый и точный извлекатель данных.

★ 10,946 · Python
RunanywhereAI/runanywhere-sdks

Набор SDK для локального ИИ

Готовый к продакшену инструментарий для запуска ИИ-моделей на локальном устройстве.

★ 10,350 · C++
oumi-ai/oumi

OUMI ЛЁГКАЯ НАСТРОЙКА LLM

OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.

★ 9,433 · Python
qualcomm/GenieX

GENIEX: LLMs НА УСТРОЙСТВАХ

Запускайте передовые мультимодальные модели на GPU, NPU и CPU — от ПК до мобильных и IoT устройств.

★ 8,530 · Rust
JuneYaooo/rea-video

РАЗБОР ВИДЕО ПО КАДРАМ

Проект rea-video обратным инжинирингом анализирует видео по кадрам: определяет, что снято на камеру, сгенерировано ИИ или закодено. Выдаёт детали монтажа, субтитров, звук

★ 8,505 · Python
qualcomm/nexa-sdk

NEXA-SDK AI ВЕЗДЕ И ВСЕГДА

Запускай передовые LLMs и VLMs на GPU, NPU и CPU — от ПК до мобильных и IoT устройств. Поддержка моделей GPT-OSS, Granite-4, Qwen-3-VL и др.

★ 8,094 · Rust
om-ai-lab/VLM-R1

VLM-R1: УМНОЕ РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ

Проект демонстрирует, как обучение с подкреплением улучшает понимание изображений мультимедийными моделями.

★ 6,046 · Python
OpenBMB/UltraRAG

UltraRAG: фреймворк RAG-пайплайнов

Низкокодовый MCP-фреймворк для создания сложных и инновационных RAG-пайплайнов.

★ 5,549 · Python
EvolvingLMMs-Lab/lmms-eval

LMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ

Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.

★ 4,169 · Python
SoMarkAI/OXR

Открытая модель парсинга документов

OXR — открытая модель парсинга документов с SOTA-точностью и скоростью, использующая цикл рекурсивного самоулучшения (RSI) на этапе дообучения.

★ 3,830 · Python
SkyworkAI/Skywork-R1V

SKYWORK-R1V ВИЗИОННЫЙ ЯЗЫК ИИ

Серия моделей Skywork-R1V объединяет зрение и язык для сложного рассуждения. Доступна на Python и уже собрала более 3к звёзд.

★ 3,173 · Python
xlang-ai/OSWorld

OSWorld: БЕНЧМАРК ДЛЯ AI-АГЕНТОВ

OSWorld — бенчмарк для оценки мультимодальных AI-агентов в реальных компьютерных средах. Открытые задачи в настоящих ОС.

★ 2,911 · Python
modelscope/evalscope

EVALSCOPE: ТЕСТИРОВАНИЕ LLM ПРОСТО

Гибкий фреймворк Python для оценки производительности больших моделей (LLM, VLM, AIGC). ⭐2874

★ 2,874 · Python
om-ai-lab/OmAgent

ОМАГЕНТ: МУЛЬТИМОДАЛЬНЫЙ AGENT

OmAgent — фреймворк для мультимодальных агентов на Gemini, GPT-4 и др. LLM. Позволяет быстро прототипировать и деплоить через Gradio, поддерживает RAG и шаблоны чат-ботов

★ 2,670 · Python
heshengtao/comfyui_LLM_party

LLM АГЕНТ ФРЕЙМВОРК В COMFYUI

Framework объединяет LLM-агентов, Omost, GPT‑Sovits, ChatTTS и OCR в ComfyUI с поддержкой Feishu, Discord и всех популярных LLM.

★ 2,390 · Python
2U1/Qwen-VL-Series-Finetune

QWEN-VL СЕРИЯ FINETUNE ОТКРЫТЫЙ КОД

Открытая реализация для дообучения моделей Qwen-VL серии от Alibaba Cloud на Python. Позволяет легко адаптировать multimodal модели под свои задачи.

★ 1,983 · Python
yueliu1999/Awesome-Jailbreak-on-LLMs

ПОДБОРКА МЕТОДОВ JAILBREAK LLM

Awesome-Jailbreak-on-LLMs — это подборка передовых методов взлома больших языковых моделей. В репозитории собраны статьи, код, наборы данных, оценки и анализ эффективност

★ 1,977
Core-Mate/OpenGUI

OPENGUI: УПРАВЛЯЙ АНДРОИДОМ ЧЕРЕЗ GUI

OpenGUI — фреймворк для создания AI‑агентов, способных видеть, планировать и управлять реальными Android‑приложениями через их интерфейс.

★ 1,811 · Kotlin
llmsresearch/paperbanana

PaperBanana: генерация научных визуализаций

Открытая реализация и расширение Google Research PaperBanana для автоматизации создания академических рисунков, диаграмм и научных визуализаций.

★ 1,648 · Python
NVIDIA-AI-Blueprints/video-search-and-summarization

GPU-АКСЕЛЕРАЦИЯ ДЛЯ ВИДЕОАНАЛИТИКИ НА БАЗЕ ИИ

Набор референсных архитектур для создания GPU-ускоренных vision-агентов и приложений видеоаналитики на основе AI. ⭐ 1486 звёзд, Python.

★ 1,486 · Python
gokayfem/awesome-vlm-architectures

ВИДЕНИЕ И ЯЗЫК: ТОП МОДЕЛЕЙ

Подборка архитектур известных vision‑language моделей с пояснениями и ссылками.

★ 1,368 · Markdown
Tencent/AngelSlim

ANGELSLIM: СЖИМАЕМ МОДЕЛИ БЕЗ ПОТЕРЬ

Инструмент для сжатия моделей с фокусом на удобство и эффективность. 1257 звёзд на GitHub.

★ 1,257 · Python
EvolvingLMMs-Lab/NEO

NEO: ВИЗИОН-ЯЗЫКОВЫЕ МОДЕЛИ

Серия мультимодальных Vision-Language моделей, созданных с нуля. 839 звёзд на GitHub.

★ 926 · Python
Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты

★ 918 · Python
Purewhiter/mobilegym

MOBILEGYM: АНДРОИД АГЕНТ ТРЕНИРОВКА

MobileGym — это браузер-хостированный Android‑эмулятор для исследовательской работы с мобильными GUI‑агентами. Платформа обеспечивает проверяемую оценку и высокопараллель

★ 866 · Python
OpenMOSS/MOSS-VL

MOSS-VL: 11B МОДЕЛЬ ДЛЯ ВИДЕО

Открытая серия моделей MOSS-VL объёмом 11 миллиардов параметров предназначена для понимания длинных и потоковых видео в реальном времени. Поддерживает мультимодальный вхо

★ 833 · Python
MigoXLab/dingo

DINGO: ОЦЕНКА ИИ МОДЕЛЕЙ

Dingo – инструмент для комплексной оценки качества данных, моделей и приложений ИИ на Python. Позволяет измерять надёжность и производительность систем.

★ 768 · Python
taco-group/SparkVSR

SPARKVSR: ИНТЕРАКТИВНОЕ ВИДЕО SUPER-RESOLUTION

Новый метод супер-разрешения видео через разреженную передачу ключевых кадров. Статья ECCV 2026, 675 звёзд на GitHub.

★ 750 · Python
TIGER-AI-Lab/VLM2Vec

VLM2Vec: ВЕКТОРНЫЕ МОДЕЛИ ДЛЯ МУЛЬТИМОДАЛЬНОСТИ

Библиотека реализует метод VLM2Vec для обучения Vision‑Language моделей, создающих эффективные мультимодальные эмбеддинги. Представлена на ICLR 2025.

★ 704 · Python
huggingface/optimum-intel

OPTIMUM-INTEL - УСКОРЯЙ ИНФЕРЕНС С ИНТЕЛ

Optimum Intel предоставляет инструменты Intel для ускорения инференса моделей ИИ, упрощая развертывание и повышая производительность.

★ 630 · Jupyter Notebook
zenstory-ai/video-recap-skills

ВИДЕО РЕКАП С КЛОД КОД

Проект предоставляет навыки Claude Code для создания китайского озвучивания-рЕкапа из видеофайлов. Экспортирует результат в редактируемый черновик JianYing/CapCut. Работа

★ 626 · Python
RobotecAI/rai

RAI: АГЕНТ ДЛЯ РОБОТОВ

RAI — фреймворк для физического ИИ‑робота на ROS 2 и Python, поддерживает голосовое взаимодействие, сценарии и логи.

★ 616 · Python
Fabric-Project/Fabric

ФАБРИКА ТВОРЧЕСКОЕ 3D КОДИРОВАНИЕ

Fabric — это Node‑based среда для креативного кодинга, 3D‑графики и обработки изображений, вдохновлённая Quartz Composer. На Swift использует Metal для быстрого рендеринг

★ 606 · Swift
gokayfem/ComfyUI_VLM_nodes

ComfyUI_VLM_nodes — МОЩНЫЙ ИНСТРУМЕНТ ДЛЯ MULTIMODAL AI

Набор кастомных узлов для ComfyUI: от работы с VLM и LLM до генерации музыки и креативных промптов.

★ 593 · Python
NVIDIA-NeMo/Automodel

AUTOMODEL — РАСПРЕДЕЛЁННОЕ ОБУЧЕНИЕ LLM/VLM

Нативная библиотека PyTorch для распределённого обучения LLM/VLM с поддержкой Hugging Face из коробки. ⭐ 576 звёзд на GitHub.

★ 576 · Python
awwaiid/ghostwriter

REMARKABLE2 — ИНТЕРФЕЙС ДЛЯ VISION-LLM

Проект ghostwriter превращает reMarkable2 в рукописный интерфейс для vision-LLM: ChatGPT, Claude, Gemini. Пишете от руки на E Ink — модель видит, понимает и отвечает. Нап

★ 573 · Rust
worldbench/awesome-vla-for-ad

VLA МОДЕЛИ ДЛЯ АВТОМОБИЛЕЙ

Подборка Vision-Language-Action моделей для автономного вождения: обзор прошлого, настоящего и будущего направления.

★ 527 · HTML
hybridgroup/yzma

YZMA: ЛОКАЛЬНЫЙ LLM В GO

Интеграция llama.cpp в Go-приложения для локального инференса с аппаратным ускорением. 496 звёзд на GitHub.

★ 496 · Go
xlang-ai/OSWorld-V2

OSWorld-V2 - ИСПЫТАНИЕ АГЕНТОВ В РЕАЛЬНЫХ ЗАДАЧАХ

OSWorld 2.0 оценивает способность ИИ-агентов выполнять длительные реальные задачи на компьютере, используя только Python.

★ 421 · Python
OpenEnvision/Awesome-Multimodal-Modeling

AWESOME МУЛЬТИМОДАЛЬНОЕ МОДЕЛИРОВАНИЕ

Коллекция ресурсов по мультимодальному моделированию: MLLM, UMM, NMM, 336 ★.

★ 336
vlm-run/vlmrun-cookbook

VLMRUN-COOKBOOK - ГОТОВЫЕ НОУТБУКИ ДЛЯ VLM

Подборка Jupyter‑ноутбуков, показывающих как быстро начать работу с API VLM Run: загрузка моделей, inference и мультимодальный вывод.

★ 313 · Jupyter Notebook
JosefAlbers/phi

phi - ПРОСТОЙ ЗАПУСК PHI-4 НА MAC

Запускайте мощную multimodal модель Phi-4 прямо на своём Mac с Apple Silicon — без облаков и сложной настройки.

★ 280 · Jupyter Notebook
EvolvingLMMs-Lab/LongVT

LongVT — ПОДУМАЙ НАД ОСНОВАМИ ВИДЕО

Модель, которая учится «думать» над длинными видео через встроенные инструменты для CVPR 2026.

★ 274 · Python
OmniJev/OneJev

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ РЕШЕНИЙ

OneJev — мультимодальная модель System One для калибрированных ответов на вопросы об экранах, фото, видео и тексте за один проход.

★ 272 · Python
mgonzs13/llama_ros

LLAMA_ROS ROS 2 LLM

Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.

★ 268 · C++
gokayfem/ComfyUI-fal-API

КОМФИUI ФАЛ API: 1400+ МОДЕЛЕЙ

Production-ready кастомные ноды для ComfyUI, предоставляющие доступ к 1400+ моделям fal.ai с автообновлением, кэшированием и контролем затрат.

★ 227 · Python
Somnusochi/VLM-AutoYOLO

Авторазметка и обучение YOLO

Платформа для автоматической разметки изображений и видео с использованием VLM NVIDIA LocateAnything-3B, ручной корректировки и однокликового обучения моделей YOLO.

★ 31 · Python

Новые проекты по теме — в Telegram

Telegram →
VLM — 50 open-source проектов на GitHub | REDDYX AI