R_REDDYX.XYZ

Multimodal: open-source проекты на GitHub

144 репозиториев по теме Multimodal, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.

// СМЕЖНЫЕ ТЕМЫ

LLM 2064VLM 50RAG 507Agent 540Vision Language Model 27MCP 1594AI Agents 1303Machine Learning 188Deep Learning 101Large Language Models 151Pytorch 91Vision 17Computer Vision 40Artificial Intelligence 157
microsoft/AesCode

ЭСТЕТИЧЕСКАЯ ГЕНЕРАЦИЯ HTML/CSS ИЗ ПРОМПТОВ

AesCode превращает промпты в редактируемые HTML/CSS-инфографики. Использует генераторы изображений как эстетические наводки и cross-modal rewards с RL (Qwen3) для верифиц

★ 281 · Python
ailuntx/Thinking-with-Visual-Primitives

ВИЗУАЛЬНЫЕ ПРИМИТИВЫ ДЛЯ МЫШЛЕНИЯ ИИ

Архивный снапшот проекта Thinking-with-Visual-Primitives — 254 звезды. Исследование визуальных примитивов в контексте AI-мышления.

★ 280 · Makefile
JosefAlbers/phi

phi - ПРОСТОЙ ЗАПУСК PHI-4 НА MAC

Запускайте мощную multimodal модель Phi-4 прямо на своём Mac с Apple Silicon — без облаков и сложной настройки.

★ 280 · Jupyter Notebook
kyegomez/NaViT

NAVIT — VISION TRANSFORMER ДЛЯ ЛЮБОГО ФОРМАТА

Реализация статьи Patch n’ Pack: NaViT – Vision Transformer, работающий с любым соотношением сторон и разрешением без падддинга.

★ 276 · Python
EvolvingLMMs-Lab/LongVT

LongVT — ПОДУМАЙ НАД ОСНОВАМИ ВИДЕО

Модель, которая учится «думать» над длинными видео через встроенные инструменты для CVPR 2026.

★ 274 · Python
line/lighthouse

🔍 LIGHTHOUSE: ПОИСК МОМЕНТОВ В ВИДЕО

Удобная библиотека для воспроизводимого поиска моментов в видео и детекции хайлайтов. Поддерживает и аудио. Опубликована на EMNLP2024 Demo, ICASSP 2025 и ICASSP 2026.

★ 274 · Python
OmniJev/OneJev

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ РЕШЕНИЙ

OneJev — мультимодальная модель System One для калибрированных ответов на вопросы об экранах, фото, видео и тексте за один проход.

★ 272 · Python
mgonzs13/llama_ros

LLAMA_ROS ROS 2 LLM

Проект объединяет llama.cpp и llava.cpp с ROS 2, позволяя использовать GGUF-модели для робототехники в реальном времени.

★ 268 · C++
AtlasCloudAI/awesome-seedance-2.5-prompts-skills

ОПТИМИЗАЦИЯ ПРОМПТОВ SEEDANCE 2.5

Более 100 проверенных промптов Seedance 2.5 с реальными превью видео. Встроенный Agent Skill оптимизирует промпты, составляет сториборды и генерирует видео через модели S

★ 268 · TypeScript
tongye98/Awesome-Code-Benchmark

БЕНЧМАРКИ ДЛЯ КОДА ОТ LLM

Awesome-Code-Benchmark — обзор ключевых бенчмарков для оценки способностей языковых моделей в программировании.

★ 250
ayushh0110/ScreenMind

SCREENMIND - ТВОЯ ПАМЯТЬ ЭКРАНА

Запоминает экран, ищет по содержимому и чатится с ИИ локально.

★ 249 · Python
yuanzhao-CVLAB/UniMMAD

UNIMMAD ОБНАРУЖЕНИЕ АНОМАЛИЙ В МУЛЬТИМЕДИА

UniMMAD предлагает unified подход к обнаружению аномалий в мультимедиа, комбинируя изображения, аудио и текст. Используя mixture‑of‑experts, он выполняет feature decompre

★ 248 · Python
pie-project/pie

PIE — СЕРВИНГ МОДЕЛЕЙ НА RUST

Программируемый движок для высокопроизводительного сервинга LLM и диффузионных моделей. Написан на Rust, поддерживает батчинг, кэширование KV и динамическую загрузку адап

★ 240 · Rust
matrix-agent/awesome-agentic-world-modeling

AWESOME AGENTIC WORLD MODELING

Проект демонстрирует основы агентного моделирования мира: возможности, законы и дальнейшее развитие на TypeScript.

★ 235 · TypeScript
withceleste/celeste-python

CELESTE-PYTHON: МУЛЬТИМОДАЛЬНЫЙ AI ПРИМИТИВЫ

Типобезопасные примитивы для мультимодального AI: работа с любыми моделями и провайдерами через единый интерфейс.

★ 228 · Python
gokayfem/ComfyUI-fal-API

КОМФИUI ФАЛ API: 1400+ МОДЕЛЕЙ

Production-ready кастомные ноды для ComfyUI, предоставляющие доступ к 1400+ моделям fal.ai с автообновлением, кэшированием и контролем затрат.

★ 227 · Python
ZSeven-W/dsh-crew

DSH-CREW: ПЛАГИН ДЛЯ CLAUDE CODE И CODEX

dsh-crew — плагин DeepSeek Harness для запуска агентов из Claude Code и Codex. Поддерживает встроенные subagent'ы, рабочие сессии с пресетами и мультимодальный мост для з

★ 215 · JavaScript
ForeverBlue816/GRACE

GRACE: INT4 QWEN3-VL DISTILL

Qwen3-VL в INT4 с quantization-aware distillation – готов к деплою.

★ 213 · Jupyter Notebook
Leon-Sander/Local-Multimodal-AI-Chat

ЛОКАЛЬНЫЙ МУЛЬТИМОДАЛЬНЫЙ ЧАТ

Самостоятельно хостимый чат с локальными LLM (Ollama/OpenAI), поддерживающий RAG PDF, чат с изображениями и голосовой ввод через Whisper.

★ 209 · Python
florencejt/fusilli

FUSILLI МУЛЬТИМОДАЛЬНАЯ ФЬЮЖНАЯ

Fusilli — пакет Python с готовыми пайплайнами мультиmodalной фьюжн: от загрузки данных до обучения и оценки моделей.

★ 205 · Python
JIA-Lab-research/MGM-Omni

MGM-OMNI: ГОЛОС БУДУЩЕГО AI

MGM-Omni позволяет масштабировать большие языковые модели для создания персонализированной длительной речи, обеспечивая связный синтез на часы вперёд.

★ 202 · Python
xiayu1987/noobot

NOOBOT ДЕШЕВЫЙ ИИ-АГЕНТ

Самодостаточный рабочий стол для ИИ‑агентов с низкой стоимостью: поддержка вызова инструментов, MCP, мультимодельная маршрутизация и песочница выполнения. Позволяет созда

★ 195 · JavaScript
shawn0728/OpenSearch-VL

OpenSearch-VL: Мультимодальный поиск

Открытый рецепт для обучения агентов глубокого мультимодального поиска с курацией данных, визуальными инструментами и RL.

★ 190 · Python
couragec/LLMInternSkill

LLM Intern Skill

Проект предоставляет набор инструментов на основе больших языковых моделей для улучшения резюме, подбора вакансий, проверки фактов опыта и подготовки к собеседованиям.

★ 96 · Markdown

Новые проекты по теме — в Telegram

Telegram →
Multimodal — страница 3 | REDDYX AI