R_REDDYX.XYZ
MultimodalPython★ 918⑂ 88 форковApache-2.0

Valen-Team/Valen

МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ

Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты bounding boxes.

// КЛЮЧЕВЫЕ ОСОБЕННОСТИ

  • Возвращает вероятности по кандидатам и bbox вместо генерации текста
  • Размеры от 0.8B до 27B: нативные веса, ONNX, GGUF, vLLM, SGLang
  • Бесплатный API, Python/JS/C++ SDK, интеграция с Claude Code и Cursor
  • Включает код дообучения, JevalKit для сравнения с GPT/Claude/Gemini

// РАЗБОР: КАК ЭТО РАБОТАЕТ

Valen-Decision работает как System One: на входе инструкция и мультимодальный контекст (текст, картинки, видео), на выходе — распределение вероятностей по заранее заданным вариантам ответа. Версия 1.5 добавляет второй головку для предсказания bounding boxes, что позволяет модели не только выбирать, но и локализовывать объекты. Архитектура использует block-bidirectional attention для сохранения сильных текстовых способностей при мультимодальности.

Отличается от обычных LLM тем, что не генерирует свободный текст, а выдаёт структурированный JSON с вероятностями и координатами. Доступны чекпоинты 0.8B–27B в трёх форматах: нативные (Transformers), ONNX Runtime и GGUF с пропатченным llama.cpp. Есть готовые SDK для Python, JavaScript и C++, а также агентский навык для Claude Code, Cursor и Codex. JevalKit позволяет ставить Valen в один ряд с GPT, Claude и Gemini для бенчмарков.

Для локального запуска нужен GPU с VRAM под выбранный размер модели (0.8B–27B). GGUF-варианты работают через кастомный llama.cpp сервер, принимающий изображения. ONNX-модели требуют ONNX Runtime. Бесплатный API не требует ключа, но имеет лимиты. Код дообучения (SFT и экспериментальный RLCD) включён в репозиторий, датасеты — на Hugging Face.

// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ

Кому пригодится: Разработчикам агентов и RAG-систем, нуждающимся в структурированных решениях

  • Подключить модель как классификатор с вероятностями в RAG-пайплайн вместо LLM-джуджа
  • Использовать bbox-головку для визуального заземления ответов агента в интерфейсе
  • Сравнить качество решений Valen с GPT/Claude через JevalKit перед продакшеном
#decision-model#fine-tuning#gguf#jev#multimodal#onnx#structured-output#system-one#typed-decisions#video-understanding#vision-language-model#visual-grounding
Открыть на GitHub →

Новые репозитории каждые 30 минут

REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.

Подписаться в Telegram
← Весь каталог

// ПОХОЖИЕ РЕПОЗИТОРИИ

ОТКРЫТАЯ КРЕАТИВНАЯ СТУДИЯ НА COMFYUI★ 233УДАЛЕНИЕ AI ВОДЯНЫХ ЗНАКОВ И МЕТАДАННЫХ★ 6403LTX-2: ДИТ-МОДЕЛЬ СИНХРОННОГО АУДИО И ВИДЕО★ 10312EMBEDDED ВЕКТОРНАЯ БД ДЛЯ МУЛЬТИМОДАЛЬНОГО AI★ 11947ОТКРЫТОЕ ИИ РАБОЧЕЕ МЕСТО КРЕАТОРА★ 14387ПРОФЕССИОНАЛЬНЫЙ ИИ-ДВИЖОК ДЛЯ ВИЗУАЛЬНЫХ МЕДИА★ 29106

← ВЕСЬ КАТАЛОГ

Valen-Team/Valen — Мультимодальная модель принятия решений