Valen-Team/Valen
МУЛЬТИМОДАЛЬНАЯ МОДЕЛЬ ПРИНЯТИЯ РЕШЕНИЙ
Valen-Decision — мультимодальная модель System One для принятия решений. Принимает текст, изображения и видео, возвращает вероятности по заданным кандидатам и координаты bounding boxes.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Возвращает вероятности по кандидатам и bbox вместо генерации текста
- Размеры от 0.8B до 27B: нативные веса, ONNX, GGUF, vLLM, SGLang
- Бесплатный API, Python/JS/C++ SDK, интеграция с Claude Code и Cursor
- Включает код дообучения, JevalKit для сравнения с GPT/Claude/Gemini
// РАЗБОР: КАК ЭТО РАБОТАЕТ
Valen-Decision работает как System One: на входе инструкция и мультимодальный контекст (текст, картинки, видео), на выходе — распределение вероятностей по заранее заданным вариантам ответа. Версия 1.5 добавляет второй головку для предсказания bounding boxes, что позволяет модели не только выбирать, но и локализовывать объекты. Архитектура использует block-bidirectional attention для сохранения сильных текстовых способностей при мультимодальности.
Отличается от обычных LLM тем, что не генерирует свободный текст, а выдаёт структурированный JSON с вероятностями и координатами. Доступны чекпоинты 0.8B–27B в трёх форматах: нативные (Transformers), ONNX Runtime и GGUF с пропатченным llama.cpp. Есть готовые SDK для Python, JavaScript и C++, а также агентский навык для Claude Code, Cursor и Codex. JevalKit позволяет ставить Valen в один ряд с GPT, Claude и Gemini для бенчмарков.
Для локального запуска нужен GPU с VRAM под выбранный размер модели (0.8B–27B). GGUF-варианты работают через кастомный llama.cpp сервер, принимающий изображения. ONNX-модели требуют ONNX Runtime. Бесплатный API не требует ключа, но имеет лимиты. Код дообучения (SFT и экспериментальный RLCD) включён в репозиторий, датасеты — на Hugging Face.
// СЦЕНАРИИ ИСПОЛЬЗОВАНИЯ
Кому пригодится: Разработчикам агентов и RAG-систем, нуждающимся в структурированных решениях
- Подключить модель как классификатор с вероятностями в RAG-пайплайн вместо LLM-джуджа
- Использовать bbox-головку для визуального заземления ответов агента в интерфейсе
- Сравнить качество решений Valen с GPT/Claude через JevalKit перед продакшеном
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram