LLM Evaluation: open-source проекты на GitHub
41 репозиториев по теме LLM Evaluation, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Langfuse: LLM Платформа
Открытая платформа для LLM: наблюдаемость, метрики, управление промптами, тестирование и интеграция с популярными инструментами.
★ 27,378 · TypeScriptMLflow — AI-платформа
Открытая платформа для AI-инженерии. Позволяет командам отлаживать, оценивать и оптимизировать приложения с ИИ, управляя доступом и затратами.
★ 26,029 · PythonТестирование LLM-моделей
Инструмент для тестирования промптов, агентов и RAG-систем. Поддерживает сравнительный анализ GPT, Claude, Gemini, Llama и других моделей.
★ 21,294 · TypeScriptcomet-ml/opik
Debug, evaluate, and monitor your LLM applications, RAG systems, and agentic workflows with comprehensive tracing, automated evaluations, and production-ready dashboards.
★ 19,332 · PythonAI наблюдательность платформы
Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.
★ 9,652 · PythonOUMI ЛЁГКАЯ НАСТРОЙКА LLM
OUMI позволяет быстро fine‑tune (SFT/RL), оценивать и развёртывать модели Qwen, Gemma и любые открытые агентные LLM/VLM без лишней сложности.
★ 9,433 · PythonHELICONE ОБСЛЕДИВАНИЕ LLM В ОДНОЙ СТРОКЕ
Открытая платформа для наблюдения за LLM: мониторинг, оценка и эксперименты в одной строке кода. Поддерживает TypeScript и уже имеет 5.8k★.
★ 5,805 · TypeScriptGISKARD-OSS - ОЦЕНКA LLM АГЕНТОВ
Библиотека для оценки и тестирования LLM агентов с открытым исходным кодом.
★ 5,417 · PythonAGENTA: ИИ АГЕНТЫ В ЧАТЕ
Agenta — это открытая платформа для создания AI-агентов через чат, их совместного использования и запуска по расписанию или событиям приложения.
★ 4,911 · TypeScriptAutoRAG: АВТОМАТИЗАЦИЯ RAG-СИСТЕМ
Фреймворк с открытым исходным кодом для автоматической оценки и оптимизации RAG-пайплайнов в стиле AutoML.
★ 4,804 · PythonLMMS-EVAL - ОДИН FAQ-СВОЙ ИСТОЧНИК ПРОВЕРКИ МОДАЛЬНОСТИ
Единый инструментарий для оценки мультимодальных моделей по задачам с текстом, изображениями, видео и аудио. 4169 звёзд на GitHub.
★ 4,169 · PythonБЕЗОПАСНОСТЬ AI-СИСТЕМ
Платформа для тестирования безопасности AI-экосистем: сканирование инфраструктуры, MCP, агентов и оценка jailbreak-атак.
★ 3,790 · PythonAI‑ENGINEER HQ: НАУЧНЫЙ ТОЛК
Проект содержит Jupyter‑ноутбуки с методами обучения моделей, пайплайны RAG на LangChain и алгоритмы структур данных для AI‑агентов. Позволяет быстро создавать, тестирова
★ 3,780 · Jupyter NotebookГЕНЕРАТИВНЫЙ ИИ ROADMAP ПРОЕКТЫ
Коллекция ресурсов по генеративному ИИ: дорожная карта, проекты, подготовка к интервью и кодингу.
★ 2,670 · Jupyter NotebookClawBench - БЕНЧМАРК ДЛЯ AI АГЕНТОВ
Open-source бенчмарк для оценки браузерных AI-агентов на повседневных задачах. Уже набрал ⭐ 385!
★ 1,301 · PythonTRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ
Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.
★ 1,299 · PythonUQLM: ДЕТЕКТИРУЕМ ГАЛЛЮЦИНАЦИИ LLM
Python-пакет для обнаружения галлюцинаций языковых моделей на основе количественной оценки неопределённости.
★ 1,217 · PythonКлинический бенчмарк решений
Бенчмарк для оценки клинического принятия решений: извлекает единственный факт, на котором основан ответ, и проверяет, изменяет ли ассистент своё действие при изменении д
★ 1,131 · PythonObserval — платформа наблюдения и оценки AI-агентов
Observal — платформа для мониторинга, оценки и отладки AI-агентов с участием человека в цикле обратной связи. Необходима для создания надёжных продакшн-конвейеров.
★ 1,118 · PythonAWESOME-EVALS
Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.
★ 1,039JUDGEVAL СТЕК ДЛЯ АГЕНТОВ
Платформа для непрерывного улучшения AI-агентов: сбор данных окружения и оценки для мониторинга и роста.
★ 1,036 · PythonCI/CD ДЛЯ AI АГЕНТОВ НА ТРЕЙСАХ
Tracely-ai оценивает продакшн-трейсы агентов, кластеризует ошибки и превращает в регрессионные тесты. Блокирует PR с регрессией поведения. Самостоятельно разворачивается
★ 948 · PythonПлатформа проверки фактов FactCircuit
FactCircuit — это аудитируемый цикл проверки утверждений и доказательств с неизменяемой provenance, поэтапными проверками, ограниченным поиском и воспроизводимой оценкой.
★ 927 · PythonOVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ
Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс
★ 759 · PythonORCA REPLAY: ВРЕМЕННЫЕ ПУТЕШЕСТВИЯ
OrcaReplay записывает любой запуск AI-агента и позволяет воспроизводить его шаг за шагом. Вы можете создавать форки для экспериментов и отлаживать состояние на каждом эта
★ 727 · TypeScriptКорпус навыков для агентов
Проект собирает файлы SKILL.md в единый поисковый каталог навыков для ИИ‑агентов, обеспечивая быстрый поиск и автоматическую оценку соответствия задачам.
★ 703 · PythonНОВОСТИ LLM В СОЦИАЛЬНОЙ НАУКЕ
Коллекция выдающихся работ, где языковые модели применяются в социальных науках. Идеально для исследователей и студентов.
★ 653CONTINUOUS-EVAL - ОЦЕНКА LLM НА ДАННЫХ
Платформа для автоматической оценки LLM‑приложений на основе реальных данных. Позволяет измерять качество и улучшать модели без ручного труда.
★ 519 · PythonAWESOME JEV GALLERY: ПАПЕРЫ И ВОСПРОИЗВОДЕНИЯ
Awesome Jev Gallery — подборка статей, открытых воспроизведений и независимых оценок моделей System One и Jev. Включает ссылки на код, метрики калибровки и анализы decisi
★ 493 · JavaScriptФреймворк для RL-сред
Проект предоставляет открытый фреймворк для создания реалистичных окружений усиленного обучения, объединяя инструменты для артефактов, динамики и воспроизводимости.
★ 438 · PythonСЛОЙ КОЛЛАБОРАЦИИ ДЛЯ AI АГЕНТОВ
Rhesis — платформа для тестирования, симуляции и трассировки AI-агентов. Эксперты аннотируют поведение, инженеры улучшают агента на основе найденных проблем. Закрывает ци
★ 404 · PythonOVERTIME: АГЕНТ ДЛЯ ИГРОВОЙ РАЗРАБОТКИ
Проект overtime позволяет задать краткое техническое задание ИИ‑агенту, после чего агент автономно выполняет работу в следующих сессиях. В демонстрации он построил открыт
★ 402 · TypeScriptОценщик навыков AI-агентов
Автоматизированный фреймворк для тестирования и оценки производительности AI-агентов в формате agentskills.io.
★ 393 · TypeScriptКАТАЛОГ ИНСТРУМЕНТОВ LLM
llms-tools — это curated список более 200 инструментов и проектов для работы с большими языковыми моделями. Проект помогает быстро находить нужные решения для AI-чатботов
★ 331LANGFAR ОЦЕНКА СМЕЩЕНИЯ LLM
Библиотека на Python для оценки смещения и справедливости LLM на уровне конкретных use‑case.
★ 261 · PythonМЫКЛОУ БЕНЧ: ТЕСТ AI АГЕНТОВ
Тест ИИ-агентов на 45 задачах по 4 уровням сложности. Powered by MyClaw.ai.
★ 222 · PythonAI-АГЕНТЫ ДЛЯ ТОРГОВЛИ АКЦИЯМИ С БЭКТЕСТИНГОМ НОВОСТЕЙ
Набор AI-агентов для торговли американскими акциями с честным бэктестингом новостей: заголовки воспроизводятся по минуте публикации, сделки исполняются на следующем откры
★ 222 · PythonПОЛНОЕ РУКОВОДСТВО ПО ОЦЕНКЕ LLM
Проект LLMEvaluation предлагает полный гайд по методам оценки больших языковых моделей, помогая выбрать оптимальную технику для конкретных use-cases. В нём собраны таксон
★ 208 · HTMLНАЙТИ 105 БАГОВ
Bug Hunt Bench — бенчмарк 105 реальных багов в 2 репозиториях. AI-модели (GPT-6, Claude, Grok, Gemini, DeepSeek) находят и исправляют их в CLI, оцениваются слепо на лидер
★ 207 · JavaScriptEVALFORGE — ОЦЕНКА LLM В CI
EvalForge — инструмент для оценки LLM в CI/CD. Предоставляет независимые от оценщика доказательства, гейты регрессии базовых линий и отчёты JSON, JUnit, SARIF. Интегрируе
★ 194 · PythonFinSight-AI — финансы с ИИ
AI-агент для анализа акций: отказоустойчивые пайплайны, RAG через pgvector, версионирование отчётов и полная трассировка доказательств.
★ 118 · JavaНовые проекты по теме — в Telegram
Telegram →