Evals: open-source проекты на GitHub
20 репозиториев по теме Evals, отобранных ИИ-агентом REDDYX. У каждого — описание на русском, ключевые возможности и разбор. Отсортировано по числу звёзд.
// СМЕЖНЫЕ ТЕМЫ
Mastra фреймворк ИИ
Mastra — TypeScript-фреймворк для создания AI-приложений и агентов от команды Gatsby.
★ 23,853 · TypeScriptAI наблюдательность платформы
Платформа для наблюдения и оценки ИИ-моделей: мониторинг качества, обнаружение дрейфа данных и интерактивная визуализация.
★ 9,652 · PythonAGENTOPS: МОНИТОРИНГ AI-АГЕНТОВ
Python SDK для мониторинга AI-агентов, учёта затрат на LLM и бенчмаркинга. Поддержка всех популярных фреймворков.
★ 5,960 · PythonKiln-AI/Kiln
Build, Evaluate, and Optimize AI Systems. Includes evals, RAG, agents, fine-tuning, synthetic data generation, dataset management, MCP, and more.
★ 4,848 · PythonLOGFIRE: НАБЛЮДЕНИЕ LLM
Платформа для наблюдения за production LLM и агентными системами: трассировка, метрики и алерты в реальном времени.
★ 4,290 · PythonПЛАТФОРМА НАВЫКОВ AI-АГЕНТОВ
Платформа позволяет создавать, тестировать и выпускать навыки для AI‑агентов через пользовательский маркетплейс. Управляйте их жизненным циклом: обнаружение, обновления,
★ 2,414 · PythonWAKU-AGENT — ЛИЧНЫЙ AI АГЕНТ
Персональный AI-агент на Python: локальный запуск, память, цикл и оценка задач — всё готово за считанные минуты чтения кода.
★ 2,173 · PythonINSPECTOR - ОТЛАДКА MCP СЕРВЕРОВ
Платформа для тестирования, инспекции и отладки MCP-серверов, MCP-приложений и ChatGPT-приложений. 1968 ⭐
★ 1,968 · TypeScriptPAPERTHIN: НАВЫКИ РЕКУРСИВНОГО RSI
Проект-лаудёр хакатона OpenAI по рекурсивному самоулучшению агентов. Распаковывает доказательство NVIDIA нулевого вмешательства в инженерную практику. Готовый набор скилл
★ 1,445 · JavaScriptTRACELY-AI - АВТОМАТИЧЕСКОЕ ТЕСТИРОВАНИЕ АГЕНТОВ
Tracely-ai автоматически превращает сбои ИИ‑агентов в регрессионные тесты, блокирующие PR, и воспроизводит их в CI бесплатно.
★ 1,299 · PythonRAGLITE - БЫСТРЫЙ RAG НА DUCKDB
Простой инструмент для построения RAG-пайплайнов с DuckDB или PostgreSQL на Python.
★ 1,212 · PythonГИД ПО AI СИСТЕМАМ
Практический гайд по проектированию production-ready AI систем и оценке их качества для инженеров.
★ 1,132AWESOME-EVALS
Библиотека лучших ресурсов для создания и оценки AI-агентов: статьи, блоги, инструменты и бенчмарки.
★ 1,039Оценка AI приложений
Открытая платформа для оценки и улучшения LLM и AI-агентов с поддержкой трассировки, симуляций и датасетов. Локальный запуск.
★ 971 · PythonSKILLFORGE — НАДЕЖНЫЙ СКИЛЛ-ГЕНЕРАТОР
SkillForge создаёт проверенные навыки для Claude Code и Codex с baseline‑тестированием и регрессионной оценкой.
★ 918 · PythonOVERMIND: ПЛАТФОРМА ДЛЯ ИИ-АГЕНТОВ
Overmind — платформа для непрерывного улучшения AI‑агентов: автоматическая оценка, fine‑tuning и интеграция с LLM‑операциями. Позволяет отслеживать метрики, запускать экс
★ 759 · PythonТетради AI-инженера
Коллекция практических Jupyter‑ноутбуков без фреймворков для изучения навыков AI‑инженера: работа с API моделей, структурированный вывод, вызов инструментов, RAG, оценка,
★ 749 · Jupyter NotebookФреймворк для цепочек решений ИИ
Инструмент для построения систем принятия решений: программа предлагает модели список шагов, модель выбирает один, пока не найдёт ответ.
★ 444 · TypeScriptОбучение проектированию AI-агентов
17 двуязычных уроков по созданию enterprise AI-агентов с нуля: инструменты, архитектуры, надежность, безопасность, RAG и продакшн-операции.
★ 316 · PythonОЦЕНИТЕ АГЕНТОВ С CALIPER
Caliper запускает вашего реального агента с навыками, MCPs и правилами и без них, показывая, что действительно полезно и сколько токенов стоит. Поддерживает Claude Code,
★ 235 · PythonНовые проекты по теме — в Telegram
Telegram →