AIPython★ 636⑂ 69 форковMIT
HowieHwong/TrustLLM
TRUSTLLM: ОЦЕНКА НАДЁЖНОСТИ LLM
TrustLLM — набор инструментов для оценки достоверности LLM, представленный на ICML 2024. Включает benchmark‑наборы, метрики и датасеты для измерения hallucinations, смещений и надёжности ответов.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Предоставляет benchmark‑наборы для оценки hallucinations и factuality LLM.
- Включает метрики для измерения смещения, токсичности и справедливости ответов.
- Позволяет запускать автоматическую оценку через CLI и API с формированием детального JSON‑отчёта.
- Интегрируется с HuggingFace, LangChain и другими фреймворками для быстрого подключения.
#ai#benchmark#dataset#evaluation#large-language-models#llm#natural-language-processing#nlp#pypi-package#toolkit#trustworthy-ai#trustworthy-machine-learning
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram