AIPython★ 3,327⑂ 108 форковApache-2.0
vectara/hallucination-leaderboard
РЕЙТИНГ ХАЛЛЮЦИНАЦИЙ LLM
Проект сравнивает производительность больших языковых моделей при генерации галлюцинаций в кратких резюме документов. Он предоставляет таблицу лидеров с метриками точности и частоты выдуманных фактов.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Сравнивает LLMs по доле галлюцинаций при суммаризации документов до 500 токенов.
- Вычисляет метрики: процент выдуманных фактов, KL‑разрыв и BLEU‑штраф за вымысел.
- Таблица лидеров с фильтрацией по модели, набору данных и уровню галлюцинаций.
- Код на Python с CLI, Docker‑образом и скриптами для запуска оценки.
Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram