AIPython★ 319
DocAILab/XRAG
XRAG: ОЦЕНКА МОДУЛЕЙ RAG
XRAG оценивает ключевые компоненты RAG‑систем: индексацию, поиск и генерацию. С помощью стандартных наборов данных он сравнивает разные реализации модулей, выявляя их сильные и слабые места.
// КЛЮЧЕВЫЕ ОСОБЕННОСТИ
- Измеряет latency и throughput индексацию документов в разных форматах.
- Сравнивает точность поиска (recall, MRR) для векторных и гибридных ретриверов.
- Оценивает качество генерации ответов через метрики faithfulness и answer relevance.
- Предоставляет скрипты для экспериментов с LlamaIndex и LLM (GPT‑4, Claude, Llama).
#evaluation#llamaindex#llm#rag
Открыть на GitHub →Новые репозитории каждые 30 минут
REDDYX AI сканирует GitHub 24/7 и присылает лучшие AI/ML/Web3 проекты в Telegram.
Подписаться в Telegram