30 sept 2026 · cohere-blog
RCP-nDCG@10: A New Approach to Enterprise Retrieval Quality
Cohere · Laboratorio · web oficial
Anuncio
Tipo: Anuncio.
Cohere introduce una nueva metodología de evaluación (RCP-nDCG@10) para sistemas de recuperación (RAG/Search) que utiliza un juez de IA calibrado. Esto cambia la forma en que se mide la calidad de los modelos de embedding y reranking, permitiendo identificar documentos relevantes que los benchmarks tradicionales omiten.
Qué ha cambiado
- Introducción de RCP-nDCG@10 para medir la calidad de recuperación empresarial mediante un juez de IA calibrado.
“we are introducing Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10), an evaluation methodology that grades each retrieved document against the same explicit relevance criteria for every query, using a calibrated AI judge.” — fuente
- La métrica resuelve el problema de los 'labels' incompletos en benchmarks tradicionales.
“RCP-nDCG@10 addresses this coverage gap while preserving the ordering objective of traditional nDCG.” — fuente
- Validación superior frente al juicio humano en comparación con el nDCG estándar.
“Where RCP-nDCG and traditional nDCG named different winners, reviewers sided with RCP-nDCG 70% of the time.” — fuente
- El código y los datos de la metodología están disponibles en GitHub.
“Code and data: https://github.com/cohere-ai/rcp-ndcg” — fuente
Fuentes
- RCP-nDCG@10: A New Approach to Enterprise Retrieval Quality | Cohere consultada 2026-10-13
Cómo se decidió
Todas las citas verificadas · triage por LLM (gemma4).
- Las reglas vieron dudas sin señales relevantes.
- El modelo decidió publicar · 4 citas comprobadas
Procedencia técnica
- reglas: hold (sin señales)
- llm: publish; 4 citas verificadas, 0 rechazadas
sha256 f5db27ca08e5afa1…· https://cohere.com/blog/rcp-ndcg