Capstone — Las 5 preguntas

Outcome: no es una feature ni una fecha. Es poder responder estas cinco preguntas frente a cualquier ingeniero senior, con números y con el porqué, sobre scholar-rag. El día que las respondes las cinco, eres profundo en RAG a nivel internacional.

Las preguntas

1. ¿Qué tan bueno es tu retrieval y cómo lo mediste? → recall@k y MRR sobre tu dataset gold. (M1, M3)

2. ¿Alucina tu sistema, cuánto y cómo lo cuantificas? → faithfulness, con y sin el nodo grade. (M1, M4)

3. ¿Cuánto cuesta y tarda una query, dónde está el cuello y cómo lo bajaste? → p99 por etapa, costo por query, un antes/después medido. (M6)

4. ¿Por qué esta arquitectura de retrieval y no otra? → la ablación vector/léxico/híbrido y la curva HNSW vs IVFFlat. (M2, M3)

5. ¿Qué se rompe primero bajo carga y qué harías? → el benchmark de concurrencia y el diagnóstico del primer cuello. (M5)

Los tres artefactos que lo demuestran hacia afuera

Entender no basta si nadie lo ve. El capstone se cosecha en tres piezas públicas y verificables:

1. Eval harness público — sobre el corpus real, comparando al menos dos arquitecturas de retrieval con recall/faithfulness/latencia/costo.
2. Design doc / ADR — cada decisión difícil (HNSW, RRF, grade, chunking) con los trade-offs que consideraste.
3. Post técnico — “Cómo medí y endurecí un RAG sobre un corpus de tesis reales”, con números, no adjetivos.

Con esas tres piezas, scholar-rag deja de ser “un RAG que hice” y pasa a ser “el sistema que sé operar”. Ese es el salto que este curso persigue.

El mapa completo (temas-roca, orden de excavación, fases) vive en el vault: Personal/Carrera/Mapa-Profundidad-scholar-rag.md.