Test & Score Pro¶
Evalúa modelos igual que Test & Score y además los compara con tests estadísticos rigurosos, gráficos y un informe exportable.
Para qué sirve¶
Conecta unos datos y varios modelos. El widget los entrena y evalúa, resalta el mejor en cada métrica y responde a la pregunta importante: ¿la diferencia entre modelos es real o puede deberse al azar? La franja superior resume la respuesta en lenguaje llano.
Entradas¶
Data: datos de entrenamiento, con una variable objetivo.
Test Data: datos de test separados (opcional).
Learner: uno o varios modelos.
Preprocessor: preprocesado que se aplica en cada partición (opcional).
Salidas¶
Predictions y Evaluation Results: las mismas que Test & Score. Se conectan a Confusion Matrix, ROC Analysis, etc.
Scores: una fila por modelo con todas las métricas, el intervalo, el rango y los tiempos.
Fold Scores: una fila por partición y modelo; útil para Box Plot.
Pairwise Comparisons: una fila por pareja y test, con estadístico, valor p, valor p ajustado, efecto, intervalo, probabilidades y decisión.
Ranks: rango medio y posición de cada modelo.
Best Learner: el modelo con mejor valor en la métrica de comparación.
Muestreo¶
Los mismos métodos que Test & Score: validación cruzada, por característica, aleatorio, dejar uno fuera, sobre datos de entrenamiento y sobre datos de test. Con la misma semilla (42 por defecto) las particiones y las predicciones coinciden con las de Test & Score.
Por defecto usa 10 particiones: con menos, los tests tienen poca potencia.
Evaluar sobre los datos de entrenamiento da puntuaciones optimistas, y el widget lo avisa.
Pestañas¶
Puntuaciones: tabla ordenable con el mejor valor de cada métrica resaltado. Elige las columnas en Métricas visibles.
Comparación: cada punto es una partición, el rombo el valor global y la barra el intervalo de confianza.
Rangos: diagrama de diferencias críticas. Los modelos unidos por una barra no se distinguen.
Matriz: fila contra columna para el test elegido. Azul: gana la fila; naranja: pierde; gris: sin evidencia.
Bayesiano: probabilidades del mejor modelo frente a cada uno de los demás.
Tiempos: entrenamiento y predicción.
Tests y supuestos: todos los números, el supuesto de cada test y sus avisos.
Cada gráfico se guarda con Guardar imagen… en PNG, SVG o PDF. Cambiar la métrica, α o el ROPE recalcula los tests y los gráficos sin volver a entrenar. Tampoco se reentrenan los modelos que no hayan cambiado.
Cómo elegir e interpretar los tests¶
Advertencia
Las particiones de una validación cruzada no son independientes, porque comparten casi todos los datos de entrenamiento. Por eso un t-test normal da demasiados falsos positivos. La decisión del widget se basa en el t corregido y, en la pestaña Bayesiano, en el t bayesiano correlacionado.
Test |
Qué responde |
Cómo leerlo |
|---|---|---|
t corregido (Nadeau-Bengio) |
¿Difieren dos modelos, teniendo en cuenta que las particiones se solapan? Multiplica la varianza por 1/J + n_test/n_train. |
Es el test principal con particiones. p ajustado < α: hay evidencia de diferencia. |
t emparejado sin corregir |
Lo mismo, suponiendo particiones independientes. |
Solo como referencia. Da demasiados positivos: en una simulación con 10 particiones, un 15 % en vez del 5 %. |
Wilcoxon |
Versión no paramétrica, con rangos de las diferencias. |
No supone normalidad, pero sí independencia: orientativo. Con 5 particiones o menos nunca alcanza p < 0,05. |
Friedman, Iman-Davenport |
¿Hay alguna diferencia entre todos los modelos? |
Se concibió para varios conjuntos de datos. Sobre particiones de uno solo es descriptivo. |
Nemenyi, Holm (tras Friedman) |
¿Qué parejas difieren según sus rangos? |
Misma limitación que Friedman. |
McNemar |
¿Aciertan dos clasificadores en filas distintas? |
Cada fila debe predecirse una sola vez: no se ofrece con muestreo aleatorio. |
t bayesiano correlacionado |
¿Qué probabilidad hay de que un modelo sea mejor, de que sean equivalentes o de que sea peor? |
Se decide con P ≥ 0,95. Si no, indeciso: no hay datos suficientes. |
Por filas (error absoluto) |
Regresión sin particiones: compara el error fila a fila. |
Válido con datos de test separados. En dejar uno fuera o sobre entrenamiento, con reservas. |
ROPE (región de equivalencia práctica): diferencia por debajo de la cual dos modelos se consideran iguales a efectos prácticos. En automático vale 0,01 en métricas acotadas (AUC, CA, F1…) y el 1 % de la media en métricas de error. Puedes fijarlo en Opciones avanzadas.
Comparaciones múltiples: al hacer muchas comparaciones, alguna saldrá significativa por azar. Por defecto se ajustan con Holm; también están Bonferroni, Benjamini-Hochberg y sin corrección.
Tamaños de efecto: un valor p no dice si la diferencia importa. La g de Hedges (t) y la r biserial de rangos (Wilcoxon) la miden: insignificante, pequeña, media o grande.
Intervalos de confianza: con particiones usan la misma corrección de Nadeau-Bengio. Sin particiones, proceden de un remuestreo de las filas.
«No significativo» no significa «iguales»: solo que no hay evidencia suficiente. Para afirmar equivalencia, mira la probabilidad bayesiana de equivalencia.
Exportar el informe¶
Exportar informe… crea un HTML autocontenido, con las imágenes incrustadas, o un PDF. Incluye los datos, el muestreo y la semilla, los modelos y sus parámetros, las puntuaciones, los gráficos, cada test con su supuesto e interpretación, y las versiones del software para reproducirlo. También funciona el informe nativo de Orange.
Problemas habituales¶
Situación |
Qué hace el widget |
|---|---|
Un modelo falla |
Los demás siguen; se indica cuál y por qué. |
Filas sin valor en la clase |
Se quitan, indicando cuántas. |
Estratificación imposible |
Se hace sin estratificar y se avisa. |
Más particiones que filas |
Error con la solución. |
Métrica indefinida en una partición (AUC con una sola clase) |
Esa partición se descarta al comparar y se indica cuántas. |
Modelos idénticos, varianza cero o empates |
El test lo dice en lugar de dar un número engañoso. |
Muy pocas particiones |
Aviso de que la potencia es baja. |
Cambios en las entradas durante un cálculo |
Se descarta el cálculo anterior. |
Referencias¶
Nadeau y Bengio (2003). Inference for the generalization error. Machine Learning 52.
Demšar (2006). Statistical comparisons of classifiers over multiple data sets. JMLR 7.
Benavoli, Corani, Demšar y Zaffalon (2017). Time for a change: a tutorial for comparing multiple classifiers through Bayesian analysis. JMLR 18.