[Python y análisis de datos] -17 indicadores de evaluación comúnmente utilizados en algoritmos de clasificación
?Para los algoritmos de clasificación, los indicadores de evaluación comúnmente utilizados son:
(1) Precisión
(2) Recuerdo
(3 ) Puntuación F
(4) Precisión
(5) ROC
(6) AUC
?ps: No recomendado Traducido al El chino, especialmente la precisión y la exactitud, puede causar fácilmente ambigüedad.
?La matriz de confusión es una herramienta de visualización en el aprendizaje supervisado, que se utiliza principalmente para comparar los resultados de la clasificación con la información real de la instancia. Cada fila de la matriz representa la clase prevista de la instancia y cada columna representa la clase verdadera de la instancia.
?Como se muestra en la Figura 1, los siguientes cuatro tipos de datos se incluyen en la matriz de confusión:
a. Verdadero positivo (TP): muestras positivas que el análisis predice que serán positivas. modelo
b. Falso positivo (FP): muestras negativas que el modelo predice que serán positivas
c. FN): Muestras positivas predichas como negativas por el modelo
?d, TN): Muestras negativas predichas como negativas por el modelo
Según estos cuatro tipos de datos, hay cuatro tipos de actualizaciones Proporciones importantes, de las cuales TPR y TNR se usan más comúnmente:
Sensibilidad de la tasa de verdaderos positivos (TPR): TPR=TP/(TP+FN), es decir, el número de muestras con resultados positivos. resultados previstos/el número de resultados positivos previstos Número real de muestras
Tasa de falsos negativos (FNR): el número de muestras que el modelo predice que serán negativas
El número de muestras predichas por el modelo como negativo/el número real de muestras que se predice que serán positivas. Tasa de negativos (FNR): FNR = FN / (TP + FN), es decir, el número de muestras positivas que se prevé que serán negativas / el número real de muestras positivas
Tasa de falsos positivos (FPR): FPR = FP / (FP + TN), es decir, el número de muestras negativas que se predice que serán positivas / el número real de muestras negativas
Tasa de verdaderos negativos (TPR): TPR = TP / (TP + FN ), es decir, el número de muestras que se prevé que serán positivas / el número real de positivos Número de muestras
Especificidad de la tasa de verdaderos negativos (TNR): TNR = TN / (TN + FP), es decir, el número de muestras negativas previstas/el número de muestras negativas reales
?1) (Precisión): P = TP/(TP + FP)
?2) (Recuerdo): R = TP/(TP + FN), es decir, el número de muestras negativas previstas/el número real de muestras negativas
?(TP+FN) es la tasa real
?3) Puntuación F: el promedio de la suma de precisión y recuperación, más cercano al valor menor de P y R: F=2* P* R/(P + R)
?4) ( Precisión): la capacidad de juicio general del clasificador para toda la muestra, es decir, la capacidad de juicio positivo y negativo: A = (A ) = (P+FP)
?5) (Precisión): La capacidad del clasificador para juzgar la muestra completa, es decir, la capacidad de juzgar positivo y negativo. A = (TP + TN)/(TP + FN + FP + TN)
?5) ROC (característica operativa del receptor): la principal herramienta de análisis de ROC es dibujar una curva en el espacio ROC. Curva ROC, la abscisa es la tasa de falsos positivos (FPR) y la ordenada es la tasa de verdaderos positivos (TPR).
?¿Cómo dibujar una curva ROC?
Para problemas de clasificación binaria, los valores de las instancias suelen ser valores continuos y las instancias se dividen en clases positivas y negativas estableciendo un umbral (por ejemplo, las instancias mayores que el umbral se clasifican como positivas). clases). Por lo tanto, el umbral se puede cambiar, las instancias se clasifican según diferentes umbrales y los puntos correspondientes en el espacio ROC se calculan en función de los resultados de la clasificación, y estos puntos se conectan para formar una curva ROC. En términos generales, esta curva debe estar por encima de la línea que conecta (0,0) y (1,1), como se muestra en la Figura 2.
(TPR=0,FPR=0): Un modelo que predice cada instancia como una clase negativa
?(TPR=1,FPR=1): Un modelo que predice cada instancia como una clase positiva
?(TPR=1,FPR=0): El modelo ideal con todas las predicciones correctas
?(TPR=0,FPR=1): El peor modelo con todas las predicciones incorrectas
?Un buen modelo de clasificación debe estar lo más cerca posible de la esquina superior izquierda de la figura, mientras que el modelo de adivinación aleatoria debe ubicarse en el punto de conexión principal (TPR = 0, FPR = 0) y (TPR =1, FPR=1) en la diagonal.
¿Por qué utilizar ROC y AUC cuando ya existen tantos criterios de evaluación?
?Porque la curva ROC tiene una buena propiedad: cuando cambia la distribución de muestras positivas y negativas en el conjunto de prueba, puede permanecer sin cambios. En conjuntos de datos reales, es común tener un desequilibrio de clases, donde hay muchas más muestras negativas que positivas (o viceversa), y la distribución de muestras positivas y negativas en los datos de prueba cambia con el tiempo.
?6) AUC (área bajo la curva ROC)
?Por lo general, el valor de AUC está entre 0,5 y 1,0, y cuanto mayor sea el AUC, mejor será el rendimiento. Si el modelo es perfecto, AUG = 1; si el modelo es un modelo de adivinación aleatoria simple, AUG = 0,5 si un modelo es mejor que el otro, el área bajo la curva es relativamente grande.