Indicadores comunes para evaluar estimaciones de parámetros
Indicadores básicos
1.1 Imparcial
El sesgo estimado es la diferencia entre el valor esperado y el valor real estimado.
La imparcialidad requiere que el valor esperado de la estimación sea el valor real.
1.2 Eficiencia
Si hay dos valores estimados, el que se distribuya cerca del valor real debería ser más eficiente.
De esta manera, la efectividad relativa es un valor relativo, y la efectividad relativa del T1 estimado y el T2 estimado es la inversa esperada de la diferencia al cuadrado. Si la proporción es mayor, significa que T1 es más efectivo.
Entonces, puramente desde la perspectiva de la efectividad, la estimación más efectiva, es decir, la mejor, es la que tiene el error cuadrático medio más pequeño. Si se trata de una estimación insesgada, entonces la varianza es mínima.
1.3 Consistencia Consistencia
Es decir, a medida que aumenta el tamaño de la muestra n, el valor estimado final convergerá al valor verdadero según la probabilidad, por lo que es una estimación consistente.
De manera intuitiva, a medida que aumenta el número de muestras, las fluctuaciones cercanas a la distancia estimada del valor real se vuelven cada vez más pequeñas hasta la convergencia.
La coherencia y la imparcialidad tienen algunas similitudes y ambas giran en torno a la verdad. Sin embargo, la imparcialidad puede seguir fluctuando pero no converge. La coherencia debe converger. ? La imparcialidad requiere que la distribución de valores verdaderos sea simétrica en ambos lados, pero mientras ocurra una convergencia imparcial, no existe ningún requisito de simetría.
¿Existen estimaciones consistentes (rojo)? ¿VS? Estimación inconsistente insesgada (azul)
1.4 Asíntota asintótica
La propiedad asintótica no se cumple ahora, pero según el teorema de los números grandes se cumple a medida que aumenta el número de muestras n.
¿Lo común es el paso a paso e imparcial? Imparcialidad asintótica:
Actualmente está sesgada, pero a medida que n aumenta, se puede demostrar que es insesgada.
Eficiencia asintótica de efectividad asintótica;
Por ejemplo, en la estimación de la media, la varianza será cada vez más pequeña y convergerá al valor esperado. En general, la estimación de máxima verosimilitud satisface la validez asintótica.
Normalidad asintótica:
En cierto sentido, es una expresión del teorema del límite central:
Robustez de la robustez:
A En pocas palabras, el método de estimación debería ser aplicable incluso si hay valores atípicos de valores singulares (en referencia a una visión estadística de valores singulares clásica de Jianghu).
Por ejemplo, cuando la distribución es normal, la comparación de la media y la mediana es consistente, pero cuando la asimetría es grande, el desempeño de la media y la mediana es diferente. La mediana también puede dividir los datos entre 50, pero el promedio no. Entonces, hay que imaginar que sólo la asimetría ha cambiado. Si hay valores atípicos muy grandes, el promedio definitivamente no funcionará, por lo que la mediana es más sólida al estimar el promedio.
Es por eso que, para distribuciones sesgadas, primero debemos intentar transformar los datos (refiriéndose a la transformación de datos). Para datos con valores atípicos, debemos probar valores atípicos avanzados (refiriéndose a El mundo de los valores singulares). - una perspectiva estadística clásica y un mundo de valores singulares (una perspectiva de aprendizaje automático), porque muchos algoritmos no son robustos.
Además, en cierto sentido, el método de mínimos cuadrados desarrollado a partir de la media (consulte el método de mínimos cuadrados de programación por pasos para obtener más detalles) tampoco es robusto.
El método de mínimos cuadrados de media a lineal (mayores grados de libertad)
El método de mínimos cuadrados es sensible a los valores atípicos.
Por el contrario, el estimador L desarrollado a partir de la idea de mediana más linealidad es robusto.
Por analogía, el estimador R desarrollado a partir de la clasificación también es robusto.
En general, los estimadores M cercanos a la máxima verosimilitud también son relativamente robustos.
OLS (rojo) y método de máxima verosimilitud (azul) bajo valores atípicos
Además, existe un excelente algoritmo llamado consenso de muestra aleatoria, RANSAC, que tiene un conjunto de valores de grupo discretos. . Quienes estén interesados pueden echarle un vistazo en detalle. Es un algoritmo con pruebas de valores atípicos en regresión y tiene buena robustez. Tendremos la oportunidad de ampliarlo en el futuro.
Índice total
Hay dos indicadores combinados comúnmente utilizados: AZUL, mejor estimación lineal insesgada y mvue, estimación insesgada de varianza mínima. ? Ambos requieren imparcialidad y son los más eficaces. La diferencia es que uno es lineal y el otro no lineal.
Por ejemplo, como se muestra en la figura siguiente, se espera que las estimaciones lineales sean azules, mientras que se espera que las estimaciones no lineales sean MVUE. ? Obviamente, si se trata de un caso no lineal, la varianza de la estimación en el caso grande es menor que en el caso lineal.
Resumen
Hemos resumido aproximadamente los indicadores comúnmente utilizados para la estimación de parámetros, principalmente la introducción de BLUE y MVUE.
Palabras clave:
Imparcialidad
Eficiencia
Consistencia
Asíntota
Robustez
estimador l
estimador r
estimador m
Lansak
Azul
MVUE
Temas relacionados:
Seis supuestos del método de mínimos cuadrados (Parte 1)
El método de mínimos cuadrados Cuatro soluciones
z prueba, prueba T, prueba F y prueba χ2
Ámbito de valor singular: vista estadística clásica
Un ámbito con valor singular—— Concepto de aprendizaje automático
Selección destacada , las tres espadas clásicas
Dos argumentos a favor de la estimación de máxima verosimilitud
Avanzando gradualmente hacia la planificación de conos: método de mínimos cuadrados
Problemas y correcciones en el análisis de regresión (Parte 1)
Problemas y correcciones en el análisis de regresión (Parte 2)
Transformación de datos
La Breve historia de Suo
El origen de la información Entropía
"Regresión logística escrita en 66 días"
El viaje de Jordan a Shanghai
En estado crítico de Random Eyes