Notas sobre modelado matemático: método de ponderación de entropía para evaluar modelos
Anteriormente mencionamos el método TOPSIS de utilizar datos para procesar modelos de evaluación. El método TOPSIS es bastante sencillo y consta de aproximadamente tres pasos.
Al calcular y , tendemos a utilizar la distancia euclidiana entre la solución a evaluar y la solución óptima y peor ideal después de la normalización de los datos, es decir, . Este método de cálculo en realidad esconde una premisa: asumimos que todos los indicadores son igualmente importantes para la puntuación final, es decir, tienen el mismo peso.
Asignar diferentes pesos a los indicadores de evaluación es más consistente con la situación real del modelado y más interpretable. Hemos mencionado muchas veces los métodos para determinar ponderaciones, como buscar otros estudios en línea, enviar cuestionarios para encuestas, encontrar expertos para asignar ponderaciones, etc. El método de determinación del peso que todos comprenden más profundamente y parece ser poderoso es el proceso de jerarquía analítica. Sin embargo, las deficiencias del proceso de jerarquía analítica también son obvias, es decir, es demasiado subjetivo. La matriz de juicio la completan básicamente los individuos y, a menudo, es más adecuada para situaciones en las que no hay datos.
Cuando tenemos datos, ¿podemos partir directamente de los datos para determinar el peso?
Por ejemplo, en el problema anterior, el sentido común difícilmente nos ayuda a determinar cuál es el factor más importante que afecta a la calidad del agua, y cómo medir la importancia del resto de indicadores. Si no podemos obtener información relevante, en realidad sólo podemos confiar en suposiciones y autorizaciones subjetivas. Aquí sólo hay cuatro indicadores. Si hay diez o veinte indicadores, el peso subjetivo por sí solo será problemático. ...
Dicho esto, podemos introducir un método de determinación de peso que se basa completamente en datos y tiene cierta fuerza obligatoria, a saber, el método de peso de entropía. De hecho, después de escuchar la oración anterior, todos deberían darse cuenta de las deficiencias del método del peso de la entropía: a partir solo de los datos, sin considerar los antecedentes reales del problema, el peso determinado puede ir en contra del sentido común. De modo que habrá problemas a la hora de calificar. Por supuesto, podemos usarlo de manera flexible. El método del peso de la entropía todavía tiene sus ventajas y está más en línea con la situación real ... Por supuesto, no sé si a los jueces les gusta este método, así que lo presento aquí. Depende de usted si lo usa o no.
Entropía - el grado de desorden inherente a un sistema. Suena genial, ¿no? También existe la famosa "ley del aumento de entropía", de la que creo que todo el mundo ha oído hablar. Aunque es una ley de la termodinámica, en realidad contiene una cierta verdad filosófica: todo pasa del orden al desorden. Entonces, ¿por qué a este método de determinar ponderaciones se le llama ponderación de entropía? Después de todo, los datos están completamente dados y no habrá la llamada transición del orden al desorden.
No conozco la situación específica, pero resumiré brevemente mis puntos de vista. La ciencia moderna utiliza la entropía y la "información" para expresar el orden de un sistema. Si un sistema contiene una determinada estructura, tiene una determinada cantidad de información, lo que se denomina "información estructural". Cuanta más información estructural haya, más ordenado estará el sistema. Esto puede resultar un poco esotérico, tomemos un ejemplo sencillo.
Si miras la arena de una playa, si simplemente se distribuye libremente en su estado natural, básicamente no hay información alguna y el sistema es completamente caótico y desordenado.
La cosa es diferente si construyes un castillo de arena. La arena tiene una determinada estructura y el sistema compuesto por esta parte de arena se vuelve relativamente ordenado y podemos ver cierta cantidad de información en él. Cuanta más información haya, más precisa se vuelve la pila de arena y más organizado se vuelve el sistema. Deberías poder entenderlo ~
Por supuesto, no importa si no lo entiendes, lo diré casualmente. El principio del método de ponderación de entropía es: cuanto menor es la variabilidad de un indicador, menor es la cantidad de información existente que refleja y menor es la ponderación correspondiente. En otras palabras, el método de ponderación de entropía utiliza la cantidad de información contenida en un indicador para determinar su posición entre todos los indicadores. Dado que la entropía puede medir el grado de caos de un sistema y también puede usarse para medir la cantidad de información disponible, es comprensible que este método se denomine método de ponderación de entropía. (Pero eso es sólo mi suposición...)
Bien, entonces, ¿cómo medimos el contenido de la información? Podemos medir la cantidad de información utilizando la probabilidad de que ocurra un evento.
Por ejemplo, Xiao Ming siempre ha sido el primero en la escuela y Xiao Zhang siempre ha sido el último en la escuela. Fueron admitidos en la Universidad de Tsinghua al mismo tiempo. ¿Los mejores estudiantes de la escuela? ¿Crees que es más interesante que "Xiao Ming fue admitido en la Universidad de Tsinghua" o "Xiao Zhang fue admitido en la Universidad de Tsinghua"? Obviamente, el asunto de "Xiao Zhang fue admitido en la Universidad de Tsinghua" puede contener más información. Debido a que Xiao Ming siempre ha sido el primero en la escuela, debería ser natural que sea admitido en la Universidad de Tsinghua. Sin embargo, Xiao Zhang, que siempre ha estado en la parte inferior, de repente fue admitido en la Universidad de Tsinghua. Esto es algo imposible y contiene mucha información.
Pero aquí hay una pequeña pregunta: ¿Es la información mencionada en el ejemplo anterior el mismo tipo de información que la información existente mencionada en el principio de la ley de potencia de entropía?
En cualquier caso, podemos sacar una conclusión sencilla: cuanto más probable es que algo suceda, menos información hay, menos probable es que suceda, más información hay. Usamos la probabilidad para medir la probabilidad de que ocurra un evento y, por lo tanto, la cantidad de información contenida en un evento.
Si la cantidad de información está representada por letras y la probabilidad está representada por letras, entonces podemos dibujar una gráfica aproximada de la función.
Podemos encontrar que la cantidad de información disminuye a medida que aumenta la probabilidad, la probabilidad está entre 0 y 1, y la cantidad de información está entre 0 e infinito positivo. Por lo tanto, podemos utilizar una relación funcional logarítmica para expresar la relación entre probabilidad y contenido de información.
Asumiendo que el evento es un escenario posible, definimos la probabilidad de que este escenario ocurra como , que se utiliza para medir la cantidad de información contenida. El dominio de la función logarítmica es y el rango de probabilidad es, pero generalmente no consideramos la probabilidad del evento 0. Por lo tanto, no hay nada de malo en utilizar la función logarítmica desde una perspectiva de dominio.
Si un evento puede ocurrir en , entonces podemos definir la entropía de información del evento como . Podemos ver que la entropía de la información es el valor esperado de la cantidad de información. cuando .
¿A mayor entropía de la información, mayor o menor cantidad de información? Dijimos anteriormente que la entropía de la información es el valor esperado de la información. Debería ser que cuanto mayor sea la entropía de la información, mayor será la cantidad de información existente. De hecho, este no es el caso, porque el valor esperado de la información aquí debería ser una expectativa de información potencial futura. Decimos que un evento de baja probabilidad contiene una gran cantidad de información porque cuando ocurre un evento casi imposible, hay una gran cantidad de información sin explotar detrás, lo que en última instancia conduce a la ocurrencia del evento de baja probabilidad. Cuando decimos que un evento de probabilidad contiene menos información, también significa que la cantidad de información que se puede extraer después de que ocurre el evento de probabilidad es relativamente pequeña.
Toda la información no explotada anterior es la cantidad potencial de información antes de que ocurra el evento, no la cantidad de información existente. Cuando tenemos suficiente información, la ocurrencia de ciertos eventos es algo natural y podemos tratarlos como eventos de alta probabilidad. Cuando tenemos menos información, nos resulta difícil asumir que ciertas cosas sucederán de forma natural, por lo que sentimos que estos eventos son eventos de baja probabilidad. Creemos que "el primero en el grado fue admitido en la Universidad de Tsinghua" es normal porque ya tenemos suficiente conocimiento de su fortaleza en la prueba y "el último grado en el grado fue admitido en la Universidad de Tsinghua" probablemente se debe a que no tenemos información importante; como "El último es intencional"...
Bien, lo anterior es mi idea, y su conclusión correspondiente es "cuanto mayor es la entropía de la información, menor es la cantidad de información disponible". Es posible que todavía haya algunos problemas de lógica en el ejemplo anterior. Es posible que el ejemplo anterior aún tenga algunos problemas lógicos y es solo como referencia. Pero el punto debería quedar claro. Cuanto mayor sea la entropía de la información de una variable aleatoria, menor será la cantidad de información disponible. Nuestro método de ponderación de entropía en realidad determina la ponderación en función de la cantidad de información existente.
Bien, la preparación está completa y el siguiente paso son los pasos de cálculo del método de peso de entropía.
1. Para la matriz de entrada, primero realice la normalización y la normalización (si lo olvida, lea el segundo artículo sobre la evaluación de modelos de clases).
Si todos los datos son positivos después de la normalización, podemos usar la normalización en la matriz.
Si la matriz es negativa después de la normalización, podemos usar el cambio de normalización. En resumen, debemos asegurarnos de que los datos normalizados sean positivos.
2. Calcule el peso de la primera muestra bajo el primer indicador y trátelo como la probabilidad utilizada en el cálculo de la entropía de la información.
Es la matriz no negativa normalizada anterior, usamos cada elemento en.
Bueno, no me preguntes por qué uso este método para determinar la probabilidad. Si estás interesado, puedes verlo por ti mismo. Si lo encuentras, ¿puedes dejarme un mensaje y avisarme?
3. Calcule la entropía de información de cada indicador y calcule el valor de utilidad de la información. Después de la normalización, se obtiene el peso de entropía de cada indicador.
Para el primer indicador, la fórmula de entropía de la información es . Como se mencionó anteriormente, el valor máximo de entropía es, por lo que al calcular, dividimos por una constante, lo que nos da un rango intermedio.
Como se mencionó anteriormente, cuanto mayor es la entropía de la información, menor es la cantidad de información disponible. Si la entropía de la información de , alcanza el valor máximo, entonces todos los indicadores deben ser iguales, es decir, todos los indicadores son iguales. Si una métrica tiene el mismo valor para todos los escenarios, entonces esta métrica es casi inútil en la evaluación. Por ejemplo, si todos los evaluadores son hombres, no es necesario considerar el género en la evaluación. Esto también nos dice nuevamente que bajo el marco del método de ponderación de entropía, cuanto mayor es la entropía de la información, menor es la cantidad de información preexistente.
Por tanto, definimos el valor de utilidad de la información. Cuanto mayor es el valor de la utilidad de la información, mayor es la cantidad de información existente. Luego, normalizamos los valores de utilidad de la información para obtener el peso de entropía de cada indicador.
Lo anterior es todo el proceso de calcular el peso del índice utilizando el método de peso de entropía, que en realidad no es difícil. La esencia es "dar mayor peso a los indicadores que contienen más información existente". La distancia entre lo bueno y lo malo en TOPSIS se puede calcular basándose en esta ponderación, o incluso las puntuaciones se pueden ponderar directamente.
De hecho, el llamado tamaño de la información existente en realidad puede considerarse como el tamaño de la desviación estándar de los datos del indicador. Los datos de un determinado indicador en todos los objetos de investigación son exactamente iguales, y cuando la desviación estándar es 0, la entropía de la información es máxima. Si realiza una simulación de Monte Carlo, puede encontrar que la entropía de la información está básicamente correlacionada negativamente con la desviación estándar, lo que significa que la desviación estándar está básicamente correlacionada positivamente con la cantidad de información existente. Cuanto mayor es la desviación estándar, mayores son las fluctuaciones en los datos, mayor es la cantidad de información disponible y mayor es el peso que le damos. En cierto sentido, así es como funciona.
El profesor Qingfeng planteó una pregunta interesante. Al seleccionar tres buenos estudiantes, si Evidentemente, en la vida real, una vez que se registra en el expediente una infracción disciplinaria grave, es básicamente imposible convertirse en un buen estudiante. Sin embargo, la gran mayoría de personas tiene un valor de 0 para este indicador, y sólo un número muy pequeño de personas tiene un valor de 1 o 2. Sus fluctuaciones son pequeñas y su peso en el método de ponderación de entropía también es pequeño. Pero si este es el caso, incluso alguien que viole gravemente la disciplina puede ser considerado un buen estudiante. Esto es inconsistente con la realidad.
Este ejemplo nos dice que la limitación del método de ponderación de entropía es que solo obtiene el peso en función del grado de fluctuación de los datos, que es la llamada cantidad de información, y no toma tener en cuenta el significado real de los datos, lo que es muy difícil de llevar a resultados contrarios al sentido común.
El Sr. Qingfeng solía pensar que este método estaba engañando a los principiantes, porque mientras la variación sea grande, el peso se considera grande, lo que parece muy irrazonable. Es incluso mejor utilizar el proceso de jerarquía analítica para asignar puntuaciones subjetivas o buscar información en línea. No podemos hacer esto. Además, si el método de estandarización en el primer paso es diferente, los resultados finales también pueden ser diferentes, lo que también es un problema.
Pero, de hecho, algunos problemas se pueden solucionar. Por ejemplo, para las infracciones disciplinarias graves mencionadas anteriormente, es completamente posible eliminar las muestras con infracciones disciplinarias graves y clasificar las muestras restantes. De manera similar, para los indicadores que tienen un impacto muy grande en la vida real, también se pueden asignar ponderaciones por adelantado y luego utilizar el método de ponderación de entropía para dividir las ponderaciones restantes de los indicadores restantes.
Si tiene una comprensión práctica de los indicadores de evaluación, puede ver si los resultados del método de ponderación de entropía son consistentes con la realidad y luego decidir si usarlo. Si sabe poco sobre los indicadores de evaluación, el proceso de jerarquía analítica parece muy aleatorio y no puede encontrar la conclusión correspondiente en Internet, entonces es comprensible que utilice el método de ponderación de entropía.
En cuanto a utilizar el grado de fluctuación de los datos internos del indicador para medir la importancia del indicador, en última instancia, no tiene sentido. Esto también es una cuestión de opinión. Personalmente creo que tiene sentido. Después de excluir el impacto del esquema estandarizado, el grado de fluctuación de los datos contenidos en un indicador indica el impacto del indicador en el resultado final en cierto sentido, y tendrá un impacto relativamente grande. Debido a su amplio rango de valores, la solución óptima ideal y la peor solución ideal en TOPSIS son los valores óptimo y peor de cada indicador.
En el cálculo, la distancia entre el grado de fluctuación del índice de un plan y el plan ideal obviamente tendrá un mayor impacto, y no es del todo descabellado darle una mayor ponderación. Por supuesto, este método también debe excluir circunstancias especiales. En general, creo que no es un gran problema.
(Lo anterior es solo una charla informal, no lo tomes demasiado en serio).
Creo que siempre que el resultado final de la ley de la entropía no viole el sentido común, no hay gran problema en su uso. El Sr. Qingfeng también dijo que si es solo para competir, entonces use el método de entropía, que es mejor que definirlo usted mismo (en general).
Bien, eso es todo lo que tengo que decir sobre el método de la entropía. Si quieres saber más sobre esto, échale un vistazo.
Adiós.