Cómo medir la presencia de información Por qué la cantidad de información está relacionada con la probabilidad de que ocurra
La información es un concepto relativamente abstracto. A menudo decimos que una determinada frase contiene mucha información, o que una determinada frase no entiende lo que dice. De forma intuitiva, la información se puede cuantificar.
Algunas cosas en la vida son inciertas, como predecir la subida de las acciones mañana. Si me dice que la Copa del Mundo está a punto de comenzar mañana y las dos cosas no parecen estar relacionadas, entonces la información "la Copa del Mundo está a punto de comenzar" tiene poco valor de referencia para las tendencias bursátiles. Sin embargo, si comienza el Mundial y la gente ya no presta atención a este stock, entonces nadie será el banquero y la cantidad de información será mucho mayor.
Algunas cosas son seguras, como que el sol sale por el este. Si me dijeras que mañana saldrá el sol por el este, esa afirmación no sería muy informativa porque nada es más seguro.
Entonces, ¿qué tiene que ver la cantidad de información?
1. Número de resultados posibles.
2. La probabilidad de que ocurra un evento.
Si un evento tiene pocas posibilidades, entonces cualquier mensaje transmitido no será informativo. Cuanto menor sea la probabilidad de que ocurra un evento, mayor será la cantidad de información sobre el evento y viceversa.
La definición de entropía de la información:
Supongamos que hay una variable aleatoria discreta X={x1,x2,...,Xn}, asumiendo pi=P{X=xi} Entonces hay:
I (xi) representa el contenido de autoinformación de xi, es decir, la cantidad de información aportada por la ocurrencia del evento xi. H (x) es la entropía de información del evento X, es decir, la entropía de información promedio del evento X = {x1, x2, .... xm}, y la entropía es el valor esperado de la cantidad de información.
Con la definición de entropía de la información, podemos resolver muchos problemas de la realidad. Por ejemplo, para las 26 letras en inglés, suponiendo que cada letra tiene la misma probabilidad de ocurrir, la cantidad de autoinformación de una de las letras es:
La base de esta fórmula es 2, y la La unidad correspondiente son los bits, lo que significa cuántos dígitos binarios se necesitan para medir el tamaño de este mensaje.
En el caso del chino, hay alrededor de 7.000 caracteres chinos de uso común. Suponiendo que cada carácter chino aparezca con la misma probabilidad, necesitamos alrededor de 13 bits para representar un carácter chino. Sin embargo, dado que la frecuencia de aparición de cada carácter chino es diferente y algunas palabras comunes como "的" aparecen con mucha frecuencia, aun así, la entropía de información de cada carácter chino sigue siendo de 8 a 9 bits.
Por eso los libros en inglés traducidos al chino siempre son muy gruesos.
Esta fórmula se utiliza para resolver un problema práctico concreto, el problema del blob.
Pregunta: Hay 10 bolitas, una de las cuales es demasiado pesada. Usa una balanza para pesarla ¿Cuántas veces se debe pesar en la balanza para encontrar esta bolita?
Todo el mundo está familiarizado con este problema. Ahora utilizamos la fórmula de entropía de la información para resolver este tipo de problemas.
(1) Cada vez que se utiliza una balanza, existen tres posibilidades: desviación a la izquierda, desviación a la derecha y balanza. Las probabilidades de estas tres situaciones son iguales, es decir, se obtendrá información log3 cada vez que se utilice el saldo.
(2) Para eliminar la bola sesgada de 10 bolas, la probabilidad de cada bola es igual, por lo que la cantidad de información que transporta este evento es log10.
La respuesta es que necesitamos al menos log10/log3 (que es aproximadamente igual a 2,09), es decir, al menos 3 veces.