Información mutua
En teoría de la probabilidad, y en teoría de la información, la información mutua o transinformación de dos variables aleatorias es una cantidad que mide la dependencia mutua de las dos variables, es decir, mide la reducción de la incertidumbre (entropía) de una variable aleatoria, X, debido al conocimiento del valor de otra variable aleatoria Y.[1]
Definición
Consideremos dos variables aleatorias X e Y con posibles valores xi, i=1,2,...,n, yj, j=1,2,...,m respectivamente. Podemos usar la notación y
Podemos definir la información mutua entre y como:[2]
La unidad del concepto está determinado por la base del logaritmo usado. Se suelen usar logaritmos base dos, por tanto, la unidad de medida más común es el bit.
De la propia definición podemos concluir que ya que:
Información mutua media
La información mutua media mide la información mutua media que se produce entre los distintos valores de dos variables aleatorias. Para ello proporcionamos un peso a los valores de sobre la base de la probabilidad de ocurrencia. Por tanto, la información mutua media de dos variables aleatorias discretas X e Y puede definirse como:[2]
En el caso continuo, reemplazamos la suma con una integral doble definida:
Como en el caso de , la unidad del concepto está determinado por la base del logaritmo usado Se suele usar el logaritmo con base dos y por tanto la unidad más común es el bit.
Concepto intuitivo
Intuitivamente, la información mutua media mide la información que X e Y comparten: mide en cuánto el conocimiento de una variable reduce nuestra incertidumbre sobre la otra. Por ejemplo, si X e Y son independientes, entonces conocer X no da información sobre Y y viceversa, por lo que su información mutua es cero. En el otro extremo, si X e Y son idénticas entonces toda información proporcionada por X es compartida por Y: saber X determina el valor de Y y viceversa. Por ello, la información mutua media es igual a la información contenida en Y (o X) por sí sola, también llamada la entropía de Y (o X: claramente si X e Y son idénticas tienen idéntica entropía).
La información mutua media cuantifica la dependencia entre la distribución conjunta de X e Y y la que tendrían si X e Y fuesen independientes. La información mutua media es una medida de dependencia en el siguiente sentido: I(X; Y) = 0 si y sólo si X e Y son variables aleatorias independientes. Esto es fácil de ver en una dirección: si X e Y son independientes, entonces p(x,y) = p(x) p(y), y por tanto:
Propiedades
La información mutua media cumple las siguientes propiedades:[2][3]
- min(H(X),H(Y)) ≥ I(X;Y) ≥ 0 cumpliéndose la igualdad a 0 cuando X e Y son independientes.
- I(X;Y) = I(Y;X).
Relación con entropía
El valor de la información mutua media se puede obtener a partir del concepto de entropía. usando las definiciones matemáticas de las [entropía (información)|entropías]] H(X), H(X,Y) y H(X|Y)
obtenemos
De lo anterior y de la propiedad de las entropías
obtenemos
Por tanto,
lo que indica que la entropía es un tipo especial de información mutua media
Véase también
Referencias
- Dan C. Marinescu, Gabriela M. Marinescu, "Classical and Quantum Information",Academic Press 2012
- ↑ Ranajan M. Bose,"Information Theory, Coding And Cryptography". Tata McGraw Hill 2008
- R.M.Gray,"Entropy and Information Theory", Springer 2011.Second Edition