Entropía condicional

La entropía condicional es una extensión del concepto de entropía de la información a procesos donde intervienen varias variables aleatorias no necesariamente independientes.

Definición

Supóngase que ${\displaystyle \scriptstyle X}$  es una variable aleatoria sobre un espacio de probabilidad ${\displaystyle \scriptstyle \Omega \,}$  y ${\displaystyle \scriptstyle A\subset \Omega }$  sea un evento. Si ${\displaystyle \scriptstyle X}$  toma valores sobre un conjunto finito ${\displaystyle \scriptstyle \{a_{i}|1\leq i\leq m\}}$ , se define de manera natural la entropía condicional de ${\displaystyle \scriptstyle X}$  dado ${\displaystyle \scriptstyle A}$  como:

${\displaystyle H(X|A)=\sum _{k=1}^{m}P(X=a_{k}|A)\ln P(X=a_{k}|A)}$ 

De la misma manera si ${\displaystyle \scriptstyle Y}$  es otra variable aleatoria que toma valores ${\displaystyle \scriptstyle b_{k}}$  se define la entropía condicional ${\displaystyle \scriptstyle H(X|Y)}$  como:

${\displaystyle H(X|Y)=\sum _{j}H(X|Y=b_{j})P(Y=b_{j})}$ 

Puede interpretarse la anterior magnitud como la incertidumbre de ${\displaystyle \scriptstyle X}$  dado un valor particular de ${\displaystyle \scriptstyle Y}$ , promediado por todos los valores posibles de ${\displaystyle \scriptstyle Y}$ .

Propiedades

• Trivialmente se tiene que ${\displaystyle \scriptstyle H(X|X)=0}$ 
• ${\displaystyle \scriptstyle H(X|Y)=H(X)}$  si ${\displaystyle \scriptstyle X}$  e ${\displaystyle \scriptstyle Y}$  son variables independientes.
• Dadas dos variables que toman un conjunto finito de valores: ${\displaystyle \scriptstyle H(X,Y)=H(Y)+H(X|Y)=H(X)+H(Y|X)}$ 
• Como consecuencia de lo anterior y de que ${\displaystyle \scriptstyle H(X,Y)\leq H(Y)+H(X)}$ , se tiene: ${\displaystyle \scriptstyle H(X|Y)\leq H(X)}$ .

Referencia

Bibliografía

• Dominic Welsh (1988): Codes and Cryptography, Clarendon Press, Oxford, ISBN 0-19-853287-3

•   Datos: Q813908