Cota de Cramér-Rao

En estadística, la cota de Cramér-Rao (abreviada CRB por sus siglas del inglés) o cota inferior de Cramér-Rao (CRLB), llamada así en honor a Harald Cramér y Calyampudi Radhakrishna Rao, expresa una cota inferior para la varianza de un estimador insesgado, basado en la información de Fisher.

Establece que la inversa multiplicativa de la información de Fisher de un parámetro ${\displaystyle \theta }$, ${\displaystyle {\mathcal {I}}(\theta )}$, es una cota inferior para la varianza de un estimador insesgado del parámetro (denotado mediante ${\displaystyle {\widehat {\theta }}}$). Nótese que ${\displaystyle f}$ es la función de verosimilitud.

${\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{\mathrm {E} \left[\left[{\frac {\partial }{\partial \theta }}\ln f(X;\theta )\right]^{2}\right]}}}$

En algunos casos, no existe un estimador insesgado que alcance la cota inferior.

A esta cota se la conoce también como la desigualdad de Cramér-Rao o como la desigualdad de información.

Condiciones de regularidad

La cota depende de dos condiciones de regularidad débiles de la función de densidad de probabilidad, ${\displaystyle f(x;\theta )}$ , y del estimador ${\displaystyle T(X)}$ :

• La información de Fisher siempre está definida; en otras palabras, para todo ${\displaystyle x}$  tal que ${\displaystyle f(x;\theta )>0}$ ,

${\displaystyle {\frac {\partial }{\partial \theta }}\ln f(x;\theta )}$ 

es finito.

• Las operaciones de integración con respecto a x y de diferenciación con respecto a ${\displaystyle \theta }$  pueden intercambiarse en la esperanza de ${\displaystyle T}$ ; es decir,

${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$ 

siempre que el miembro derecho de la ecuación sea finito.

En algunos casos, un estimador sesgado puede tener tanto varianza como error cuadrático medio por debajo de la cota inferior de Cramér-Rao (la cota inferior se aplica solo a estimadores insesgados).

Si se extiende la segunda condición de regularidad a la segunda derivada, entonces se puede usar una forma alternativa de la información de Fisher para obtener una nueva desigualdad de Cramér-Rao

${\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{-\mathrm {E} \left[{\frac {d^{2}}{d\theta ^{2}}}\log f(X;\theta )\right]}}}$ 

En algunos casos puede resultar más sencillo tomar la esperanza con respecto a la segunda derivada que tomarla respecto del cuadrado de la primera derivada.

Parámetros múltiples

Extendiendo la cota de Cramér-Rao para múltiples parámetros, defínase el vector columna de parámetros

${\displaystyle {\boldsymbol {\theta }}=\left[\theta _{1},\theta _{2},\dots ,\theta _{d}\right]^{T}\in \mathbb {R} ^{d}}$ 

con función de densidad de probabilidad ${\displaystyle f(x;{\boldsymbol {\theta }})}$  que satisface las dos condiciones de regularidad definidad anteriormente.

La matriz de información de Fisher es una matriz de dimensión ${\displaystyle d\times d}$  con elementos ${\displaystyle {\mathcal {I}}_{m,k}}$  definidos según

${\displaystyle {\mathcal {I}}_{m,k}=\mathrm {E} \left[{\frac {d}{d\theta _{m}}}\log f\left(x;{\boldsymbol {\theta }}\right){\frac {d}{d\theta _{k}}}\log f\left(x;{\boldsymbol {\theta }}\right)\right]}$ 

entonces, la cota de Cramér-Rao es

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}^{T}}}{\mathcal {I}}\left({\boldsymbol {\theta }}\right)^{-1}{\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)^{T}}{\partial {\boldsymbol {\theta }}}}}$ 

donde

• ${\displaystyle {\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}^{T}}$ 
• ${\displaystyle {\boldsymbol {\psi }}=\mathrm {E} \left[{\boldsymbol {T}}(X)\right]={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}^{T}}$ 

• ${\displaystyle {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}^{T}}}={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)\\\psi _{2}\left({\boldsymbol {\theta }}\right)\\\vdots \\\\\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}{\begin{bmatrix}{\frac {\partial }{\partial \theta _{1}}}&{\frac {\partial }{\partial \theta _{2}}}&\cdots &{\frac {\partial }{\partial \theta _{d}}}\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\\\\{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\end{bmatrix}}}$ 

• ${\displaystyle {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)^{T}}{\partial {\boldsymbol {\theta }}}}={\begin{bmatrix}{\frac {\partial }{\partial \theta _{1}}}\\{\frac {\partial }{\partial \theta _{2}}}\\\vdots \\{\frac {\partial }{\partial \theta _{d}}}\end{bmatrix}}{\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{1}}}\\\\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{2}}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \theta _{d}}}\end{bmatrix}}}$ 

Y ${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)}$  es una matriz semi-definida positiva, es decir

${\displaystyle x^{T}\mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)x\geq 0\quad \forall x\in \mathbb {R} ^{d}}$ 

Si ${\displaystyle {\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}^{T}}$  es un estimador insesgado (es decir, ${\displaystyle {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)={\boldsymbol {\theta }}}$ ) entonces la cota de Cramér-Rao es

${\displaystyle \mathrm {cov} _{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\mathcal {I}}\left({\boldsymbol {\theta }}\right)^{-1}}$ 

Ejemplos

Distribución normal multivariada

Para el caso de una distribución normal multivariada de dimensión d

${\displaystyle {\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),C\left({\boldsymbol {\theta }}\right)\right)}$ 

con función de densidad de probabilidad

${\displaystyle f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)={\frac {1}{\sqrt {(2\pi )^{d}\left|C\right|}}}\exp \left(-{\frac {1}{2}}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)^{T}C^{-1}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)\right),}$ 

la matriz de información de Fisher tiene entradas

${\displaystyle {\mathcal {I}}_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}C^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left(C^{-1}{\frac {\partial C}{\partial \theta _{m}}}C^{-1}{\frac {\partial C}{\partial \theta _{k}}}\right)}$ 

donde ${\displaystyle tr}$  es la traza de una matriz.

En particular, si ${\displaystyle w[n]}$  es ruido blanco gaussiano (una muestra de ${\displaystyle N}$  observaciones independientes) con varianza conocida ${\displaystyle \sigma ^{2}}$ , es decir,

${\displaystyle w[n]\sim \mathbb {N} _{N}\left({\boldsymbol {\mu }}(\theta ),\sigma ^{2}{\mathcal {I}}\right),}$ 

y ${\displaystyle \theta }$  es un escalar, entonces la matriz de información de Fisher es de dimensión 1 × 1

${\displaystyle {\mathcal {I}}(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{m}}}\right)^{T}C^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{k}}}\right)=\sum _{i=0}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},}$ 

y por lo tanto la cota de Cramér-Rao es

${\displaystyle \mathrm {var} \left(\theta \right)\geq {\frac {\sigma ^{2}}{N}}.}$ 

•   Datos: Q1138810