Descomposición en valores singulares

En álgebra lineal, la descomposición en valores singulares (o DVS) de una matriz real o compleja es una factorización de la misma con muchas aplicaciones en estadística y otras disciplinas.

Definiciones previas

Dada una matriz real ${\displaystyle A\in \mathbb {R} ^{m\times n}}$ , los autovalores de la matriz cuadrada, simétrica y semidefinida positiva ${\displaystyle A^{T}A\in \mathbb {R} ^{n\times n}}$  son siempre reales y mayores o iguales a cero. Teniendo en cuenta el producto interno canónico vemos que:

${\displaystyle \left(A^{T}A\right)^{T}=A^{T}\left(A^{T}\right)^{T}=A^{T}A}$ . O sea que es simétrica

${\displaystyle <x,A^{T}Ax>=x^{T}A^{T}Ax=(Ax)^{T}Ax=||Ax||^{2}\geq 0}$ , es decir ${\displaystyle A^{T}A\,}$  es semidefinida positiva, es decir, todos sus autovalores son mayores o iguales a cero.

Si ${\displaystyle \lambda _{i}\,}$  es el i-ésimo autovalor asociado al i-ésimo autovector, entonces ${\displaystyle \lambda _{i}\in \mathbb {R} }$ . Esto es una propiedad de las matrices simétricas. Ver demostración.

Definición

Sean ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}\geq 0}$  los autovalores de la matriz ${\displaystyle A^{T}A\,}$  ordenados de mayor a menor. Entonces ${\displaystyle \sigma _{i}={\sqrt {\lambda _{i}}}}$  es el i-ésimo Valor Singular de la matriz ${\displaystyle A\,}$ .

Teorema

Sea ${\displaystyle A\in \mathbb {R} ^{m\times n}}$  y ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$  los autovalores de ${\displaystyle A^{T}A\,}$ . Es decir los primeros ${\displaystyle r\,}$  autovalores no nulos, ordenados de manera decreciente y los ${\displaystyle n-r\,}$  autovalores nulos.

Sea ${\displaystyle {\big \{}v_{1},\cdots ,v_{n}{\big \}}}$  una base ortonormal de ${\displaystyle \mathbb {R} ^{n}\,}$  formada por autovectores de ${\displaystyle A^{T}A\,}$ . Entonces:

1. ${\displaystyle {\Big \{}Av_{1},\cdots ,Av_{r}{\Big \}}}$  es un conjunto ortogonal y ${\displaystyle ||Av_{i}||={\sqrt {\lambda _{i}}}=\sigma _{i}}$ 
2. ${\displaystyle {\Bigg \{}{\frac {Av_{1}}{\sigma _{1}}},\cdots ,{\frac {Av_{r}}{\sigma _{r}}}{\Bigg \}}}$  es una base ortonormal del subespacio fundamental ${\displaystyle Col(A)\,}$ .
3. ${\displaystyle {\Big \{}v_{r+1},\cdots ,v_{n}{\Big \}}}$  es una base ortonormal del subespacio fundamental ${\displaystyle Nul(A)\,}$ .
4. ${\displaystyle rango(A)=r\,}$  es decir, el rango de la matriz ${\displaystyle A\,}$  coincide con la cantidad de Valores Singulares no nulos.

Demostración

1. ${\displaystyle <Av_{i},Av_{j}>=v_{i}^{T}A^{T}Av_{j}=\lambda _{j}\cdot v_{i}^{T}v_{j}=\left\{{\begin{array}{c}\lambda _{j}\quad {\mbox{si }}i=j\\0\quad \,\,{\mbox{si }}i\neq j\end{array}}\right.}$ . Teniendo en cuenta este resultado ${\displaystyle ||Av_{i}||={\sqrt {<Av_{i},Av_{i}>}}={\sqrt {\lambda _{i}}}=\sigma _{i}}$ 
2. Como el conjunto de los vectores ${\displaystyle v_{i},\,\,1\leq i\leq r}$  es ortonormal (por lo tanto linealmente independiente), se ve que hacer el producto ${\displaystyle Av_{i}\,}$  es ni más ni menos que una combinación lineal de las columnas de la matriz; por lo que el espacio generado por estos productos y las columnas de la matriz es el mismo. Por lo tanto, teniendo en cuenta lo demostrado en el punto anterior, ${\displaystyle {\Bigg \{}{\frac {Av_{1}}{\sigma _{1}}},\cdots ,{\frac {Av_{r}}{\sigma _{r}}}{\Bigg \}}}$  es una base ortonormal del ${\displaystyle Col(A)\,}$ 
3. Es claro que si los vectores ${\displaystyle v_{i},\,\,r+1\leq i\leq n}$  están asociados a autovalores nulos, teniendo en cuenta lo visto en el punto 1 y también sabiendo que ${\displaystyle Nul(A)=Nul(A^{T}A)\,}$  (demostración en el último punto de esta lista de propiedades) se ve que ${\displaystyle {\Big \{}v_{r+1},\cdots ,v_{n}{\Big \}}}$  es una base ortonormal del ${\displaystyle Nul(A)\,}$ 
4. Mirando la dimensión del subespacio hallado en el punto 2 de esta demostración, es claro que ${\displaystyle rango(A)=r\,}$ 

Descomposición en Valores Singulares de una matriz

Una DVS de ${\displaystyle A\,}$  es una factorización del tipo ${\displaystyle A=U\Sigma V^{T}\,}$  con ${\displaystyle U\in \mathbb {R} ^{m\times m}}$ , ${\displaystyle V\in \mathbb {R} ^{n\times n}}$  ortogonales y ${\displaystyle \Sigma \in \mathbb {R} ^{m\times n}}$  una matriz formada con los Valores Singulares de ${\displaystyle A\,}$  en su diagonal principal ordenados de mayor a menor.

Demostración

Sean ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$  los autovalores de ${\displaystyle A^{T}A\in \mathbb {R} ^{n\times n}}$  ordenados de esta manera. Sea ${\displaystyle {\big \{}v_{1},\cdots ,v_{n}{\big \}}}$  una base ortonormal de ${\displaystyle \mathbb {R} ^{n}\,}$  formada por autovectores de ${\displaystyle A^{T}A\,}$ , cada uno asociados (en orden) a un autovalor.

Recordemos que el conjunto ${\displaystyle {\Big \{}Av_{1},\cdots ,Av_{n}{\Big \}}}$  es ortogonal, con ${\displaystyle Av_{r+1}=\cdots =Av_{m}=0_{\mathbb {R} ^{m}}}$ . Si llamamos ${\displaystyle u_{1}={\frac {Av_{1}}{\sigma _{1}}},\cdots ,u_{r}={\frac {Av_{r}}{\sigma _{r}}}}$ , vemos que:

• ${\displaystyle {\big \{}u_{1},\cdots ,u_{r}{\big \}}}$  es un conjunto ortonormal. Entonces, si ${\displaystyle r<m\,}$  podemos completar con ${\displaystyle {\big \{}u_{r+1},\cdots ,u_{m}{\big \}}}$  hasta formar una base ortonormal de ${\displaystyle \mathbb {R} ^{m}}$ 

• ${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\\vdots \\Av_{r}=\sigma _{r}u_{r}\\Av_{r+1}=0_{\mathbb {R} ^{m}}\\\vdots \\Av_{n}=0_{\mathbb {R} ^{m}}\end{array}}\right.}$ 

• Reescribiendo este último sistema de ecuaciones de manera matricial con las matrices ${\displaystyle V=[v_{1}\quad \cdots \quad v_{n}]\in \mathbb {R} ^{n\times n}}$  ortogonal y

${\displaystyle U\Sigma =\underbrace {[u_{1}\quad \quad \cdots \quad \quad u_{m}]} _{U\in \Re ^{m\times m}\;ortogonal}\underbrace {\left[{\begin{array}{ccccccc}\sigma _{1}&0&\cdots &0&0&\cdots &0\\0&\sigma _{2}&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma _{r}&0&\cdots &0\\0&0&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &0&0&\cdots &0\\\end{array}}\right]} _{\Sigma \in \Re ^{m\times n}}=[\sigma _{1}u_{1}\quad \cdots \quad \sigma _{r}u_{r}\quad 0\quad \cdots \quad 0]}$ 

Claramente ${\displaystyle AV=U\Sigma \,}$  y, finalmente, como ${\displaystyle V\,}$  es una matriz ortogonal ${\displaystyle A=U\Sigma V^{T}\,}$ . Esta es la ecuación de una DVS de ${\displaystyle A\,}$ .

Viendo esta descomposición, es claro que la matriz ${\displaystyle A\,}$  puede escribirse como combinación lineal de matrices de rango 1 tal que:

${\displaystyle A=\sum _{i=1}^{r}\sigma _{i}u_{i}v_{i}^{T}}$ 

Teorema

Toda matriz ${\displaystyle A\in \mathbb {R} ^{m\times n}}$  admite una DVS.

Descomposición en Valores Singulares Reducida (DVS Reducida)

Este tipo de descomposición resulta de quedarse sólo con los ${\displaystyle r\,}$  autovectores unitarios asociados a los ${\displaystyle r\,}$  Valores Singulares no nulos. Las matrices ${\displaystyle U,\,V,y\,\Sigma }$  entonces son:

${\displaystyle U_{r}=[u_{1}\quad \cdots \quad u_{r}]^{T}}$ 

${\displaystyle V_{r}=[v_{1}\quad \cdots \quad v_{r}]^{T}}$ 

${\displaystyle \Sigma _{r}=diag[\sigma _{1}\quad \cdots \quad \sigma _{r}]^{T}}$ 

${\displaystyle A=U_{r}\Sigma _{r}V_{r}^{T}}$ 

Observación: ${\displaystyle \Sigma _{r}\,}$  es una matriz diagonal de dimensión ${\displaystyle r\times r\,}$ 

Propiedades

Las matrices a continuación denotadas con la letra ${\displaystyle P\,}$ , son de proyección sobre el subespacio indicado. Las matrices denotadas con la letra ${\displaystyle I\,}$  son las identidades del orden denotado.

• ${\displaystyle P_{Col(A)}=U_{r}U_{r}^{T}}$ 

• ${\displaystyle P_{Nul\left(A^{T}\right)}=I_{m}-U_{r}U_{r}^{T}=U_{m-r}U_{m-r}^{T}}$ 

• ${\displaystyle P_{Fil(A)}=V_{r}V_{r}^{T}}$ 

• ${\displaystyle P_{Nul(A)}=I_{n}-V_{r}V_{r}^{T}=V_{n-r}V_{n-r}^{T}}$ 

• ${\displaystyle U_{r}^{T}U_{r}=U_{m-r}^{T}U_{m-r}=I_{m}}$ 

• ${\displaystyle V_{r}^{T}V_{r}=V_{n-r}^{T}V_{n-r}=I_{n}}$ 

• ${\displaystyle {\big \{}u_{1},\cdots ,u_{r}{\big \}}}$  es una base ortonormal de ${\displaystyle Col(A)\,}$ 

• ${\displaystyle {\big \{}u_{r+1},\cdots ,u_{m}{\big \}}}$  es una base ortonormal de ${\displaystyle Nul\left(A^{T}\right)\,}$ 

• ${\displaystyle {\big \{}v_{1},\cdots ,v_{r}{\big \}}}$  es una base ortonormal de ${\displaystyle Fil(A)\,}$ 

• ${\displaystyle {\big \{}v_{r+1},\cdots ,v_{n}{\big \}}}$  es una base ortonormal de ${\displaystyle Nul(A)\,}$ 

• ${\displaystyle A=U\Sigma V^{T}\Longrightarrow A^{T}=\left(U\Sigma V^{T}\right)^{T}=V\Sigma ^{T}U^{T}}$ 

• ${\displaystyle A^{T}A=V\Sigma ^{T}U^{T}U\Sigma V^{T}\Longleftrightarrow A^{T}A=V\Sigma ^{T}\Sigma V^{T}\Longleftrightarrow A^{T}A=V_{r}\,\,diag[\lambda _{1}\quad \cdots \quad \lambda _{r}]^{T}\,\,V_{r}^{T}}$  Una diagonalización ortogonal de ${\displaystyle A^{T}A\,}$ 

• Las matrices simétricas ${\displaystyle A^{T}A\in \mathbb {R} ^{n\times n}\,}$  y ${\displaystyle AA^{T}\in \mathbb {R} ^{m\times m}\,}$  tienen los mismos autovalores no nulos y, por lo tanto, los Valores Singulares no nulos de la matriz ${\displaystyle A\,}$  pueden calcularse usando cualquiera de estas 2. Además, todos los vectores del conjunto ${\displaystyle {\big \{}u_{1},\cdots ,u_{r}{\big \}}}$  son autovectores de ${\displaystyle AA^{T}\in \mathbb {R} ^{m\times m}\,}$  y también, como ya se mencionó, ${\displaystyle Nul\left(A^{T}\right)={\big \{}u_{r+1},\cdots ,u_{m}{\big \}}}$ . Esto es fácil de ver, teniendo en cuenta que:

${\displaystyle \forall \quad 1\leq i\leq r\,\,:\quad Av_{i}=\sigma _{i}u_{i}\Longleftrightarrow A\underbrace {A^{T}Av_{i}} _{\lambda _{i}\cdot v_{i}}=\sigma _{i}\cdot AA^{T}u_{i}\Longleftrightarrow \lambda _{i}\cdot Av_{i}=\sigma _{i}^{2}\cdot \underbrace {Av_{i}} _{\sigma _{i}u_{i}}=\sigma _{i}\cdot AA^{T}u_{i}\Longleftrightarrow AA^{T}u_{i}=\sigma _{i}^{2}\cdot u_{i}=\lambda _{i}\cdot u_{i}}$ 

Este resultado es útil para facilitar el cálculo de Valores Singulares. Por ejemplo, dada ${\displaystyle A\in \mathbb {R} ^{2\times 8}\,}$ , entonces ${\displaystyle A^{T}A\in \mathbb {R} ^{8\times 8}\,}$  tiene un polinomio característico de grado 8 y ${\displaystyle AA^{T}\in \mathbb {R} ^{2\times 2}\,}$  tiene un polinomio característico de grado 2. Como los autovalores no nulos de ambas matrices coinciden, el cálculo de Valores Singulares de ${\displaystyle A\,}$  se hace más sencillo.

Aplicaciones

Pseudoinversa

Para una matriz no cuadrada ${\displaystyle A}$  descompuesta en valores singulares ${\displaystyle A=U\Sigma V^{T}\,}$ , su pseudoinversa es

${\displaystyle A^{+}=V\Sigma ^{+}U^{T}\,}$ 

donde ${\displaystyle \Sigma ^{+}}$ es la pseudoinversa de ${\displaystyle \Sigma }$ , que siendo una matriz diagonal se computa reemplazando todos los valores no ceros de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

Solución de norma mínima

La pseudoinversa obtenida mediante la DVS permite hallar x que minimiza la norma ||Ax-b|| . La solución esː

${\displaystyle x_{min}=A^{+}b=V\Sigma ^{+}U^{T}b}$ 

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado Ax = b.

Solución de ecuaciones lineales homogéneas

Un conjunto de ecuaciones lineales homogéneas se puede escribir Ax = 0 para una matriz A y un vector x. Una situación típica consiste hallar x no cero, conociendo A. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si A no tiene ningún valor singular cero, entonces no hay solución aparte de x = 0.

Minimización de cuadrados mínimos totales

El problema de minimización por cuadrados mínimos totales consiste en hallar x que minimiza la norma ||Ax|| bajo la condición ||x|| = 1

${\displaystyle \min _{x}\parallel Ax\parallel }$  para ${\displaystyle \parallel x\parallel =1}$ 

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Ejemplos de cálculo de DVS

Ejemplo 1

Si ${\displaystyle A=\left[{\begin{array}{cc}0&0\\0&9\\3&0\end{array}}\right]}$ , entonces ${\displaystyle A^{T}A=\left[{\begin{array}{cc}9&0\\0&81\end{array}}\right]}$  cuyos autovalores son ${\displaystyle \lambda _{1}=81\quad \wedge \quad \lambda _{2}=9}$  asociados a los autovectores ${\displaystyle v_{1}=[0\quad 1]^{T}\quad \wedge \quad v_{2}=[1\quad 0]^{T}}$ . Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los Valores Singulares de ${\displaystyle A\,}$  son ${\displaystyle \sigma _{1}={\sqrt {81}}=9\quad \wedge \quad \sigma _{2}={\sqrt {9}}=3}$ . Observamos que, efectivamente, la cantidad de Valores Singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores ${\displaystyle {\big \{}u_{1},u_{2},u_{3}{\big \}}}$  con ${\displaystyle u_{i}\in \mathbb {R} ^{3}}$ , que deberán cumplir

${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\Av_{2}=\sigma _{2}u_{2}\\Av_{3}=0_{\mathbb {R} ^{3}}\end{array}}\right.}$ 

Esto es ${\displaystyle u_{1}={\frac {Av_{1}}{\sigma _{1}}}={\frac {1}{9}}[0\quad 9\quad 0]^{T}=[0\quad 1\quad 0]^{T}}$  y ${\displaystyle u_{2}={\frac {Av_{2}}{\sigma _{2}}}={\frac {1}{3}}[0\quad 0\quad 3]^{T}=[0\quad 0\quad 1]^{T}}$ .

Entonces completamos una base ortonormal de ${\displaystyle \mathbb {R} ^{3}\,}$  con ${\displaystyle {\Big \{}[0\quad 1\quad 0]^{T},[0\quad 0\quad 1]^{T},[1\quad 0\quad 0]^{T}{\Big \}}}$ .

Nuestras matrices ortogonales son:

${\displaystyle U=\left[{\begin{array}{ccc}0&0&1\\1&0&0\\0&1&0\end{array}}\right]\quad V=\left[{\begin{array}{cc}0&1\\1&0\end{array}}\right]}$ 

Y la matriz compuesta por los Valores Singulares ordenados:

${\displaystyle \Sigma =\left[{\begin{array}{cc}9&0\\0&3\\0&0\end{array}}\right]}$ 

Por lo tanto la DVS de ${\displaystyle A\,}$  es:

${\displaystyle A=\left[{\begin{array}{ccc}0&0&1\\1&0&0\\0&1&0\end{array}}\right]\left[{\begin{array}{cc}9&0\\0&3\\0&0\end{array}}\right]\left[{\begin{array}{cc}0&1\\1&0\end{array}}\right]=9\cdot \left[{\begin{array}{c}0\\1\\0\end{array}}\right]\cdot [0\quad 1]\,+\,3\cdot \left[{\begin{array}{c}0\\0\\1\end{array}}\right]\cdot [1\quad 0]=\left[{\begin{array}{cc}0&0\\0&9\\3&0\end{array}}\right]}$ .

Y la DVS Reducida es

${\displaystyle A=\left[{\begin{array}{cc}0&0\\1&0\\0&1\end{array}}\right]\left[{\begin{array}{cc}9&0\\0&3\end{array}}\right]\left[{\begin{array}{cc}0&1\\1&0\end{array}}\right]}$ 

Observación: No siempre ocurre que ${\displaystyle V=V^{T}\,}$  como en este caso.

Ejemplo 2

Sea ${\displaystyle B=\left[{\begin{array}{ccc}0&0&1\\0&0&1\end{array}}\right]}$ . Entonces, para hacer más sencillo el proceso, calculamos ${\displaystyle BB^{T}=\left[{\begin{array}{cc}1&1\\1&1\end{array}}\right]}$  que tiene un polinomio característico de grado 2. Los autovalores son ${\displaystyle \lambda _{1}=2\quad \wedge \quad \lambda _{2}=0}$  asociados a los autovectores de norma unitaria ${\displaystyle u_{1}={\frac {1}{\sqrt {2}}}\cdot [1\quad 1]^{T}\quad \wedge \quad u_{2}={\frac {1}{\sqrt {2}}}\cdot [-1\quad 1]^{T}}$ . Nuestro único valor singular no nulo es ${\displaystyle \sigma _{1}={\sqrt {2}}}$ 

Observaciones:

• Es claro que ${\displaystyle rango(B)=1\,}$  coincide con la cantidad de Valores Singulares no nulos de la matriz y además ${\displaystyle Col(B)={\Bigg \{}{\frac {1}{\sqrt {2}}}\cdot [1\quad 1]^{T}{\Bigg \}}\,}$ 
• Sabemos que ${\displaystyle B^{T}B\in \mathbb {R} ^{3\times 3}\,}$  tiene un polinomio característico de grado 3. Entonces, sus raíces son ${\displaystyle \lambda _{1}=2,\,\,\lambda _{2}=\lambda _{3}=0}$ . Veámoslo:

${\displaystyle B^{T}B=\left[{\begin{array}{ccc}0&0&0\\0&0&0\\0&0&2\end{array}}\right]\Longrightarrow p\left(\lambda \right)=det\left(B^{T}B-\lambda \cdot I_{3}\right)=-\lambda ^{3}+2\lambda ^{2}}$ 

Ahora, sabemos que ${\displaystyle Bv_{i}=\sigma _{i}u_{i}\Longleftrightarrow B^{T}Bv_{i}=\sigma _{i}^{2}v_{i}=\sigma _{i}\cdot B^{T}u_{i}}$ , es decir ${\displaystyle B^{T}u_{i}=\sigma _{i}v_{i}\Longleftrightarrow v_{i}={\frac {B^{T}u_{i}}{\sigma _{i}}}}$ . Entonces, resulta del único Valor singular no nulo: ${\displaystyle v_{1}={\frac {1}{2}}\cdot [0\quad 0\quad 2]^{T}=[0\quad 0\quad 1]^{T}}$ .

Ahora, completamos una base ortonormal de ${\displaystyle \mathbb {R} ^{3}\,}$  con ${\displaystyle {\Big \{}[0\quad 0\quad 1]^{T},[1\quad 0\quad 0]^{T},[0\quad 1\quad 0]^{T}{\Big \}}}$ . En este ejemplo, nuestras matrices ortogonales son:

${\displaystyle U={\frac {1}{\sqrt {2}}}\cdot \left[{\begin{array}{cc}1&-1\\1&1\end{array}}\right]\quad V=\left[{\begin{array}{ccc}0&1&0\\0&0&1\\1&0&0\end{array}}\right]}$ 

${\displaystyle \Sigma =\left[{\begin{array}{ccc}{\sqrt {2}}&0&0\\0&0&0\end{array}}\right]}$ 

Y la DVS resulta entonces:

${\displaystyle B={\frac {1}{\sqrt {2}}}\cdot \left[{\begin{array}{cc}1&-1\\1&1\end{array}}\right]\left[{\begin{array}{ccc}{\sqrt {2}}&0&0\\0&0&0\end{array}}\right]\left[{\begin{array}{ccc}0&0&1\\1&0&0\\0&1&0\end{array}}\right]=\left[{\begin{array}{c}1\\1\end{array}}\right]\left[{\begin{array}{ccc}0&0&1\end{array}}\right]=\left[{\begin{array}{ccc}0&0&1\\0&0&1\end{array}}\right]}$ 

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.

Véase también

• Matriz normal
• Matriz ortogonal
• Matriz simétrica
• Diagonalización de una matriz
• Subespacios fundamentales de una matriz
• Pseudoinversa de Moore-Penrose

•   Datos: Q420904