特異値分解の数学的な理論と証明【特異値・特異ベクトル】

①対称行列であることは自明である. \(A^T A \, \boldsymbol{v}=\lambda\, \boldsymbol{v}\) （ \(\boldsymbol{v}\neq 0\) ）のとき, \[\begin{aligned} \boldsymbol{v}^T A^T A \, \boldsymbol{v}=\lambda \boldsymbol{v}^T\boldsymbol{v}=\lambda |\boldsymbol{v}|^2. \end{aligned}\] また \[\begin{aligned} \boldsymbol{v}^T A^T A \, \boldsymbol{v}= (A\boldsymbol{v}, A\boldsymbol{v})=|A\boldsymbol{v}|^2. \end{aligned}\] したがって, \(\lambda \geq 0\) である. \(A A^T\) についても同様.

②( \(\Rightarrow\) について.)
\(\boldsymbol{v}\) が特異値 \(\sigma\) の右特異ベクトルであるとき, 特異ベクトルの定義から, ベクトル \(\boldsymbol{u}\) が存在して, \[A \boldsymbol{v} =\sigma \, \boldsymbol{u}, \quad A^T \boldsymbol{u} =\sigma \, \boldsymbol{v}\] と書ける. 同様に, \(\boldsymbol{u}\) が左特異ベクトルであるときも, ベクトル \(\boldsymbol{v}\) が存在して, 同じ式が成り立つ. 両辺にそれぞれ \(A^T, A\) をかければ \[\begin{aligned} A^T A \boldsymbol{v} =\sigma^2 \boldsymbol{v}, \quad A A^T \boldsymbol{u} =\sigma^2 \boldsymbol{u}. \end{aligned}\]

( \(\Leftarrow\) について.)
\(A^T A \, \boldsymbol{v}=\sigma^2\, \boldsymbol{v}\) のとき, \[\begin{aligned} A A^T A \, \boldsymbol{v}= \sigma^2 \, A \boldsymbol{v}. \end{aligned}\] \(\boldsymbol{u}=\sigma^{-1} A \boldsymbol{v}\) とおくと, \[\begin{aligned} &\sigma\, A A^T \boldsymbol{u} = \sigma^3 \, \boldsymbol{u}\\ & A A^T \boldsymbol{u} = \sigma^2\, \boldsymbol{u} \end{aligned}\] となる. よって, \(A A^T\) の固有値は \(A^T A\) の固有値でもある. 同様にして, \(A^T A\) の固有値は \(A A^T\) の固有値でもあるので, 両者の固有値は一致する. また \[\begin{aligned} A^T \boldsymbol{u}=\sigma^{-1} A^{T}A \boldsymbol{v}=\sigma \boldsymbol{v} \end{aligned}\] より, \(\boldsymbol{u}^T\, A =\sigma\, \boldsymbol{v}^T\) をみたす. したがって \(\boldsymbol{v}\) は \(A\) の右特異ベクトルになっている. 同様にして, \(A A^T \, \boldsymbol{u}=\sigma^2\, \boldsymbol{u}\) のとき, \(\boldsymbol{u}\) は \(A\) の左特異ベクトルになる.

特異ベクトルは対称行列 \(A A^T\) , \(A^T A\) における固有ベクトルだから, 固有値が異なれば直交する. したがって, \(\sigma_i \neq \sigma_j\) ならば \((\boldsymbol{v}_i, \boldsymbol{v}_j)=(\boldsymbol{u}_i, \boldsymbol{u}_j)=0\) となる. 一方, \(\sigma_i =\sigma_j\) のとき, \[\begin{aligned} &(\boldsymbol{v}_i, \boldsymbol{v}_j)= \boldsymbol{v}_i^T \boldsymbol{v}_j =(\sigma_i^{-1} \boldsymbol{u}_i^T A) (\sigma_j^{-1}A^T \boldsymbol{u}_j)\\ &=\sigma_i^{-1} \sigma_j^{-1} \boldsymbol{u}_i^T A A^T \boldsymbol{u}_j =\sigma_j^{-2} \boldsymbol{u}_i^T (\sigma_j^2 \boldsymbol{u}_j)=(\boldsymbol{u}_i, \boldsymbol{u}_j). \end{aligned}\] ここで, 4つ目の等式では上の命題から \(A A^T \, \boldsymbol{u}_j =\sigma_j^2 \, \boldsymbol{u}_j\) を用いた.

\(A\) を \(n\times m\) 行列とする. \(A^T A\) は \(m\) 次対称行列だから, 固有ベクトルで \(\mathbb{R}^m\) 上の正規直交基底を作ることができる. \(( \boldsymbol{v}_1, \ldots, \boldsymbol{v}_r )\) は \(A^T A\) の固有値が \(0\) でない固有空間全体を張るから, ここに, 固有値が \(0\) であるベクトルを付け加えて, \(\mathbb{R}^m\) 上の正規直交基底 \[( \boldsymbol{v}_1, \ldots, \boldsymbol{v}_r, \boldsymbol{v}_{r+1}, \ldots, \boldsymbol{v}_m )\] を得ることができる. \(i\geq r+1\) に対して, \(\boldsymbol{v}_i\) は \(A^T A\) の固有値 \(0\) の固有ベクトルだから \[\begin{aligned} &A^T A \boldsymbol{v}_i=\boldsymbol{0},\\ &\boldsymbol{v}_i^T A^T A \boldsymbol{v}_i=0, \\ &(A\boldsymbol{v}_i, A \boldsymbol{v}_i)=0,\\ &A \boldsymbol{v}_i=\boldsymbol{0}\quad (i\geq r+1). \end{aligned}\] また \(\displaystyle E=\sum_{i=1}^m \boldsymbol{v}_i \boldsymbol{v}_i^T\) だから, これに \(A\) を掛けると, \(A \boldsymbol{v}_i=\boldsymbol{0}\quad (i\geq r+1)\) から \[A= \sigma_1 \boldsymbol{u}_1 \boldsymbol{v}_1^T+\sigma_2 \boldsymbol{u}_2 \boldsymbol{v}_2^T+\cdots +\sigma_r \boldsymbol{u}_r \boldsymbol{v}_r^T\] となる.

\(A\) の列の数を \(m\) とし, \(A\) の列ベクトルを \(\boldsymbol{a}_1, \ldots , \boldsymbol{a}_m\) とする. つまり \[A=\begin{pmatrix}\boldsymbol{a}_1 &\cdots & \boldsymbol{a}_m\end{pmatrix}.\] ここで \(\boldsymbol{c}=\begin{pmatrix}c_1\\ \vdots \\ c_m\end{pmatrix}\) を定数ベクトルとし, 上の定理（特異値分解）と同じ記号を用いると \[\begin{aligned} &\sum_{k=1}^m c_k \boldsymbol{a}_k=A \boldsymbol{c}\\ &=\sum_{i=1}^r \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^T \boldsymbol{c}\\ &=\sum_{i=1}^r \sigma_i (\boldsymbol{v}_i, \boldsymbol{c}) \, \boldsymbol{u}_i. \qquad \cdots (\mbox{ア}) \end{aligned}\] よって, \(\boldsymbol{a}_1, \ldots , \boldsymbol{a}_m\) の任意の線形結合は \(r\) 個のベクトル \(\boldsymbol{u}_1, \ldots , \boldsymbol{u}_r\) の線形結合で書ける. よって, \(\mathop{\mathrm{rank}}A\) は \(A\) の線形独立な列ベクトルの最大個数であるから, \[\mathop{\mathrm{rank}}A\leq r.\] 一方, \(\boldsymbol{u}_1, \ldots , \boldsymbol{u}_r\) の任意の線形結合 \(\displaystyle\sum_{i=1}^r d_i \boldsymbol{u}_i\) （ \(d_i\) は定数）は \(\boldsymbol{a}_1, \ldots , \boldsymbol{a}_m\) の線形結合で書ける. 実際, \(c_1, \ldots , c_m\) についての連立方程式 \[V^T \boldsymbol{c}=\begin{pmatrix}\sigma_1^{-1}d_1 \\ \vdots \\ \sigma_r^{-1}d_r\end{pmatrix}, \quad V=\begin{pmatrix}\boldsymbol{v}_1 &\cdots & \boldsymbol{v}_r\end{pmatrix}\] は, \(\boldsymbol{v}_1, \ldots , \boldsymbol{v}_r\) が線形独立だから解をもち, (ア) より, この解を用いれば \(\displaystyle\sum_{k=1}^m c_k \boldsymbol{a}_k=\sum_{i=1}^r d_i \boldsymbol{u}_i\) となることが分かる.
\(\boldsymbol{u}_1, \ldots , \boldsymbol{u}_r\) は線形独立であり, \(r\) 次元空間を張るから, 以上より \(\mathop{\mathrm{rank}}A= r\) となる.