射影 - バイオインフォの森

1. 正射影ベクトル

(1) 定義

$x\in\mathbb{R}^n$ に対し、部分空間 $\mathbb{R}^m$ のベクトルのうち $x$ との距離が最小になる $y\in\mathbb{R}^m$ を $x$ の $\mathbb{R}^m$ への正射影ベクトルという。
「距離が最小」という条件は、$x-y$ が部分空間 $\mathbb{R}^m$ に垂直であることを意味する。

(2) 計算例①：$\mathbb{R}^n$ から $\mathbb{R}^m$ への射影

$A=[\mathbf{a}_1,\dots,\mathbf{a}_m]$ を $\mathbb{R}^m$ の基底とする（列に基底ベクトルを並べた $n\times m$ 行列）。
$x\in\mathbb{R}^n$ の $\mathbb{R}^m$ への射影を $n$ 次元ベクトルで $p\in\mathbb{R}^n$ とする。
$p$ は基底に沿って $p=A\mathbf{c}$ と書ける（$\mathbf{c}=(c_1,\dots,c_m)^{\mathsf T}$ は係数）。
「垂直条件」より $\mathbf{a}_i^{\mathsf T}(x-p)=0\ (i=1,\dots,m)$、すなわち $A^{\mathsf T}(x-p)=\mathbf{0}$。
$p=A\mathbf{c}$ を代入して $A^{\mathsf T}(x-A\mathbf{c})=\mathbf{0}$、したがって
$$
A^{\mathsf T}A\,\mathbf{c}=A^{\mathsf T}x
$$
$A^{\mathsf T}A$ が正則（列が一次独立）なら
$$
\mathbf{c}=(A^{\mathsf T}A)^{-1}A^{\mathsf T}x
$$

(3) 計算例②：正射影ベクトルの導出（一次元方向）

$x\in\mathbb{R}^2$ をベクトル $\mathbf{a}\in\mathbb{R}^2$ の張る直線へ正射影する。$A=[\mathbf{a}]\in\mathbb{R}^{2\times1}$ とすれば
$$
\mathbf{c}=(\mathbf{a}^{\mathsf T}\mathbf{a})^{-1}\mathbf{a}^{\mathsf T}x=\frac{\mathbf{a}^{\mathsf T}x}{|\mathbf{a}|^2}
$$
正射影ベクトルは
$$
p=A\mathbf{c}=\frac{\mathbf{a}^{\mathsf T}x}{|\mathbf{a}|^2}\,\mathbf{a}
$$

2. 射影行列

(1) 定義

$P^2=P$ を満たす正方行列 $P$ を射影行列という。一般に $Px$ は正射影とは限らない。

(2) 例

$P=\begin{pmatrix}1&1\\0&0\end{pmatrix}$ とすると
$$
P^2=P
$$
より $P$ は射影行列である。
$P(x,y)^{\mathsf T}=(x+y,0)^{\mathsf T}$。$x$ 軸への直交射影ではない（正射影ではない）点に注意。

3. 直交射影行列

(1) 定義

$P^2=P$ を満たす対称行列 $P$ を直交射影行列という。このとき $Px$ は正射影ベクトルになる。

(2) 例

$P=\dfrac{1}{2}\begin{pmatrix}1&1\\1&1\end{pmatrix}$ とすれば
$$
P^2=P,\quad P^{\mathsf T}=P
$$
で直交射影行列。$P(x,y)^{\mathsf T}=\dfrac{1}{2}(x+y,x+y)^{\mathsf T}$ は直線 $\mathrm{span}{(1,1)^{\mathsf T}}$ への正射影を与える。

(3) 射影行列の公式（最小二乗の正規方程式から）

1(2) で得た $\mathbf{c}$ を用いると $p=A\mathbf{c}=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}x$。よって
$$
P=A(A^{\mathsf T}A)^{-1}A^{\mathsf T}
$$
が直交射影行列。実際 $P^2=P,\ P^{\mathsf T}=P$ が成り立つ。

(4) 射影行列の性質（$\mathrm{tr}P=\mathrm{rank}P$）

主張：射影行列 $P$ のトレースは $\mathrm{rank}(P)$ に等しい。
証明（丁寧）：$P^2=P$ から、任意の固有値 $\lambda$ は $\lambda^2=\lambda$ を満たし、したがって $\lambda\in{0,1}$。$P$ は相似変換でジョルダン標準形にできるが、固有値が $0$ または $1$ なのでジョルダンブロックも 1×1（$P$ は対角化可能）になる。ゆえにある可逆行列 $S$ が存在し $S^{-1}PS=\mathrm{diag}(\underbrace{1,\dots,1}_{r},\underbrace{0,\dots,0}_{n-r})$。ここで $r=\mathrm{rank}(P)$（像の次元＝$1$ の固有空間の次元）。相似不変量として $\mathrm{tr}P=\mathrm{tr}(S^{-1}PS)=r$。$\square$

4. 射影作用素

(1) 固有空間

$E$ を単位行列として、$\mathrm{Ker}(A-\lambda E)$ を $A$ の固有値 $\lambda$ に対応する固有空間 $V(\lambda)$ という（$\mathbf{v}\neq\mathbf{0}$ で $(A-\lambda E)\mathbf{v}=\mathbf{0}$ となるベクトル全体と $0$）。

(2) 射影作用素

固有空間 $V(\lambda)$ への直交射影行列を、その固有空間に対する射影作用素という（以降、$A$ が実対称や正規行列などで固有空間が直交直和分解を与える状況を想定）。

5. 射影作用素の性質

(1) 異なる射影作用素は可換で積が 0

主張：直交する 2 つの部分空間 $U\perp W$ への直交射影をそれぞれ $P_U,\ P_W$ とすると $P_UP_W=P_WP_U=\mathbf{0}$（零行列）。
証明：任意の $\mathbf{x}$ に対し $P_W\mathbf{x}\in W$。直交性から $P_U(P_W\mathbf{x})=\mathbf{0}$。よって $P_UP_W=\mathbf{0}$。対称にして $P_WP_U=\mathbf{0}$。さらに像の直交性より $P_U$ と $P_W$ は可換（どちらを先に掛けても零）。

(2) 和は単位行列（詳しい証明）

主張：$A$ が対角化可能で固有空間が直交直和分解
$$
\mathbb{R}^n=V(\lambda_1)\oplus\cdots\oplus V(\lambda_k)
$$
を与えるとき、対応する直交射影 $P_i$（$V(\lambda_i)$ への射影）の和は
$$
P_1+\cdots+P_k=E
$$
となる（$E$ は単位行列）。
証明（初学者向けの道筋）：

直交直和分解の仮定から、任意の $\mathbf{x}\in\mathbb{R}^n$ は一意に $\mathbf{x}=\mathbf{x}_1+\cdots+\mathbf{x}_k$ と分解できる（$\mathbf{x}_i\in V(\lambda_i)$）。
$P_i$ は $V(\lambda_i)$ への直交射影なので、$P_i\mathbf{x}=\mathbf{x}_i$（定義より、「その部分空間成分」を取り出す作用）。
よって
$$
(P_1+\cdots+P_k)\mathbf{x}=P_1\mathbf{x}+\cdots+P_k\mathbf{x}=\mathbf{x}_1+\cdots+\mathbf{x}_k=\mathbf{x}
$$
すべての $\mathbf{x}$ で $(P_1+\cdots+P_k)\mathbf{x}=\mathbf{x}$ だから、$P_1+\cdots+P_k=E$。$\square$

具体例：$A=\begin{pmatrix}2&0\\0&3\end{pmatrix}$。$V(2)=\mathrm{span}{(1,0)^{\mathsf T}}$、$V(3)=\mathrm{span}{(0,1)^{\mathsf T}}$。$P_1=\begin{pmatrix}1&0\\0&0\end{pmatrix}$、$P_2=\begin{pmatrix}0&0\\0&1\end{pmatrix}$。確かに $P_1+P_2=E$。

6. 射影作用素の公式

(1) ケーリーハミルトンの定理（詳しい証明）

主張：$n\times n$ 行列 $A$ の特性多項式を $p_A(t)=\det(tE-A)$ とおくと
$$
p_A(A)=\mathbf{0}
$$
が成り立つ（各項の $t^j$ を $A^j$ に置き換える意味）。
証明（adjugate を用いる古典的証明）：

任意の正方行列 $B$ について、随伴行列（余因子行列の転置）$\mathrm{adj}(B)$ を用いると
$$
\mathrm{adj}(B)\,B=B\,\mathrm{adj}(B)=\det(B)\,E
$$
が成り立つ（余因子展開の公式）。
ここで $B=tE-A$ とおく。すると $\mathrm{adj}(tE-A)$ の各成分は $t$ の多項式、右辺は $\det(tE-A)E=p_A(t)E$。よって
$$
\mathrm{adj}(tE-A)\,(tE-A)=p_A(t)\,E
$$
が行列の係数が多項式の恒等式として成り立つ。
左辺を展開すると $t$ のべきの多項式係数で成り立つ恒等式なので、形式的に「$t$ を $A$ に置換」できる（$t$ をスカラーの位置から行列に置くと、$tE$ は $A$ になると解釈）。すると
$$
\mathrm{adj}(A-A)\,(A-A)=\mathrm{adj}(\mathbf{0})\,\mathbf{0}=p_A(A)\,E
$$
となり、左辺は $\mathbf{0}$。したがって $p_A(A)=\mathbf{0}$。
より厳密には、$\mathrm{adj}(tE-A)$ を $Q_0+Q_1 t+\cdots+Q_{n-1}t^{n-1}$ と書いて
$$
(Q_0+Q_1 t+\cdots+Q_{n-1}t^{n-1})(tE-A)=p_A(t)E
$$
の両辺の $t$ の係数比較を行い、得られる行列恒等式に $t$ を $A$ へ代入する（$A$ は $E$ と可換なので置換が合法）。すると $p_A(A)=\mathbf{0}$ が従う。$\square$

2×2 のチェック例：$A=\begin{pmatrix}a&b\\c&d\end{pmatrix}$。$p_A(t)=t^2-(a+d)t+(ad-bc)$。計算すると
$$
A^2-(a+d)A+(ad-bc)E=\mathbf{0}
$$
が確かに成り立つ。

(2) ラグランジュの補間多項式（具体式と説明）

設定：互いに異なる $k$ 個の実（または複素）数 $\lambda_1,\dots,\lambda_k$ と、対応する値 $\mu_1,\dots,\mu_k$ が与えられたとする。ラグランジュ補間多項式は、次数 $\le k-1$ の多項式 $L(t)$ で
$$
L(\lambda_i)=\mu_i\quad(i=1,\dots,k)
$$
を満たすものを与える。
基底多項式：各 $i$ について
$$
\ell_i(t)=\prod_{j\ne i}\frac{t-\lambda_j}{\lambda_i-\lambda_j}
$$
と定めると、$\ell_i(\lambda_i)=1$、$\ell_i(\lambda_j)=0\ (j\ne i)$ が成り立つ（$t=\lambda_j$ で $j\ne i$ の因子が 0、$t=\lambda_i$ で分子と分母が同じ積になる）。
一般式：与えた値を実現する補間多項式は
$$
L(t)=\sum_{i=1}^k \mu_i\,\ell_i(t)
$$
である。実際、$t=\lambda_m$ を代入すると $\ell_i(\lambda_m)=\delta_{im}$ だから $L(\lambda_m)=\mu_m$。
小さな例：$\lambda_1=1,\lambda_2=3$、値 $\mu_1=5,\mu_2=2$ のとき
$$
\ell_1(t)=\frac{t-3}{1-3}=\frac{3-t}{2},\quad \ell_2(t)=\frac{t-1}{3-1}=\frac{t-1}{2},
$$
$$
L(t)=5\,\frac{3-t}{2}+2\,\frac{t-1}{2}=\frac{15-5t+2t-2}{2}=\frac{13-3t}{2}.
$$
確かに $L(1)=5,\ L(3)=2$。

(3) 固有値による表現（射影作用素の明示式と証明）

主張（スペクトル分解がある場合）：$A$ が対角化可能で固有値が互いに異なる $\lambda_1,\dots,\lambda_k$ をもち、$V=\bigoplus_{i=1}^k V(\lambda_i)$ と直交直和分解できるとする（実対称・正規行列など）。このとき、$V(\lambda_i)$ への射影作用素 $P_i$ は
$$
P_i=\prod_{j\ne i}\frac{A-\lambda_j E}{\lambda_i-\lambda_j}
$$
と書ける（$P_i$ は $A$ の多項式で与えられる）。
証明（初学者向けの道筋）：

6(2) のラグランジュ基底多項式
$$
\ell_i(t)=\prod_{j\ne i}\frac{t-\lambda_j}{\lambda_i-\lambda_j}
$$
は、$\ell_i(\lambda_i)=1$、$\ell_i(\lambda_j)=0\ (j\ne i)$ を満たす。
行列に対する関数計算の考え方：$A$ が対角化可能なら $A=PDP^{-1}$（$D=\mathrm{diag}(\lambda_1,\dots,\lambda_n)$）。多項式 $q$ に対し $q(A)=P\,q(D)\,P^{-1}$ と定義でき、$q(D)$ は各対角成分に $q(\cdot)$ を作用させた対角行列になる。
そこで $P_i$ を
$$
P_i:=\ell_i(A)
$$
と定める（上の主張の式そのもの）。対角化表示で見ると
$$
P_i=P\,\ell_i(D)\,P^{-1},
$$
ここで $\ell_i(D)=\mathrm{diag}(\ell_i(\lambda_1),\dots,\ell_i(\lambda_n))$ は、$\ell_i(\lambda_i)=1$、それ以外は $0$ の対角行列。
よって $P_i$ は基底（固有ベクトル基底）で見れば、$i$ 番目の座標だけを 1 に残し他は 0 にする座標選択行列になっている。したがって
- $P_i^2=P_i$（同じ座標を 2 回選んでも 1 回と同じ）
- $P_iP_j=\mathbf{0}\ (i\ne j)$（異なる座標は同時に選べない）
- $\sum_i P_i=E$（すべての座標を合計すると元のベクトルに戻る）
任意の固有ベクトル $\mathbf{v}\in V(\lambda_m)$ に対しては
$$
P_i\mathbf{v}=\ell_i(A)\mathbf{v}=\ell_i(\lambda_m)\mathbf{v}=\begin{cases}
\mathbf{v}&(m=i),\\
\mathbf{0}&(m\ne i),
\end{cases}
$$
となり、$P_i$ が「$V(\lambda_i)$ 成分だけを取り出す射影」であることが直接わかる。
よって $P_i=\displaystyle\prod_{j\ne i}\dfrac{A-\lambda_j E}{\lambda_i-\lambda_j}$ は $V(\lambda_i)$ への射影作用素である。$\square$

補足（重複固有値がある場合）：固有値が重複しても $A$ が対角化可能なら、同じ固有値に属する固有空間の直和に対する射影を、同様のラグランジュ式（重複固有値を 1 点として扱う）で与えられる。非対角化（ジョルダン）を含む一般形ではリゾルベントや留数（関数解析）を用いた定義が便利だが、初学者段階では上の「固有ベクトルで対角化できる場合」に焦点を当てれば十分である。