1. 内積空間
本節で扱う定義や定理は、ベクトル空間の要素として複素数も含めてた複素ベクトル空間でも成立する内容になります。
(1) 内積の定義
第1章の定義1.12(以下の記事参照)では内積を成分によって定義しましたが、一般には抽象化して定義します。
定義13.1: 内積
内積とは、ベクトル空間 $V$ の任意の $u,v\in V$ に実数（実内積）または複素数（エルミート内積）を対応させる写像 $\langle\cdot,\cdot\rangle:V\times V\to\mathbb{F}$（$\mathbb{F}=\mathbb{R}$ または $\mathbb{C}$）で、次を満たすものをいう。
1. 対称性（実）/ 共役対称性（複素）
実ベクトル空間の場合：$\langle u,v\rangle=\langle v,u\rangle$ 複素ベクトル空間の場合：$\langle u,v\rangle=\overline{\langle v,u\rangle}$
2. 線形性（第1引数について）
任意のスカラー $a,b$、任意の $u_1,u_2,v\in V$ に対し $$ \langle au_1+bu_2,\ v\rangle=a\langle u_1,v\rangle+b\langle u_2,v\rangle $$ 複素ベクトル空間の場合は第2引数については 共役線形性：$\langle u,\ av_1+bv_2\rangle=\overline{a}\langle u,v_1\rangle+\overline{b}\langle u,v_2\rangle$。
3. 正値性
$\langle v,v\rangle\ge 0$ かつ $\langle v,v\rangle=0\Rightarrow v=\mathbf{0}$
1. 対称性（実）/ 共役対称性（複素）
実ベクトル空間の場合：$\langle u,v\rangle=\langle v,u\rangle$ 複素ベクトル空間の場合：$\langle u,v\rangle=\overline{\langle v,u\rangle}$
2. 線形性（第1引数について）
任意のスカラー $a,b$、任意の $u_1,u_2,v\in V$ に対し $$ \langle au_1+bu_2,\ v\rangle=a\langle u_1,v\rangle+b\langle u_2,v\rangle $$ 複素ベクトル空間の場合は第2引数については 共役線形性：$\langle u,\ av_1+bv_2\rangle=\overline{a}\langle u,v_1\rangle+\overline{b}\langle u,v_2\rangle$。
3. 正値性
$\langle v,v\rangle\ge 0$ かつ $\langle v,v\rangle=0\Rightarrow v=\mathbf{0}$
(2) ノルムの定義 (再掲)
以下の記事で扱ったように第1章の定義1.13のノルムの定義と同様、ノルムは内積から定めます。
定義13.2: ノルム
ノルムは内積を用いて以下のように定義される。
$$
|v|=\sqrt{\langle v,v\rangle}
$$
(3) 角度の定義
第1章の定理1.15では先に角度という概念がありそれを内積で表現しましたが、より一般的には角度も内積から定めます。
定義13.4: 角度
非零ベクトル $u,v$ のなす角 $\theta$ を
$$
\cos\theta=\frac{\langle u,v\rangle}{|u|\ |v|}
$$
で定める。
なお、後述するコーシー・シュワルツより分母は $0$ でなく $|\cos\theta|\le 1$です。
(4) 内積空間の定義
定義13.5: 内積空間
加法とスカラー倍に加え、内積が定められたベクトル空間 $(V,\langle\cdot,\cdot\rangle)$ を内積空間という。
(5) 内積空間に関する定理(1)：コーシー・シュワルツの不等式
定理13.6: コーシー・シュワルツの不等式
任意の $u,v\in V$ について
$$
|\langle u,v\rangle|\le |u|\ |v|
$$
証明をみる
$t\in\mathbb{R}$ と任意に取り、$|u-tv|^2\ge 0$ を用いる： $$ |u-tv|^2=\langle u-tv,\ u-tv\rangle=|u|^2-2t\Re\langle u,v\rangle+t^2|v|^2\ge 0 $$ これは $t$ の二次式の判別式が非正であることに等価だから $$ \big(\Re\langle u,v\rangle\big)^2\le |u|^2|v|^2 $$ 同様に $u$ と $iv$ を用いると $\big(\Im\langle u,v\rangle\big)^2\le |u|^2|v|^2$。よって $$ \|\langle u,v\rangle\|^2=(\Re\langle u,v\rangle)^2+(\Im\langle u,v\rangle)^2\le |u|^2|v|^2 $$ 平方根を取って主張が従う。$\square$(6) 内積空間に関する定理(2)：三角不等式 (再掲)
以下の記事の定理1.16でも扱いました。複素ベクトル空間に拡張しても成立します。
定理13.7: 三角不等式
任意の $u,v$ について
$$
|u+v|\le |u|+|v|
$$
証明をみる
$$ |u+v|^2=|u|^2+2\Re\langle u,v\rangle+|v|^2\le |u|^2+2|u||v|+|v|^2=(|u|+|v|)^2 $$ 両辺平方根で結論。$\squar2. 実内積空間
本節では、要素が実数の内積空間である実内積空間に焦点を絞った定義や定理を扱います。
(1) 実内積の標準定義
定義13.8: 実内積
実ベクトル空間 $\mathbb{R}^n$ の標準内積は以下で定義される。
$$
\langle u,v\rangle=\sum_{i=1}^n u_i v_i
$$
この定義が定義13.1を満たすことは次のように確認できる。
- 対称性：$u_iv_i=v_iu_i$ より $\sum u_iv_i=\sum v_iu_i$
- 線形性：和とスカラー倍が成分ごとに分配される
- 正値性：$\langle v,v\rangle=\sum v_i^2\ge 0$、ゼロなら全成分 $0$
定義13.8は第1章で扱った以下の記事の定義1.12と同じ内容になります。
(2) 様々な行列(26)：対称行列
定義13.9: 対称行列
実行列 $A$ が $A^{\mathsf T}=A$ を満たすとき$A$を対称行列という。
(3) 様々な行列(27)：直交行列
定義13.10: 直行行列
実行列 $Q$ が $Q^{\mathsf T}Q=I$ を満たすとき直交行列という（列ベクトルが互いに直交で長さ1）。
(4) 実内積空間に関する定理(1)：直交行列の性質
定理13.11: 直交行列の性質
$Q^{\mathsf T}Q=I$ を満たす直交行列 $Q=[q_1\ \cdots\ q_n]$ の列 $q_i$ はノルムが1で互いに直交。すなわち、以下。
$$
\langle q_i,q_j\rangle=\delta_{ij}
$$
（$i\ne j$ で $0$、$i=j$ で $1$）。
証明をみる
$$ Q^{\mathsf T}Q=\begin{pmatrix} \langle q_1,q_1\rangle & \cdots & \langle q_1,q_n\rangle\\ \vdots & \ddots & \vdots\\ \langle q_n,q_1\rangle & \cdots & \langle q_n,q_n\rangle \end{pmatrix}=I $$ よって成分ごとに結論。$\square$(5) 実内積空間に関する定理(2)：対称行列は可換
定理13.12: 対称行列は可換
対称行列$A$について$AA^T=A^T A$が成立する。
証明をみる
$A=A^T$より、$AA^T=A^2$かつ$A^T A=A^2$より明らか。(5) 実内積空間に関する定理(3)：対称行列と転置行列
定理13.13: 対称行列と転置行列
任意の実行列 $A$ に対し $A^{\mathsf T}A$ は対称。
証明をみる
$$ (A^{\mathsf T}A)^{\mathsf T}=A^{\mathsf T}(A^{\mathsf T})^{\mathsf T}=A^{\mathsf T}A $$ よって対称。$\square$(6) 実内積空間に関する定理(4)：対称行列と逆行列
定理13.14: 対称行列と逆行列
$A$ が対称行列かつ正則なら $A^{-1}$ も対称行列。
証明をみる
$$ (A^{-1})^{\mathsf T}=(A^{\mathsf T})^{-1}=A^{-1} $$ よって対称。$\square$(7) 実内積空間に関する定理(5)：対称行列と直交行列
定理13.15: 対称行列と直交行列
実対称行列 $A$ について、直交行列 $Q$ と実対角行列 $\Lambda$ が存在して
$$
A=Q\Lambda Q^{\mathsf T}
$$
となる（固有値は実、互いに直交する固有ベクトル基底が取れる）。
証明をみる
1) 固有値が実数$A$ が対称、固有ベクトル $x\neq 0$ に対し $Ax=\lambda x$。内積を使うと $$ \lambda|x|^2=\langle \lambda x,x\rangle=\langle Ax,x\rangle=\langle x,A^{\mathsf T}x\rangle=\langle x,Ax\rangle=\langle x,\lambda x\rangle=\overline{\lambda}|x|^2 $$ よって$\lambda=\overline{\lambda}$、従って $\lambda\in\mathbb{R}$。
2) 固有ベクトルの直交性
$Ax=\lambda x,\ Ay=\mu y,\ \lambda\ne\mu$ とすると $$ \lambda\langle x,y\rangle=\langle Ax,y\rangle=\langle x,A^{\mathsf T}y\rangle=\langle x,Ay\rangle=\mu\langle x,y\rangle $$ よって $(\lambda-\mu)\langle x,y\rangle=0$、したがって $\langle x,y\rangle=0$。
3) 直交行列による分解
$A$の固有ベクトルは互いに直行するから、ノルムを1として並べると直交行列$Q$が得られ、$Q$で固有値分解ができるから$A=Q\Lambda Q^{\mathsf T}$。$\square$
3. 複素内積空間
本節では、要素が複素数の内積空間である複素内積空間で成立するより一般的な定義や定理を扱います。
(1) エルミート形式の定義
定義13.16: エルミート形式
写像 $(\cdot,\cdot):V\times V\to\mathbb{C}$ が以下の2条件を満たすとき、その写像をエルミート形式という。
- エルミート対称性：$(x,y)=\overline{(y,x)}$
- 線形性：任意の $a,b\in\mathbb{C}$、$x_1,x_2,y\in V$ で
- $(ax_1+bx_2,\ y)=a(x_1,y)+b(x_2,y)$
- $(x,\ ay_1+by_2)=\overline{a}(x,y_1)+\overline{b}(x,y_2)$）
(2) エルミート内積の定義
定義13.17: エルミート内積
エルミート形式が以下の正値性を満たす場合、その写像をエルミート内積という。
$$
(x,x)\ge 0,\qquad (x,x)=0\Rightarrow x=\mathbf{0}
$$
(3) 複素内積の標準定義
定義13.18: 複素内積
複素ベクトル $u=(u_1,\dots,u_n)^{\mathsf T},\ v=(v_1,\dots,v_n)^{\mathsf T}$ に対し以下をエルミート内積の標準定義とする。
$$
\langle u,v\rangle=\sum_{i=1}^n \overline{u_i}\,v_i
$$
なぜ片方の共役をとるのか？
もし実のときと同様に $\sum u_i v_i$ と定めると、$u=iv$ で $\langle v,iv\rangle=\sum v_i(iv_i)=i\sum v_i^2$ が純虚数になり、$|v|^2=\langle v,v\rangle$ が正実にならない。共役を入れると
$$
\langle v,v\rangle=\sum_i \overline{v_i}v_i=\sum_i |v_i|^2\ge 0
$$
となり正値性が確保される。よって「片方に共役」を入れることは、複素ベクトルで 長さの概念（正値ノルム） を実現するために本質的である。
(4) 様々な行列(28)：エルミート共役
定義13.19: エルミート共役
複素行列 $A$ の エルミート共役または随伴行列を $A^\ast:=\overline{A}^{\mathsf T}$ と定める。これは内積に関して
$$
\langle Ax,\ y\rangle=\langle x,\ A^\ast y\rangle
$$
を満たす作用素の「転置」に相当する。
(5) 様々な行列(29)：エルミート行列
定義13.20: エルミート行列
$A^\ast=A$ を満たす行列を エルミート行列 という（実の場合の対称行列の複素版）。
(6) 様々な行列(30)：ユニタリ行列
定義13.21: ユニタリ行列
$U^\ast U=I$ を満たす行列を ユニタリ行列 という（実の直交行列の複素版）。
(7) 様々な行列(31)：正規行列
定義13.22:
$A^\ast A=AA^\ast$ を満たす行列を 正規行列 という。この性質はエルミート行列およびユニタリ行列も満たすことから正規行列は両者を一般化した行列といえる。
(8) 複素内積空間に関する定理(1)：ユニタリ行列の性質
定理13.23: ユニタリ行列の性質
ユニタリ行列の列（行）ベクトルは互いに直交でノルムは1。
証明をみる
まず，$U$ の列を $$U=\bigl[\,u_1\ \ u_2\ \ \cdots\ \ u_n\,\bigr]$$ と書く。すると $$ U^\ast U = \begin{bmatrix} u_1^\ast\\ u_2^\ast\\ \vdots\\ u_n^\ast \end{bmatrix} \bigl[\,u_1\ \cdots\ u_n\,\bigr] = \bigl[\,u_i^\ast u_j\,\bigr]_{i,j=1}^n = \bigl[\,\langle u_i,\,u_j\rangle\,\bigr]_{i,j=1}^n. $$ ユニタリ性より $U^\ast U=I$ であるから， $$ \langle u_i,\,u_j\rangle=\delta_{ij}\qquad(1\le i,j\le n). $$
- $i\ne j$ のとき $\langle u_i,\,u_j\rangle=0$：列ベクトルどうしは直交。
- $i=j$ のとき $\langle u_i,\,u_i\rangle=1$：各列ベクトルは長さ 1（正規化）。
したがって，$U$ の列ベクトルは互いに直交し，かつ正規化されている（正規直交系）。同様に $UU^\ast=I$ から，行ベクトルも正規直交系である。
(9) 複素内積空間に関する定理(2)：エルミート行列は可換
定理13.24: エルミート行列は可換
エルミート行列$A$について$AA^\ast = A^\ast A$が成立する。
証明をみる
$A=A^\ast$より$AA^\ast = A^2$かつ$A^\ast A = A^2$より明らか。(9) 複素内積空間に関する定理(3)：エルミート行列とユニタリ行列
定理13.25: エルミート行列とユニタリ行列
$A^\ast=A$ ならユニタリ $U$ と実対角 $\Lambda$ が存在して
$$
A=U\Lambda U^\ast
$$
証明をみる
異なる固有値に属する固有ベクトルは $$ \lambda\langle v,w\rangle=\langle Av,w\rangle=\langle v,A^\ast w\rangle=\langle v,Aw\rangle=\mu\langle v,w\rangle $$ から直交。各固有空間内も Gram–Schmidt により直交化できるので、直交規格化した固有ベクトル全体でユニタリ $U$ を作ると $U^\ast AU=\Lambda$（対角）。同値に $A=U\Lambda U^\ast$。$\square$(10) 複素内積空間に関する定理(4)：正規行列とユニタリ行列
定理13.26: 正規行列とユニタリ行列
$A$が正規行列ならユニタリ $U$ と対角行列 $\Lambda$ が存在して
$$
A=U\Lambda U^\ast
$$
証明をみる
- 任意の $A$ に対しユニタリ Schur 分解が取れる：$A=UTU^\*$（$U$ ユニタリ，$T$ 上三角。対角成分は固有値）。
- $A$ が正規なら $T$ も正規（ユニタリ同値で正規性は保存）。
- 上三角で正規な行列は対角行列である（例えば $\|Te_1\|=\|T^\*e_1\|$ から第1行の非対角が 0，帰納で全非対角が消える）。
- したがって $U^\*AU=T$ は対角。ゆえに $A$ はユニタリで対角化可能。
(11) 複素内積空間に関する定理(5)：エルミート形式と正規直交化
定理13.27: エルミート形式と正規直交化
$V=[v_1\ \cdots\ v_n]$（列に基底ベクトル）とし Gram 行列 を $H:=V^\ast V$ とする。$H$ はエルミート正定値。これをユニタリ対角化して $U^\ast H U=\Lambda=\mathrm{diag}(\lambda_1,\dots,\lambda_n)$（$\lambda_i>0$）。このとき
$$
W:=V\,U\,\Lambda^{-1/2}
$$
の列は正規直交基底（$\mathbb{C}^n$ で $\langle\cdot,\cdot\rangle$ は標準エルミート内積）。
証明をみる
$$ W^\ast W =(\Lambda^{-1/2})^\ast U^\ast V^\ast V U \Lambda^{-1/2} =\Lambda^{-1/2}(U^\ast H U)\Lambda^{-1/2} =\Lambda^{-1/2}\Lambda\ \Lambda^{-1/2} =I $$ よって列が互いに直交で長さ1。各 $w_i$ は $V$ の張る空間に属するから、元の基底の張る空間と同じ部分空間の正規直交基底になっている。$\square$4. 正値と負値
エルミート行列に対しては正値や負値という概念が定義できる。
(1) 様々な行列(32)：正(定)値行列
定義13.28: 正値行列
$A$ がエルミートで $x^\ast A x>0$（$x\ne 0$）なら $A>0$。固有値は全て正。
(2) 正値に関する定理
定理13.29: 正値行列の固有値
$A$が正値行列であることと$A$の固有値が全て正であることは同値。
証明をみる
$A=U\Lambda U^\ast$、$y=U^\ast x$ とおくと $$ x^\ast A x=y^\ast\Lambda y=\sum_i \lambda_i |y_i|^2 $$ これが任意の $x\ne 0$ で $>0$ ⇔ すべて $\lambda_i>0$。(3) 様々な行列(33)：負(定)値行列
定義13.30: 負値行列
$A$が負値行列であるとは$-A>0$を満たすことで、$A<0$と表記する。
負値であることと固有値が全て負であることは同値である。定理13.29の正値に関する定理と同様にして証明できる。
(4) 様々な行列(34)：半正(定)値行列・半負(定)値行列
定義13.31: 半正値行列・半負値行列
$A$が半正(定)値行列であるとは$x^\ast A x\ge 0$を満たすことであり$A\ge 0$ と表記する。
$A$が半負(定)値行列であるとは$x^\ast A x\le 0$を満たすことであり$A\le 0$ と表記する。
$A$が半負(定)値行列であるとは$x^\ast A x\le 0$を満たすことであり$A\le 0$ と表記する。
半正(定)値行列であることと固有値が全て0以上であることは同値である。また、半負(定)値行列であることと固有値が全て0以下であることは同値である。
上記は定理13.29の正値に関する定理と同様にして証明できる。
(5) 様々な行列(35)：非負(定)値行列・半正(定)値行列
定義13.32: 非負値行列・半正値行列
$A$が半正(定)値行列であるとは$x^\ast A x\ge 0$を満たすことであり$A\ge 0$ と表記する。
$A$が半負(定)値行列であるとは$x^\ast A x\le 0$を満たすことであり$A\le 0$ と表記する。
$A$が半負(定)値行列であるとは$x^\ast A x\le 0$を満たすことであり$A\le 0$ と表記する。
定義13.32は定義13.31と同じ主張を異なる用語で表現したもので、固有値との関係性も同じである。
(6) 様々な行列(36)：不定
定義13.33: 不定
$x^\ast A x$ が $x$ により正にも負にもなること、すなわち、正の固有値と負の固有値を両方持つ場合に$A$は不定と呼ぶ。
(6) 様々な行列(37)：退化
定義13.34: 退化
半正定値だが正定値でない、あるいは核を持つ行列を退化していると表す。
(7) 退化に関する定理
定理13.35: 退化と行列式
$A$が退化していることと$\det A=0$は同値。
証明をみる
$\det A=0$ ⇔ 0 が固有値 ⇔ ある非零 $x$ で $Ax=0$ ⇔ $x^\ast A x=0$。(8) 行列の大小
定義13.36: 行列の大小
$A>B$を$A-B>0$で定義する。つまり $x^\ast(A-B)x>0$（任意の $x\ne 0$）。
(9) 行列の大小に関する定理(1)
定理13.37: 逆行列も正値
$A>0$ ならば $A^{-1}$ があって $A^{-1}>0$
証明をみる
1) 可逆性：$\lambda_i>0$（全固有値）より $0$ は固有値でない、したがって正則。2) 正定性： $$ x^\ast A^{-1} x=(A^{-1}x)^\ast A (A^{-1}x)>0\quad(x\ne 0) $$ よって $A^{-1}>0$。$\square$
(10) 行列の大小に関する定理(2)
定理13.38: 逆行列の大小
$A\ge B$ ならば $B^{-1}\ge A^{-1}$（$A,B>0$ を仮定）
証明をみる
$A,B>0$、$A\ge B$。まず $C:=A^{-1/2}BA^{-1/2}\le I$（両辺を $A^{-1/2}$ で挟む）。正定値で $C\le I$ なら $C^{-1}\ge I$。ここで $$ C^{-1}=A^{1/2}B^{-1}A^{1/2}\ge I $$ 両辺を $A^{-1/2}$ で挟むと $$ B^{-1}\ge A^{-1} $$ が得られる。$\square$5. その他のエルミート内積
(1) エルミート形式の行列表現
定理13.39: エルミート形式の行列表現
エルミート行列 $H=H^\ast$ により
$$
(x,y):=x^\ast H y
$$
で定めた写像はエルミート形式である。
従って、エルミート行列はエルミート形式の定義そのものである。
従って、エルミート行列はエルミート形式の定義そのものである。
証明をみる
1. エルミート対称性$$ (y,x)=y^\ast H x=\overline{(x^\ast H y)}=\overline{(x,y)} $$
2. 第1引数の線形性
$$ (ax_1+bx_2,\ y)=(ax_1+bx_2)^\ast H y=\overline{a}(x_1^\ast H y)+\overline{b}(x_2^\ast H y) $$ ここで「第1引数に線形」を選ぶか「第2引数に線形」を選ぶかは流儀の問題。上では 第2引数が線形 になる定義もあり得る。以後は「第1引数線形・第2引数共役線形」に整えるため、必要なら $(x,y)=y^\ast H x$ と定義し直してもよい（両者は入れ替えで等価）。重要なのは「一方を線形、他方を共役線形」にすることと、$(x,x)$ が実になること。
(2) エルミート内積の行列表現
定理13.40: エルミート内積の行列表現
$H$ が 正定値エルミート行列（$H^\ast=H,\ H>0$）なら
$$
\langle x,y\rangle_H:=x^\ast H y
$$
で定めた写像はエルミート内積である。
従って、正定値エルミート行列はエルミート内積の定義そのものである。
証明をみる
エルミート対称・（共役）線形は (1) と同じ。正値性：$x\ne 0$ で $x^\ast H x>0$ が正定値の定義。よって $$ \langle x,x\rangle_H=x^\ast H x>0\quad(x\ne 0) $$ これにより $|x|_H:=\sqrt{x^\ast H x}$ がノルムになる（$H$ が重み行列の役割）。
(3) 2乗可積分関数空間のエルミート内積
定理13.41: 2乗可積分関数空間のエルミート内積
可測空間上の複素関数で $\int |f(x)|^2\,dx<\infty$ を満たす集合 $L^2$ に対し
$$
\langle f,g\rangle:=\int \overline{f(x)}\,g(x)\,dx
$$
はエルミート内積である。
証明をみる
1. エルミート対称性$$ \langle g,f\rangle=\int \overline{g(x)}\,f(x)\,dx=\overline{\int \overline{f(x)}\,g(x)\,dx}=\overline{\langle f,g\rangle} $$
2. 線形性（第1引数）
$a,b\in\mathbb{C}$、$f_1,f_2,g\in L^2$ で $$ \langle af_1+bf_2,\ g\rangle=\int \overline{af_1+bf_2}\,g=\overline{a}\int \overline{f_1}g+\overline{b}\int \overline{f_2}g=\overline{a}\langle f_1,g\rangle+\overline{b}\langle f_2,g\rangle $$ （第2引数は共役線形）。
3. 正値性
$$ \langle f,f\rangle=\int \overline{f}f=\int |f|^2\ge 0 $$ $\langle f,f\rangle=0$ なら $|f|^2=0$ がほとんど至る所で成り立ち、$f=0$（零関数）と同一視。
よって内積の三条件を満たす。$\square$
