1. 内積空間
(1) 内積の定義
内積とは、ベクトル空間 $V$ の任意の $u,v\in V$ に実数（実内積）または複素数（エルミート内積）を対応させる写像 $\langle\cdot,\cdot\rangle:V\times V\to\mathbb{F}$（$\mathbb{F}=\mathbb{R}$ または $\mathbb{C}$）で、次を満たすものをいう。
- 対称性（実）/ 共役対称性（複素）
実：$\langle u,v\rangle=\langle v,u\rangle$
複素：$\langle u,v\rangle=\overline{\langle v,u\rangle}$ - 線形性（第1引数について）
任意のスカラー $a,b$、任意の $u_1,u_2,v\in V$ に対し
$$
\langle au_1+bu_2,\ v\rangle=a\langle u_1,v\rangle+b\langle u_2,v\rangle
$$
（複素の場合は第2引数については 共役線形性：$\langle u,\ av_1+bv_2\rangle=\overline{a}\langle u,v_1\rangle+\overline{b}\langle u,v_2\rangle$） - 正値性
$\langle v,v\rangle\ge 0$ かつ $\langle v,v\rangle=0\Rightarrow v=\mathbf{0}$
(2) 成分による定義
実ベクトル空間 $\mathbb{R}^n$ の標準内積：
$$
\langle u,v\rangle=\sum_{i=1}^n u_i v_i
$$
これが (1) の条件を満たすことを確認する：
- 対称性：$u_iv_i=v_iu_i$ より $\sum u_iv_i=\sum v_iu_i$
- 線形性：和とスカラー倍が成分ごとに分配される
- 正値性：$\langle v,v\rangle=\sum v_i^2\ge 0$、ゼロなら全成分 $0$
(3) ノルムの定義
内積からノルムを定める：
$$
|v|=\sqrt{\langle v,v\rangle}
$$
(4) 角度の定義
非零ベクトル $u,v$ のなす角 $\theta$ を
$$
\cos\theta=\frac{\langle u,v\rangle}{|u|\ |v|}
$$
で定める（コーシー・シュワルツより分母は $0$ でなく $|\cos\theta|\le 1$）。
(5) 内積空間の定義
内積が定まったベクトル空間 $(V,\langle\cdot,\cdot\rangle)$ を内積空間という。
2. 内積の性質
(1) コーシー・シュワルツの不等式
主張 任意の $u,v\in V$ について
$$
|\langle u,v\rangle|\le |u|\ |v|
$$
証明（初学者向け）
$t\in\mathbb{R}$ と任意に取り、$|u-tv|^2\ge 0$ を用いる：
$$
|u-tv|^2=\langle u-tv,\ u-tv\rangle=|u|^2-2t\Re\langle u,v\rangle+t^2|v|^2\ge 0
$$
これは $t$ の二次式の判別式が非正であることに等価だから
$$
\big(\Re\langle u,v\rangle\big)^2\le |u|^2|v|^2
$$
同様に $u$ と $iv$ を用いると $\big(\Im\langle u,v\rangle\big)^2\le |u|^2|v|^2$。よって
$$
\|\langle u,v\rangle\|^2=(\Re\langle u,v\rangle)^2+(\Im\langle u,v\rangle)^2\le |u|^2|v|^2
$$
平方根を取って主張が従う。$\square$
(2) (1)の変形
主張
$$
-1\le \frac{\langle u,v\rangle}{|u|\ |v|}\le 1
$$
証明 (1) を両辺 $|u||v|$ で割るだけ。複素の場合は実部を取り
$$
-1\le \frac{\Re\langle u,v\rangle}{|u|\ |v|}\le 1
$$
が角度定義の根拠。
(3) 三角不等式
主張 任意の $u,v$ について
$$
|u+v|\le |u|+|v|
$$
証明
$$
|u+v|^2=|u|^2+2\Re\langle u,v\rangle+|v|^2\le |u|^2+2|u||v|+|v|^2=(|u|+|v|)^2
$$
両辺平方根で結論。$\square$
3. 内積に関係する色々な行列
(1) 対称行列
実行列 $A$ が $A^{\mathsf T}=A$ を満たすとき対称行列。
(2) 直交行列
実行列 $Q$ が $Q^{\mathsf T}Q=I$ を満たすとき直交行列（列ベクトルが互いに直交で長さ1）。
4. 対称行列・直交の性質
(1) 転置行列との積は対称行列
主張 任意の実行列 $A$ に対し $A^{\mathsf T}A$ は対称。
証明
$$
(A^{\mathsf T}A)^{\mathsf T}=A^{\mathsf T}(A^{\mathsf T})^{\mathsf T}=A^{\mathsf T}A
$$
よって対称。$\square$
(2) 対称行列の逆行列も対称行列
主張 $A$ が対称かつ正則なら $A^{-1}$ も対称。
証明
$$
(A^{-1})^{\mathsf T}=(A^{\mathsf T})^{-1}=A^{-1}
$$
よって対称。$\square$
(3) 対称行列は直交行列で対角化できる（実スペクトル定理）
主張 実対称行列 $A$ について、直交行列 $Q$ と実対角行列 $\Lambda$ が存在して
$$
A=Q\Lambda Q^{\mathsf T}
$$
となる（固有値は実、互いに直交する固有ベクトル基底が取れる）。
証明（丁寧）
1) 固有値が実：$A$ が対称、固有ベクトル $x\neq 0$ に対し $Ax=\lambda x$。内積を使うと
$$
\lambda|x|^2=\langle \lambda x,x\rangle=\langle Ax,x\rangle=\langle x,A^{\mathsf T}x\rangle=\langle x,Ax\rangle=\langle x,\lambda x\rangle=\overline{\lambda}|x|^2
$$
実数体なので $\lambda=\overline{\lambda}$、従って $\lambda\in\mathbb{R}$。
2) 固有ベクトルの直交性：$Ax=\lambda x,\ Ay=\mu y,\ \lambda\ne\mu$ とすると
$$
\lambda\langle x,y\rangle=\langle Ax,y\rangle=\langle x,A^{\mathsf T}y\rangle=\langle x,Ay\rangle=\mu\langle x,y\rangle
$$
よって $(\lambda-\mu)\langle x,y\rangle=0$、したがって $\langle x,y\rangle=0$。
3) 直交基底の構成：$A$ の固有空間の直交和で $\mathbb{R}^n$ は分解される。各固有空間の基底を直交化（Gram–Schmidt）して直交規格化すれば、直交行列 $Q$（列が固有ベクトル）と、対応対角 $\Lambda$ が得られ、$A=Q\Lambda Q^{\mathsf T}$。$\square$
(4) 直交行列の列ベクトルは直交する（追加）
主張 $Q^{\mathsf T}Q=I$ を満たす直交行列 $Q=[q_1\ \cdots\ q_n]$ の列 $q_i$ は
$$
\langle q_i,q_j\rangle=\delta_{ij}
$$
（$i\ne j$ で $0$、$i=j$ で $1$）。
証明
$$
Q^{\mathsf T}Q=\begin{pmatrix}
\langle q_1,q_1\rangle & \cdots & \langle q_1,q_n\rangle\\
\vdots & \ddots & \vdots\\
\langle q_n,q_1\rangle & \cdots & \langle q_n,q_n\rangle
\end{pmatrix}=I
$$
よって成分ごとに結論。$\square$
5 エルミート形式と内積
(1) エルミート形式
定義（複素ベクトル空間） 写像 $(\cdot,\cdot):V\times V\to\mathbb{C}$ が
- エルミート対称性：$(x,y)=\overline{(y,x)}$
- 線形性（第1引数）：任意の $a,b\in\mathbb{C}$、$x_1,x_2,y\in V$ で
$$
(ax_1+bx_2,\ y)=a(x_1,y)+b(x_2,y)
$$
（第2引数は 共役線形性：$(x,\ ay_1+by_2)=\overline{a}(x,y_1)+\overline{b}(x,y_2)$）
を満たすとき エルミート形式 という。
(2) エルミート内積
定義 エルミート形式に正値性を加えたもの：
$$
(x,x)\ge 0,\qquad (x,x)=0\Rightarrow x=\mathbf{0}
$$
これを エルミート内積 という。
(3) 成分による定義（背景の説明つき）
複素ベクトル $u=(u_1,\dots,u_n)^{\mathsf T},\ v=(v_1,\dots,v_n)^{\mathsf T}$ に対し
$$
\langle u,v\rangle=\sum_{i=1}^n \overline{u_i}\,v_i
$$
と定める。なぜ片方を共役するのか？
もし実のときと同様に $\sum u_i v_i$ と定めると、$u=iv$ で $\langle v,iv\rangle=\sum v_i(iv_i)=i\sum v_i^2$ が純虚数になり、$|v|^2=\langle v,v\rangle$ が正実にならない。共役を入れると
$$
\langle v,v\rangle=\sum_i \overline{v_i}v_i=\sum_i |v_i|^2\ge 0
$$
となり正値性が確保される。よって「片方に共役」を入れることは、複素ベクトルで 長さの概念（正値ノルム） を実現するために本質的である。
6. エルミート内積に関係する色々な行列
(1) エルミート共役
説明と定義 複素行列 $A$ の エルミート共役（随伴）を $A^\ast:=\overline{A}^{\mathsf T}$ と定める。これは内積に関して
$$
\langle Ax,\ y\rangle=\langle x,\ A^\ast y\rangle
$$
を満たす作用素の「転置」に相当する。
(2) エルミート行列
説明と定義 $A^\ast=A$ を満たす行列を エルミート行列 という（実の場合の対称行列の複素版）。固有値が実、固有ベクトルは直交化できる。
(3) ユニタリ行列
説明と定義 $U^\ast U=I$ を満たす行列を ユニタリ行列 という（実の直交行列の複素版）。列（行）ベクトルは互いに直交で長さ1、内積とノルムを保存する（等長同型）。
(4) 正規行列
説明と定義 $A^\ast A=AA^\ast$ を満たす行列を 正規行列 という。正規行列はユニタリ行列で対角化でき（スペクトル定理の複素版）、異なる固有値に属する固有ベクトルは直交する。
7. エルミート行列・ユニタリ行列・正規行列の性質
(1) エルミート行列の固有値は実数
主張 $A^\ast=A$、$Av=\lambda v$（$v\ne 0$）なら $\lambda\in\mathbb{R}$。
証明（丁寧）
$$
\lambda|v|^2=\langle \lambda v,\ v\rangle=\langle Av,\ v\rangle=\langle v,\ A^\ast v\rangle=\langle v,\ Av\rangle=\langle v,\ \lambda v\rangle=\overline{\lambda}|v|^2
$$
$|v|^2>0$ なので $\lambda=\overline{\lambda}$、よって実数。$\square$
(2) ユニタリ行列の固有値の絶対値は1
主張 $U^\ast U=I$、$Uv=\lambda v$（$v\ne 0$）なら $|\lambda|=1$。
証明
$$
|v|=|Uv|=|\lambda v|=|\lambda||v|
$$
$|v|>0$ だから $|\lambda|=1$。$\square$
(3) エルミート行列はユニタリ行列で対角化可能
主張 $A^\ast=A$ ならユニタリ $U$ と実対角 $\Lambda$ が存在して
$$
A=U\Lambda U^\ast
$$
証明（スペクトル定理の複素版）
(1) より固有値は実。異なる固有値に属する固有ベクトルは
$$
\lambda\langle v,w\rangle=\langle Av,w\rangle=\langle v,A^\ast w\rangle=\langle v,Aw\rangle=\mu\langle v,w\rangle
$$
から直交。各固有空間内も Gram–Schmidt により直交化できるので、直交規格化した固有ベクトル全体でユニタリ $U$ を作ると $U^\ast AU=\Lambda$（対角）。同値に $A=U\Lambda U^\ast$。$\square$
(4) 正規行列の固有ベクトルは直交
主張 $A^\ast A=AA^\ast$、$Av=\lambda v,\ Aw=\mu w,\ \lambda\ne\mu$ なら $\langle v,w\rangle=0$。
証明
$$
\lambda\langle v,w\rangle=\langle Av,w\rangle=\langle v,A^\ast w\rangle,\qquad
\overline{\mu}\langle v,w\rangle=\langle v,A^\ast w\rangle
$$
よって $(\lambda-\overline{\mu})\langle v,w\rangle=0$。正規行列では $\mu$ は一般に複素だが、上式から $\langle v,w\rangle=0$ が従う（詳細は極分解や Schur 分解を通じても示される）。$\square$
(5) エルミート形式を用いた正規直交化（略さず）
主張 $V=[v_1\ \cdots\ v_n]$（列に基底ベクトル）とし Gram 行列 を $H:=V^\ast V$ とする。$H$ はエルミート正定値。これをユニタリ対角化して $U^\ast H U=\Lambda=\mathrm{diag}(\lambda_1,\dots,\lambda_n)$（$\lambda_i>0$）。このとき
$$
W:=V\,U\,\Lambda^{-1/2}
$$
の列は正規直交基底（$\mathbb{C}^n$ で $\langle\cdot,\cdot\rangle$ は標準エルミート内積）。
証明
$$
W^\ast W
=(\Lambda^{-1/2})^\ast U^\ast V^\ast V U \Lambda^{-1/2}
=\Lambda^{-1/2}(U^\ast H U)\Lambda^{-1/2}
=\Lambda^{-1/2}\Lambda\ \Lambda^{-1/2}
=I
$$
よって列が互いに直交で長さ1。各 $w_i$ は $V$ の張る空間に属するから、元の基底の張る空間と同じ部分空間の正規直交基底になっている。$\square$
8. 行列の大小
ここでは Loewner 順序（半正定値順序）を用いる。エルミート行列 $A,B$ に対し
- $A>0$（正定値）：$x^\ast A x>0$（任意の $x\ne 0$）⇔ 全固有値 $>0$
- $A\ge 0$（半正定値）：$x^\ast A x\ge 0$ ⇔ 全固有値 $\ge 0$
- $A\ge B$：$A-B\ge 0$（以下同様）
(1) 正値(正定値)な行列
説明 $A$ がエルミートで $x^\ast A x>0$（$x\ne 0$）なら $A>0$。固有値は全て正。
証明（固有値版⇔二次形式版） $A=U\Lambda U^\ast$、$y=U^\ast x$ とおくと
$$
x^\ast A x=y^\ast\Lambda y=\sum_i \lambda_i |y_i|^2
$$
これが任意の $x\ne 0$ で $>0$ ⇔ すべて $\lambda_i>0$。
(2) 負値(負定値)な行列
説明 $A<0$ とは $-A>0$。
証明 $-A$ の固有値が $>0$ ⇔ $A$ の固有値 $<0$。
(3) 非負値(非負定値)・半正値(半正定値)
説明 $A\ge 0$ とは $x^\ast A x\ge 0$。固有値は $\ge 0$。
証明 (1) と同様に対角化で同値。
(4) 非正値(非正定値)・半負値(半負定値)
説明 $A\le 0$ とは $-A\ge 0$。固有値は $\le 0$。
証明 (3) と同様。
(5) 不定な行列
説明 正の固有値と負の固有値を両方持つ場合。不等号 $>$, $\ge$ のどれにも当てはまらない。
証明 二次形式 $x^\ast A x$ が $x$ により正にも負にもなることは固有値が符号混在と同値（Rayleigh 商）。
(6) 退化な行列
説明 半正定値だが正定値でない、あるいは核を持つ。
主張 $\det A=0$ と同値（エルミートに限らず正則でない）。
証明 $\det A=0$ ⇔ 0 が固有値 ⇔ ある非零 $x$ で $Ax=0$ ⇔ $x^\ast A x=0$。
(7) $A>B$ の定義
定義 $A-B>0$。つまり $x^\ast(A-B)x>0$（任意の $x\ne 0$）。
(8) $A>0$ ならば $A^{-1}$ があって $A^{-1}>0$
説明 正定値は必ず可逆で、逆も正定値。
証明
1) 可逆性：$\lambda_i>0$（全固有値）より $0$ は固有値でない、したがって正則。
2) 正定性：
$$
x^\ast A^{-1} x=(A^{-1}x)^\ast A (A^{-1}x)>0\quad(x\ne 0)
$$
よって $A^{-1}>0$。$\square$
(9) $A\ge B$ ならば $B^{-1}\ge A^{-1}$（$A,B>0$ を仮定）
説明 正定値の世界で 逆を取る操作は順序を反転 させる。
証明（標準的な証明） $A,B>0$、$A\ge B$。まず $C:=A^{-1/2}BA^{-1/2}\le I$（両辺を $A^{-1/2}$ で挟む）。正定値で $C\le I$ なら $C^{-1}\ge I$。ここで
$$
C^{-1}=A^{1/2}B^{-1}A^{1/2}\ge I
$$
両辺を $A^{-1/2}$ で挟むと
$$
B^{-1}\ge A^{-1}
$$
が得られる。$\square$
9. 様々なエルミート形式・内積
(1) エルミート形式の一般的な定義
主張 エルミート行列 $H=H^\ast$ により
$$
(x,y):=x^\ast H y
$$
で定めた写像はエルミート形式である。
説明と証明
- エルミート対称性：
$$
(y,x)=y^\ast H x=\overline{(x^\ast H y)}=\overline{(x,y)}
$$ - 第1引数の線形性：
$$
(ax_1+bx_2,\ y)=(ax_1+bx_2)^\ast H y=\overline{a}(x_1^\ast H y)+\overline{b}(x_2^\ast H y)
$$
ここで「第1引数に線形」を選ぶか「第2引数に線形」を選ぶかは流儀の問題。上では 第2引数が線形 になる定義もあり得る。以後は「第1引数線形・第2引数共役線形」に整えるため、必要なら $(x,y)=y^\ast H x$ と定義し直してもよい（両者は入れ替えで等価）。重要なのは「一方を線形、他方を共役線形」にすることと、$(x,x)$ が実になること。
以降は本文の流儀に合わせて 第1引数線形 とし、$(x,y)=x^\ast H y$ を採用、ただし第2引数は共役線形と理解する。
(2) エルミート内積の一般的な定義
主張 $H$ が 正定値エルミート行列（$H^\ast=H,\ H>0$）なら
$$
\langle x,y\rangle_H:=x^\ast H y
$$
はエルミート内積（正値性まで満たす）。
説明と証明
- エルミート対称・（共役）線形は (1) と同じ。
- 正値性：$x\ne 0$ で $x^\ast H x>0$ が正定値の定義。よって
$$
\langle x,x\rangle_H=x^\ast H x>0\quad(x\ne 0)
$$
これにより $|x|_H:=\sqrt{x^\ast H x}$ がノルムになる（$H$ が重み行列の役割）。
(3) 2乗可積分関数空間のエルミート内積
主張 可測空間上の複素関数で $\int |f(x)|^2\,dx<\infty$ を満たす集合 $L^2$ に対し
$$
\langle f,g\rangle:=\int \overline{f(x)}\,g(x)\,dx
$$
はエルミート内積である。
説明と証明
- エルミート対称性：
$$
\langle g,f\rangle=\int \overline{g(x)}\,f(x)\,dx=\overline{\int \overline{f(x)}\,g(x)\,dx}=\overline{\langle f,g\rangle}
$$ - 線形性（第1引数）：$a,b\in\mathbb{C}$、$f_1,f_2,g\in L^2$ で
$$
\langle af_1+bf_2,\ g\rangle=\int \overline{af_1+bf_2}\,g=\overline{a}\int \overline{f_1}g+\overline{b}\int \overline{f_2}g=\overline{a}\langle f_1,g\rangle+\overline{b}\langle f_2,g\rangle
$$
（第2引数は共役線形）。 - 正値性：
$$
\langle f,f\rangle=\int \overline{f}f=\int |f|^2\ge 0
$$
$\langle f,f\rangle=0$ なら $|f|^2=0$ がほとんど至る所で成り立ち、$f=0$（零関数）と同一視。よって内積の三条件を満たす。$\square$
