ベクトル空間 - バイオインフォの森

1. ベクトル空間
- (1) ベクトル空間の定義
- (2) ベクトル空間の例
2. 部分空間
- (1) 部分空間の定義
- (2) 部分空間の必要十分条件
3. 線形独立と線形従属
4. 基底と次元

1. ベクトル空間

(1) ベクトル空間の定義

ベクトル空間

集合 $V$ が $\mathbb{R}$ 上ベクトル空間（線形空間，vector space）であるとは，$V$ 上に以下の加法の公理およびスカラー倍の公理による 8 つの条件を全て満たす演算 $+$ と $\mathbb{R}$ 倍が定義されている集合のことである。

1. 加法の公理
以下では $a,b,c \in V$ とする。

交換法則：$a+b=b+a$
結合法則：$(a+b)+c=a+(b+c)$
単位元の存在：$0\in V$ が存在して，任意の $a\in V$ に対して $a+0=0+a=a$
逆元の存在：任意の $a\in V$ に対して $a+(-a)=(-a)+a=0$ となる $-a\in V$ が存在する。

2. スカラー倍の公理
以下では $a,b\in V,\ k,l\in\mathbb{R}$ とする。

分配法則①：$(k+l)a=ka+la$
分配法則②：$k(a+b)=ka+kb$
結合法則：$(kl)a=k(la)$
単位元の存在：$1a=a$

(2) ベクトル空間の例

平面とベクトル空間

$\mathbb{R}^2$ は加法とスカラー倍を以下のように定義すれば$\mathbb{R}$ 上のベクトル空間である。
$(x_1,y_1)+(x_2,y_2)=(x_1+x_2,\ y_1+y_2)$，$k(x,y)=(kx,\,ky)$。

証明をみる

任意の $(x_i,y_i)\in\mathbb{R}^2$，$k,l\in\mathbb{R}$ に対し：

交換：$(x_1,y_1)+(x_2,y_2)=(x_1+x_2,y_1+y_2)=(x_2+x_1,y_2+y_1)=(x_2,y_2)+(x_1,y_1)$。

結合：$\big((x_1,y_1)+(x_2,y_2)\big)+(x_3,y_3)=(x_1+x_2+x_3,\,y_1+y_2+y_3)= (x_1,y_1)+\big((x_2,y_2)+(x_3,y_3)\big)$。

加法単位元：$0:=(0,0)$ とすれば $(x,y)+(0,0)=(x,y)=(0,0)+(x,y)$。

逆元：$-(x,y):=(-x,-y)$ とすれば $(x,y)+(-x,-y)=(0,0)$。

分配①：$(k+l)(x,y)=((k+l)x,(k+l)y)=(kx+lx,\,ky+ly)=(kx,ky)+(lx,ly)=k(x,y)+l(x,y)$。

分配②：$k\big((x_1,y_1)+(x_2,y_2)\big)=k(x_1+x_2,\,y_1+y_2)=(kx_1+kx_2,\,ky_1+ky_2)=k(x_1,y_1)+k(x_2,y_2)$。

結合（実数積）：$(kl)(x,y)=(klx,kly)=k(lx,ly)=k\big(l(x,y)\big)$。

スカラー単位：$1\cdot(x,y)=(x,y)$。

以上より $\mathbb{R}^2$ は 8 公理を満たす。$\square$

空間とベクトル空間

$\mathbb{R}^3$ は加法とスカラー倍を以下のように定義すれば$\mathbb{R}$ 上のベクトル空間である。
$(x_1,y_1,z_1)+(x_2,y_2,z_2)=(x_1+x_2,\,y_1+y_2,\,z_1+z_2)$，$k(x,y,z)=(kx,\,ky,\,kz)$。

証明をみる

成分ごとの実数演算の 8 公理がそのまま各成分で成り立つため，(1) 同様に 1〜8 を逐一確認できる（上と同型の式変形になる）。従って $\mathbb{R}^3$ はベクトル空間。$\square$

n次元空間とベクトル空間

$\mathbb{R}^n$ は加法とスカラー倍を以下のように定義すれば$\mathbb{R}$ 上のベクトル空間である。
$(x_1,\dots,x_n)+(y_1,\dots,y_n)=(x_1+y_1,\dots,x_n+y_n)$，$k(x_1,\dots,x_n)=(kx_1,\dots,kx_n)$。

証明をみる

各公理は各成分の実数計算に帰着して全て成立。$\square$

数列とベクトル空間

数列全体の集合 $l(\mathbb{R}) = \{ \{a_n\} \mid a_n\in\mathbb{R} \}$ は、以下のように演算を定めると$\mathbb{R}$ 上のベクトル空間である。
成分ごとに $({a_n}+{b_n})={a_n+b_n}$，$k{a_n}={ka_n}$。

証明をみる

実数列の各成分で 8 公理が成立するため同様に従う。$\square$

多項式とベクトル空間

多項式全体の集合 $\mathbb{R}[x]$ は、以下のように加法とスカラー倍を定めるとベクトル空間である。
$(f+g)(x)=f(x)+g(x)$，$(kf)(x)=k f(x)$

証明をみる

各 $x$ で実数演算の 8 公理が成り立つためベクトル空間。$\square$

関数とベクトル空間

関数全体の集合 $F(\mathbb{R}) = { f \mid f:\mathbb{R} \to \mathbb{R} }$ は以下のように加法とスカラー倍を定めるとベクトル空間である。
$(f+g)(t)=f(t)+g(t)$，$(kf)(t)=k f(t)$

証明をみる

点ごとの実数演算の 8 公理が成り立つ。$\square$

2. 部分空間

(1) 部分空間の定義

部分空間

$W$ が空集合ではなくベクトル空間 $V$ の部分集合でかつ $W$ 自身もベクトル空間のとき、$W$ を $V$ の部分空間という。

(2) 部分空間の必要十分条件

部分空間の判定には、以下の必要十分条件がよく使われます。

部分空間の必要十分条件

$W\subset V$ が空でなく，$\forall x,y\in W,\ \forall p,q\in\mathbb{R}$ に対し $px+qy\in W$ が成り立つ ⇔ $W$ は $V$ の部分空間。

証明をみる

⇐の証明
$W$ が部分空間なら $V$ と同じ演算でベクトル空間。よって任意の $x,y\in W$ と $p,q\in\mathbb{R}$ に対し $px+qy\in W$（加法・スカラー倍に閉じる）。

⇒の証明
$W$ が空でなく，$px+qy\in W$ を満たすとする。

加法閉性：$x,y\in W$ に $p=q=1$ をとれば $x+y\in W$。
スカラー倍閉性：$x\in W$ に $p=k,\ q=0$ をとれば $kx\in W$。
$0\in W$：任意の $x\in W$ に $p=0,q=0$ をとれば $0x+0x=0\in W$。
逆元の存在：$x\in W$ に $p=1,q=-1$，$y=x$ をとれば $x+(-x)=0\in W$ より $-x\in W$。
交換・結合・分配・実数積の結合・単位の公理は $V$ の演算を制限しているだけなので自動的に継承。

以上により $W$ はベクトル空間，すなわち部分空間。$\square$

具体例をみる

$\mathbb{R}^2$ は $\mathbb{R}^3$ の部分空間（例：$W={(x,y,0)\mid x,y\in\mathbb{R}}$）であることを示す。

任意の $(x_1,y_1,0),(x_2,y_2,0)\in W$ と $p,q\in\mathbb{R}$ に対し $p(x_1,y_1,0)+q(x_2,y_2,0)=(px_1+qx_2,\ py_1+qy_2,\ 0)\in W$。$W\neq\varnothing$ は $(0,0,0)\in W$ で満たす。よって $W$ は部分空間。$\square$

3. 線形独立と線形従属

(1) 線形独立の定義

定義：線形独立

$a_1,\dots,a_n\in V$ が線形独立とは，$k_1 a_1+\cdots+k_n a_n=0$ の解が $k_1=\cdots=k_n=0$ のみであること。

(2) 線形従属の定義

定義：線形従属

$a_1,\dots,a_n$ が線形従属とは，$k_1,\dots,k_n$ に少なくとも 1 つ 0 でない係数があり $k_1 a_1+\cdots+k_n a_n=0$ が成り立つこと。とくに $a_j\neq0$ について $a_j$ が他のベクトルの線形結合で表される（$\exists\,\ell_i$ で $a_j=\sum_{i\neq j}\ell_i a_i$）なら線形従属。逆に線形従属ならある $a_j$ を他の線形結合で表せる。

(3) 線形独立に関する定理：線形独立とランク

定理：線形独立とランク

$a_1,\dots,a_n$ が線形独立なら，列ベクトル行列 $$ A=[a_1\ \cdots\ a_n] $$ の rank は $n$ である（逆も成り立つ）。

証明をみる

以下の$A$ の列ベクトルの係数ベクトルの線形結合を考える。 $$ A\mathbf{k}=k_1 a_1+\cdots+k_n a_n $$
1) 「線形独立 ⇒ $\mathrm{rank}(A)=n$」
線形独立とは $A\mathbf{k}=0$ なら $\mathbf{k}=0$（すべての係数が 0）しかないという意味。
$A$ を行基本変形で階段形 $R$ にすると，$R\mathbf{k}=0$ と $A\mathbf{k}=0$ は同値（左から可逆行列を掛けているだけ）。従って、$A$の各列が線形独立ならば$R\mathbf{k}=0$。
ここで、$R\mathbf{k}=0$ の解が $\mathbf{k}=0$ だけになるためには，各列について上から成分を見たときに途中で1が現れ、それ以降の成分が全て0である必要があることに着目する（もし1で終わらない列があれば，その列の係数を自由に選べて $\mathbf{k}\neq0$ の解が作れてしまう）。$R$に関するこの状態を各列は先頭に1が立つと呼ぶ。
よって、先頭の1の数は列数 $n$ に等しい。ゆえに $A$の各列が線形独立ならば$\mathrm{rank}(A)=n$。

2) 「$\mathrm{rank}(A) < n$ ⇒ 線形独立でない」
逆に，$A$のランク標準型$R$の各列の先頭の1の数が $n$ 未満なら，先頭の1がない列（自由に選べる列）が存在する。
このとき、自由に選べる列のうち1つの列$\mathbf{r}_j$に対して係数を1，他の自由列のに対して係数を0としたとき、$R\mathbf{k} = k_1\mathbf{r}_1 + \cdots + k_n\mathbf{r}_n]=0$を$k_1\mathbf{r}_1 + \cdots + k_n\mathbf{r}_n = \mathbf{r}_j$のように変形できて、この連立一次方程式は$\mathbf{k}=\mathbf{0}$以外に解をもつから$\mathbf{k}\neq0$ で $A\mathbf{k}=0$ を満たす。
これは $k_1 a_1+\cdots+k_n a_n=0$ で係数に 0 でないものがあるということなので，列は線形独立ではない。以上より「線形独立 ⇔ $\mathrm{rank}(A)=n$」。$\square$

具体例をみる

$a_1=(1,1,0),\ a_2=(1,0,1),\ a_3=(0,1,1)$が線形独立か調べる。

行列 $A=\begin{pmatrix}1&1&0\\1&0&1\\0&1&1\end{pmatrix}$ を掃き出す。
$R_2\leftarrow R_2-R_1$：
$\begin{pmatrix}1&1&0\\0&-1&1\\0&1&1\end{pmatrix}$，
$R_3\leftarrow R_3+R_2$：
$\begin{pmatrix}1&1&0\\0&-1&1\\0&0&2\end{pmatrix}$。
先頭の1（ピボット）に相当する位置は 3 個 → $\mathrm{rank}=3=列数$，従って線形独立。

4. 基底と次元

(1) spanの定義

定義：span

ベクトル集合 $S={v_1,\dots,v_m}\subset V$ が与えられたとき， $$\mathrm{span}(S)=\{\ \alpha_1 v_1+\cdots+\alpha_m v_m\ |\ \alpha_1,\dots,\alpha_m\in\mathbb{R}\ \}$$ を $S$ が作れるすべての線形結合の集合（$S$ の張る部分空間）という。

(2) 基底の定義

定義：基底

$B={b_1,\dots,b_k}\subset V$ が (i) 線形独立で，(ii) $V=\mathrm{span}(B)$（$B$ が $V$ を全部張る）を満たすとき $B$ を $V$ の基底という。

(3) 正規直交基底の定義

定義：正規直交基底

各ベクトルが単位長で互いに直交する基底（内積空間で定義）。

内積空間については以下の記事を参照して下さい。

(4) 次元の定義

定義：次元

基底のベクトル個数を $V$ の次元と呼び，$\dim V$ と書く。

基底のベクトル個数を $V$ の次元と呼び，$\dim V$ と書く。

(5) 次元に関する定理①：次元の一意性

定理：次元の一意性

任意の 2 つの基底は同じ本数のベクトルからなる。

証明をみる

鍵となる補題（シュタイニッツの交換補題）

$V$ の線形独立な集合 $U=\{u_1,\dots,u_m\}$ と、$V$ を張る集合 $W=\{w_1,\dots,w_n\}$ に対して、必ず $m\le n$ が成り立つ。

補題の直観

「少数精鋭（独立）$m$ 本」を、「十分な本数（張る）$n$ 本」で必ず“置き換え吸収”できる。独立の本数は、張る集合の本数を超えられない、という主張です。

補題の証明（丁寧な置換・帰納の手順）

第1段階：$u_1$ を $W$ の中へ取り込む。
$u_1$ は $W$ の一次結合で書けます（$W$ が $V$ を張るため）：
$$u_1=\alpha_1w_1+\cdots+\alpha_nw_n.$$
もし全ての $\alpha_j=0$ なら $u_1=\mathbf{0}$ となり独立性に矛盾。よってある $k$ で $\alpha_k\ne 0$。このとき $w_k$ を $u_1$ に置き換えても依然として $V$ を張ります。実際
$$w_k=\frac{1}{\alpha_k}\Big(u_1-\sum_{j\ne k}\alpha_j w_j\Big)$$
なので、新集合
$$W^{(1)}=\{u_1,w_1,\dots,\widehat{w_k},\dots,w_n\}$$
は $V$ を張ります（$\widehat{\cdot}$ は除去を意味）。
帰納仮定： $r\ (1\le r < m)$ について、$U_r=\{u_1,\dots,u_r\}$ を含み、$V$ を張る $n$ 本の集合
$$W^{(r)}=\{u_1,\dots,u_r,\ z_{r+1},\dots,z_n\}$$
が得られていると仮定。
第 $r\!+\!1$ 段階：$u_{r+1}$ を取り込む。
$W^{(r)}$ は $V$ を張るので
$$u_{r+1}=\beta_1u_1+\cdots+\beta_r u_r+\sum_{j=r+1}^{n}\gamma_j z_j.$$
もし全ての $\gamma_j=0$ なら $u_{r+1}$ は $u_1,\dots,u_r$ の一次結合になってしまい、$U$ の独立性に矛盾。したがってある $k\in\{r+1,\dots,n\}$ で $\gamma_k\ne 0$ が存在。これにより
$$z_k=\frac{1}{\gamma_k}\Big(u_{r+1}-\beta_1u_1-\cdots-\beta_r u_r-\sum_{\substack{j=r+1\\ j\ne k}}^{n}\gamma_j z_j\Big)$$
と表せるので、$z_k$ を $u_{r+1}$ に置き換えた
$$W^{(r+1)}=\{u_1,\dots,u_{r+1},\ z_{r+1},\dots,\widehat{z_k},\dots,z_n\}$$
も $V$ を張る。
帰納の終了： この操作を $m$ 回繰り返すと、$V$ を張る $n$ 本の集合
$$W^{(m)}=\{u_1,\dots,u_m,\ t_{m+1},\dots,t_n\}$$
を得る。よって $n$ 本の中に確かに $m$ 本の $u_i$ が含まれており、したがって $m\le n$。

以上で補題が示されました（$m\le n$）。

主定理（次元の一意性）

$V$ を有限次元ベクトル空間とし、$B=\{b_1,\dots,b_m\}$ と $C=\{c_1,\dots,c_n\}$ を $V$ の任意の基底とする。このとき

$$m=n.$$

証明

$B$ は線形独立、$C$ は $V$ を張る。交換補題より $m\le n$。
$C$ は線形独立、$B$ は $V$ を張る。交換補題より $n\le m$。

二つを合わせて $m\le n$ かつ $n\le m$、ゆえに $m=n$。任意の基底の要素数が一致するので、次元は一意に定まる。□

ゼロ空間（補足）

$V=\{\mathbf{0}\}$ のとき、空集合 $\emptyset$ が唯一の基底であり要素数 $0$。よって $\dim V=0$。

(6) 基底に関する定理①：基底の言い換え

定理：基底の言い換え

「何を加えても線形独立でなくなる線形独立族（極大線形独立族）」は基底。

証明をみる

$S$ を線形独立で「任意の $v\in V – \mathrm{span}(S)$ を加えると線形独立が壊れる」と仮定する。

もし $\mathrm{span}(S)\neq V$ なら，$v\in V – \mathrm{span}(S)$ を 1 つ取り，$S\cup{v}$ は依然として線形独立。これは「$S$に$v$を加えると線形独立が壊れる」ことに反する。よって $\mathrm{span}(S)=V$，すなわち $S$ は基底。$\square$

(7) 基底に関する定理②：基底の延長

基底の延長

部分空間 $W$ の線形独立な $k$ 本 ${w_1,\dots,w_k}$ は，$W$ を張るように $(\dim W-k)$ 本を加えて基底にできる。

証明をみる

$\mathrm{span}(w_1,\dots,w_k)$ が $W$ でなければ，$W$ から $v_1\notin\mathrm{span}$ を選ぶと ${w_1,\dots,w_k,v_1}$ はまだ線形独立。
上記のベクトルの組み合わせで$W$を張れなければ、$v_1$と同様にして$v_2$ を選ぶ。これを繰り返すと有限次元ゆえ高々 $\dim W-k$ 回で $W$ を張る集合に到達する。$\square$

(8) 基底に関する定理③：シュミットの正規直交化法

シュミットの正規直交化法

基底$\mathbf{v}_1,\mathbf{v}_2,\dots$ から正規直交基底$\mathbf{u}_1,\mathbf{u}_2,\dots$ を以下のように生成できる。

$\mathbf{u}_1=(\mathbf{v}_1) / (\|\mathbf{v}_1\|)$，
$\mathbf{u}_2=(\mathbf{v}_2-(\mathbf{u}_1\mathbf{v}_2)\mathbf{u}_1) / (\|\mathbf{v}_2-(\mathbf{u}_1\mathbf{v}_2)\mathbf{u}_1\|)$，
$\mathbf{u}_i=(\mathbf{v_i} – \sum_{j=1}^{i-1}(\mathbf{u}_j\mathbf{v}_i)\mathbf{u}_j)(\|\mathbf{v_i} – \sum_{j=1}^{i-1}(\mathbf{u}_j\mathbf{v}_i)\mathbf{u}_j\|)$

証明をみる

最初に基底の1つ$\mathbf{v}_1$を規格化して1つ目の正規直交基底とする。
$i$本目の正規直交基底は$\mathbf{v}_i$をこれまでに作成した$1$から$(i-1)$本の正規直交基底が張る空間への正射影$\mathbf{p}_i$を作成し、$\mathbf{r}_i = \mathbf{v}_i – \mathbf{p}_i$とすれば$\mathbf{r}_i$は$1$から$(i-1)$本目までの正規直交基底の全てと直交するから、それを規格化すれば$i$本目の正規直交基底となる。

具体例をみる

$v_1=(1,1,0)$，$v_2=(1,0,1)$，$v_3=(1,1,1)$。
$|v_1|=\sqrt{2}$，$u_1=\tfrac{1}{\sqrt2}(1,1,0)$。
$\langle v_2,u_1\rangle=\tfrac{1}{\sqrt2}$，$\mathrm{proj}_{u_1}v_2=\tfrac{1}{\sqrt2}u_1=\tfrac12(1,1,0)$。
$v_2’=(1,0,1)-(\tfrac12,\tfrac12,0)=(\tfrac12,-\tfrac12,1)$，
$|v_2’|=\sqrt{\tfrac{3}{2}}=\tfrac{\sqrt6}{2}$。
$u_2=\dfrac{v_2′}{|v_2’|}=(\tfrac{1}{\sqrt6},-\tfrac{1}{\sqrt6},\tfrac{2}{\sqrt6})$。
$\langle v_3,u_1\rangle=\tfrac{2}{\sqrt2}=\sqrt2$.
$\mathrm{proj}_{u_1}v_3=(1,1,0)$。
$\langle v_3,u_2\rangle=\dfrac{1-1+2}{\sqrt6}=\dfrac{2}{\sqrt6}$，
$\mathrm{proj}_{u_2}v_3=\dfrac{2}{\sqrt6}u_2=(\tfrac13,-\tfrac13,\tfrac23)$。
$v_3’=v_3-(1,1,0)-(\tfrac13,-\tfrac13,\tfrac23)=(-\tfrac13,\tfrac13,\tfrac13)$，
$|v_3’|=\tfrac{1}{\sqrt3}$。
$u_3=\dfrac{v_3′}{|v_3’|}=(-\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3})$。
以上で直交正規基底 ${u_1,u_2,u_3}$ を得た。
各 $u_i$ の長さは 1，内積は 0。$\square$