선형대수학 1 복습 (Part 3)

* 2022.09.13 수업의 복습입니다.*

 

원래 2부까지만 할 예정이었던 선형대수학 1 복습이었지만, 내가 adjoint operator 까지의 범위를 이해한 수준과 Spectral theorem 이후 범위를 이해한 수준이 상당히 달라서 (Read: 뒷부분이 탄탄하지 못해서) 아예 새로운 글을 통해 복습하기로 하였다.

 

이후 어떤 명제를 진술할 때, 그 명제가 참인 체를 뒷부분에 괄호를 통해 첨부할 예정이다.

 

6) 특수한 Operator와 대각화 가능성

$T \in \mathcal{L}(V)$라 하자. 우리는 특수한 linear operator에 붙이는 여러 명칭을 살펴보았다:

 

 

a. $T^{*}T = TT^{*}$이면 $T$는 normal이다. ($\mathbb{F} = \mathbb{C}, \mathbb{F} = \mathbb{R}$)

b. $T^{*} = T$이면 $T$는 Hermitian / self-adjoint이다. ($\mathbb{F} = \mathbb{C}, \mathbb{F} = \mathbb{R}$)

c. $T^{*} = T^{-1}$이면 $T$는 unitary이다 ($\mathbb{F} = \mathbb{C}$) / $T$는 orthogonal이다. ($\mathbb{F} = \mathbb{R}$)

 

 

#주석. $(V,\mathbb{F})$가 유한차원 내적공간이라 하자. 이제 내적이라 함은 $\bullet: V \times V \to \mathbb{F}$임에 유의하라. 따라서 $\mathbb{F} = \mathbb{C}$이면 내적성질 iii)은 $x\bullet y = \overline{y \bullet x}$인 반면, $\mathbb{F} = \mathbb{C}$이면 내적성질 iii)은 $x \bullet y = y \bullet x$와 동치이다. (모든 내적의 결과물이 실수이기 때문이다.) 

 

예컨대 $V =\mathbb{C}, \mathbb{F} = \mathbb{R}$일 때 $\bullet: V \times V \to \mathbb{R}, x\bullet y = x_{1}y_{1} + x_{2}y_{2}$는 실수 위에 정의된 내적공간인 반면, $V =\mathbb{C}, \mathbb{F} = \mathbb{C}$일 때 $\bullet: V \times V \to \mathbb{C}, x\bullet y = x_{1}y_{1} + x_{2}y_{2}$는 더 이상 복소수 위에 정의된 내적공간이 아니게 된다.

 

한편 $\mathbb{F} = \mathbb{R}$이더라도, $\Psi_{V}: V \to V^{*}, \Psi_{V}(x) = x^{*}$는 여전히 정의할 수 있다. 그렇다면 c에서 체가 다른 경우를 왜 따로 불러야 하는가? 이는 이후 살펴볼 스펙트럴 정리에서 잘 드러날 것이다.

 

 

우리는 앞서 ONB로 대각화 가능한 모든 선형변환은 normal임을 살펴보았다. ($\mathbb{F} = \mathbb{C}, \mathbb{R}$)

그렇다면 그 역이 성립하는지가 문제된다. 우선 normal operator에 대한 다음의 사실들을 정립하자:

 

 

명제. $T\in \mathcal{L}(V)$라 하자. 이제 $TT^{*} = T^{*}T$라면, 다음이 성립한다: ($\mathbb{F} = \mathbb{C} \space or \space \mathbb{F} = \mathbb{R}$)

 

(a) $||T(x)|| = ||T^{*}(x)||$

(b) $\lambda \in \mathbb{F}$에 대해 $T -\lambda I$ 역시 normal이다.

(c) $v \in V$가 $T$의 고유벡터이고 고윳값 $\lambda$에 대응한다 하자. 이제 $v$는 $T^{*}$의 고유벡터이며 동시에 고윳값 $\overline{\lambda}$에 대응한다.

(d) $x_{1}, x_{2} \in V$는 각각 $\lambda_{1}, \lambda_{2}$에 대응하는 $T$의 고유벡터라 하자. 이제 $x_{1} \bullet x_{2} = 0$이다.

 

 

(c)의 증명.

$v$가 $T$의 고유벡터라 하고 고윳값을 $\lambda$라 하자. 이제 $(T-\lambda)v \bullet (T-\lambda)v = 0$이라는 사실을 안다.

그런데 한편으로 $(T-\lambda I)^{*} = T^{*} - \overline{\lambda} I$라는 사실을 아므로,

 

$$v \bullet (T^{*} - \overline{\lambda} I)(T - \lambda I) v \\ = v \bullet (T - \lambda I)(T^{*} - \overline{\lambda}I) v \\ = (T^{*} - \overline{\lambda}I)v \bullet (T^{*} - \overline{\lambda}I)v = 0$$

이다. $\square$

 

(d)의 증명.

$\lambda_{1} (x_{1} \bullet x_{2}) = T(x_{1}) \bullet x_{2} = x_{1} \bullet T^{*}x_{2} = \lambda_{2} (x_{1} \bullet x_{2}) \square$.

 

 

또한 다음의 정리가 중요하게 사용된다:

Schur's Theorem.

$T \in \mathcal{L}(V)$라 하고, $T$의 특성다항식이 $\mathbb{F}$ 위에서 일차식으로 분해된다 하자. 이제 ONB $\beta$가 존재하여, $[T]_{\beta}$가 상방삼각행렬이 되도록 할 수 있다.

 

증명.

$V$의 차원에 대한 귀납법을 사용한다.

$dim V = 1$이면 $V = \{av_{1} | a\in \mathbb{F}\}$이므로 $\beta = \{v_{1}\}$은 ONB이고, $Tv_{1} = cv_{1}$이면 $[T]_{\beta} = [c]$이고 이는 상방삼각행렬이다.

 

$dim V = 1,...,n-1$에 대해 정리가 성립한다 하자. 이제 $dim V = n$이라 하자.

$T$의 특성다항식이 $\mathbb{F}$ 위에서 분해된다. 한편 $\beta$가 $V$의 ONB라 하면

$det(T - \lambda I) = det( [T - \lambda I]_{\beta})$이고,

$det(T^{*} - \overline{\lambda} I) = det([T - \lambda I]^{*}_{\beta}) = \overline{det([T - \lambda I]_{\beta})}$이므로 둘의 특성다항식은 complex conjugate 관계에 있고, 따라서 $T^{*}$의 특성다항식 역시 $\mathbb{F}$ 위에서 일차식으로 분해된다. 따라서 $T^{*}$는 고유벡터가 하나 이상 있다. 한 고유벡터를 골라 $v_{1}$이라 표기하자.

 

이제 $\{v_{1}\}^{\perp}$는 $V$의 $n-1$차원 부분공간이다. 이것이 $T$- invariant하다면, $V = \{v_{1}\}^{\perp} \oplus \{av_{1} | a\in \mathbb{F} \}$이고, 각각의 ONB를 $\beta, \beta'$이라 하면 $[T]_{\beta \cup \beta'}$은 상방삼각행렬일 것이다. 이는 마지막 행과 열을 제외한 $(n-1)\times (n-1)$ 행렬이 상방삼각이고, $T$-invariance에 의해 $n$행 $i$열 (i < n)의 성분이 0일 것이기 때문이다.

 

 

$v \in \{v_{1}\}^{\perp}$라 하자. 이제 $Tv \bullet v_{1} = v \bullet T^{*}v_{1} = v \bullet \overline{\lambda}v_{1} = \lambda (v \bullet v_{1}) = 0$이므로 이것이 $T$-invariance를 보이고, 따라서 증명이 완료된다. $\square$

 

 

정리. (Spectral theorem 1)

$T \in \mathcal{L}(V), \mathbb{F} = \mathbb{C}$라 하자. 이제 $T$가 normal하면 ONB $\beta$가 존재하여 $[T]_{\beta}$가 대각행렬이 되게 할 수 있다.

 

증명.

Schur's theorem에 의해 ONB $\beta$를 잡아, $[T]_{\beta}$가 상방삼각행렬이 되도록 하자.

일단 $v_{1}$은 고유벡터임을 안다. 이제 $v_{1},...,v_{k-1}$이 고유벡터일 때 $v_{k}$ 또한 고유벡터임을 보일 것이다.

$Tv_{k} = A_{1k}v_{1} + ... + A_{kk}v_{k}$라는 사실을 안다. 한편 $k \neq j$에 대해

$$ A_{kj} = Tv_{k} \bullet v_{j} \\ = v_{k} \bullet T^{*}v_{j} = \lambda_{j} v_{k} \bullet v_{j} \\ = 0$$

이다. 첫 등식은 기저가 ONB인 경우 행렬표현의 정의에 의해 성립한다. 셋째 등식은 $T$가 normal하면 $T$의 고유벡터와 $T^{*}$의 고유벡터가 같다는 사실로부터 성립한다. 마지막 등식은 ONB의 정의에 의해 성립한다.

 

따라서 $[T]_{\beta}$는 대각행렬이고 정리가 증명된다. $\square$

 

Alt 증명.

$V$의 차원에 대해 귀납법을 사용한다.

$dim V = 1$인 경우 특성다항식이 일차식으로 분해되므로 ($\mathbb{F} = \mathbb{C}$) 성립한다.

$dim V = 1,...,n-1$일 때 성립한다 가정하고, $dim V = n$인 경우를 보이자.

특성다항식이 일차식으로 분해되므로 고유벡터가 하나 이상 있고, 이 벡터에 상응하는 고윳값을 $\lambda_{1}$이라 하자.

이제 $dim E(\lambda_{1}) < n$이므로 이 고유공간에 대한 ONB $\beta'$을 잡아, $T$를 고유공간에 제한한 operator를 $\beta'$으로 표현하면 대각행렬이 나오도록 하자.

이제 Schur's theorem과 유사하게 $E(\lambda_{1})^{\perp}$가 $T$-invariant함을 보이자.

$y \in E(\lambda_{1})^{\perp}$라 하자. 이제 $v\in E(\lambda_{1})$라 하면,

$$ Ty \bullet v = y \bullet T^{*}v = y \bullet \overline{\lambda_{1}}v = \lambda_{1} (y \bullet v) = 0$$

이다. 여기서 둘째 등식은 normal operator의 경우 $T,T^{*}$의 고유벡터들이 같다는 사실을 이용하였다. $\square$

 

 

 

정리. (Spectral theorem 2)

$T \in \mathcal{L}(V), \mathbb{F} = \mathbb{C} \space or \space \mathbb{R}$이라 하자. 이제 $T$가 self-adjoint하면 ONB $\beta$가 존재하여 $[T]_{\beta}$가 대각행렬이 되게 할 수 있다.

 

 

증명.

$\mathbb{F} = \mathbb{C}$이므로 $T$의 특성다항식은 $\mathbb{F}$서 일차식으로 분해되고, 따라서 ONB $\beta$가 존재하여 $[T]_{\beta}$가 상방삼각행렬이 되도록 할 수 있다.

한편

$$ [T^{*}]_{\beta} = [T]^{*}_{\beta} = [T]_{\beta}$$ 역시 상방삼각행렬이므로 이는 $[T]_{\beta}$가 대각행렬임을 의미한다.

 

 

#주석. 여기서는 $\mathbb{F} = \mathbb{R}$이어도 증명이 성립한다는 사실에 주목하라. 만약 spectral theorem 1을 사용하고자 했다면 $\mathbb{F] = \mathbb{R}$을 증명하지 못했을 것인데, 이는 특성다항식이 split한다는 보장이 없기 때문이다.

 

 

ONB $\beta = \{v_{1}, ... , v_{n} \}$를 통해 $[T]_{\beta}$가 대각화되었다 하자. 이제 $T \in \mathcal{L}(V)$를 다음과 같이 나타낼 수 있다:

 

$$ T = \Sigma_{i=1}^{n} \lambda_{i} v_{i} v_{i}^{*}$$

 

"음? 스칼라곱은 왼쪽에서만 정의했는데?"라고 생각할 사람들을 위해서, 여기서 $v_{i}$는 사실 벡터가 아니라 선형변환이다!

 

$v_{i} : \mathbb{F} \to V, v_{i}(1) = v_{i}$

 

abusive notation이라고 항의할 수 있겠다. 사실 나도 그렇다고 생각한다. 하지만 교수님께서 이렇게 가르치셔서 일단은 이렇게 써보았다. 맥락에 따라 잘 분간할 수 있어야지. 여튼 벡터는 일종의 선형변환이라고 볼 수 있다는 관점이 흥미롭긴 했다.

 

 

이러한 사실들을 바탕으로 선형변환의 정부호성을 조사할 수 있다:

 

 

정의. $T \in \mathcal{L}(V)$는 self-adjoint 변환이라 하자. 또한 $\mathbb{F} \in \{\mathbb{R}, \mathbb{C}\}$이라 하자.

이제 다음과 같이 정의하자:

$0 \neq x \in V, Tx \bullet x > 0 \Leftrightarrow T$ is positive definite (양의 정부호)

$0 \neq x \in V, Tx \bullet x \geq 0 \Leftrightarrow T$ is positive semi-definite (양의 준정부호)

negative definite, negative semi-definite 역시 유사하게 정의한다.

 

 

$T$가 self-adjoint하므로, $\mathbb{F}$가 실수, 복소수 중 무엇이더라도 spectral theorem 2에 의해 ONB $\beta$에 의해 $T$가 대각화가 가능함을 안다. 또한 앞서 살펴본 표기 $T = \Sigma_{i=1}^{n} \lambda_{i} v_{i} v_{i}^{*}$을 고려해 보면, 다음의 사실을 쉽게 증명할 수 있다:

 

$T$ positive definite <=> $\lambda_{i} > 0$

$T$ positive semi-definite <=> $\lambda_{i} \geq 0$

 

 

한편 unitary, self-adjoint operator들의 고윳값들은 특수한 성질을 가진다:

 

1) $T \in \mathcal{L}(V), \mathbb{F} = \mathbb{C}$가 unitary operator이라 하자. 이제 $T$는 ONB에 의해 대각화 가능하며 (spectral theorem 1), 특히 모든 고윳값들은 크기 1의 복소수이다.

특히 $T$는 내적을 보존한다: $Tx \bullet Ty = x \bullet y$

이러한 $T$를 rigid motion이라 부른다.

 

2) $T \in \mathcal{L}(V)$가 self-adjoint operator이라 하자. 이제 $T$는 ONB에 의해 대각화 가능하며 (spectral theorem 2), 특히 모든 고윳값들은 실수이다.

이는 Normal operator의 경우 $T, T^{*}$가 같은 고유벡터들을 가지며 대응되는 고윳값은 complex conjugate 관계를 가짐에서 기인한다.

 

 

7) 6), but for matrices

정의.

$A \in \mathcal{M}_{n \times n}$이 행렬이라 하자. 행렬에 대해서 다음과 같이 정의한다:

i) $A$ is normal $\Leftrightarrow L_{A} \in \mathcal{L}(\mathbb{F}^{n})$ is normal

ii) $A$ is self-adjoint $\Leftrightarrow L_{A} \in \mathcal{L}(\mathbb{F}^{n})$ is self-adjoint

iii) $A$ is unitary (complex) / orthogonal (real) $\Leftrightarrow L_{A} \in \mathcal{L}(\mathbb{F}^{n})$ is unitary / orthogonal

 

 

명제 1.

$$ L_{A^{*}} = (L_{A})^{*}$$

증명.

$\mathbb{F}^{n}$의 표준기저 $\beta = \{e_{1}, ... , e_{n}\}$을 잡음으로써 우리는 다음의 사실을 알 수 있다:

$$ [L_{A^{*}}]_{\beta} = A^{*} = [L_{A}]_{\beta}^{*} = [(L_{A})^{*}]_{\beta}$$

이제 선형변환의 집합에서 동차원 행렬의 집합으로 보내는 선형변환이 전단사이므로 증명이 완료된다. $\square$

 

명제 2.

$\mathbb{F} = \mathbb{C}$이고, $A \in \mathcal{M}_{n\times n}$가 unitary 행렬이라 하자. 이제 $A$의 열들은 $\mathbb{C}^{n}$의 ONB를 이룬다.

증명.

$\beta$를 $\mathbb{C}^{n}$의 표준기저라 하자. 이제 다음이 성립한다:

$$I_{n} = [I_{\mathbb{C}^{n}}]_{\beta} = [L_{AA^{*}}]_{\beta} = [L_{A}]_{\beta} [L_{A^{*}}]_{\beta} = AA^{*}$$

$A^{*}A$에 대해서도 유사한 증명이 가능하다.

 

 

명제 3.

$\mathbb{F} = \mathbb{C}$이고 $A \in \mathcal{M}_{n\times n}$가 normal 행렬이라 하자. 이제 unitary 행렬 $U$가 존재하여, $U^{-1}AU$가 대각행렬이 된다.

증명.

$L_{A} \in \mathcal{L}(\mathbb{C}^{n})$이 ONB에 의해 대각화 가능하므로, 이 기저를 $\beta'$이라 하자.

이제 대각행렬 $D$가 존재하여 $D = [L_{A}]_{\beta'} = [I_{\mathbb{C}^{n}}]_{\beta}^{\beta'} [L_{A}]_{\beta} [I_{\mathbb{C}^{n}}]_{\beta'}^{\beta}$이고, $[I_{\mathbb{C}^{n}}]_{\beta'}^{\beta}$의 열들은 $\mathbb{C}^{n}$의 정규직교기저를 이루므로 이 행렬은 unitary 행렬 $U$로 표현할 수 있다.

따라서 $D = U^{-1}AU$가 성립한다. $\square$

 

 

명제 4.

$\mathbb{F} =\mathbb{R}$이고 $A \in \mathcal{M}_{n \times n}$가 대칭행렬이라 하자. 이제 orthogonal 행렬 $U$가 존재하여, $U^{-1}AU$가 대각행렬이 된다.

증명.

이 경우 $A = A^{*}$이므로 $\mathbb{R}^{n}$의 표준기저 $\beta$에 대해 $[L_{A}^{*}]_{\beta} = [L_{A^{*}}]_{\beta} = [L_{A}]_{\beta}$이고, 따라서 $L_{A}$가 self-adjoint operator가 되고, 따라서 ONB에 의해 대각화 가능하다. 이후 명제 3의 증명에서 했던 내용을 그대로 반복하면 증명이 완료된다. 다만 $\mathbb{F} = \mathbb{R}$이므로 좌표변환 행렬이 orthogonal 하다는 차이점을 얻는다. $\square$

 

 

#주석. unitary operator들은 normal하므로 diagonalizable하다. 허나 orthogonal operator들은 normal하기는 하지만 특성다항식이 split한다는 보장이 없으므로 diagonalizable하다는 보장 역시 없다.

 

예컨대 다음의 행렬을 살펴보라:

 

$$ A = \begin{bmatrix} cos(\theta) \space sin(\theta) \\ -sin(\theta) \space cos(\theta) \end{bmatrix}$$

 

$A^{*}A = AA^{*} = I$이므로 이 행렬(과 이에 연관된 선형변환 $L_{A}$)는 orthogonal이다. 허나 이 행렬은 실수에서 대각화가능하지 않다 (특성다항식이 실수에서 분해되지도 않는다).

 

 

이로써 모든 복습이 마무리되었다. 다음 글부터는 SVD를 들어가도록 하겠다.