정규 직교 기저
Chapter 5 : Orthonormal Basis
Edited by / 서원형 (wonhyeongseo) 
섹션 2.6.1 에서 기저 벡터의 특징을 알아보았고, n차원 벡터 공간에서 n개의 기저 벡터 (선형독립적인 벡터)가 있어야함을 증명했습니다. 섹션 3.3와 3.4에서는 내적곱을 사용해 벡터의 길이와 두 벡터 사이의 각도를 구할 수 있었습니다. 지금부터 특수한 경우인 정규 직교 기저에 대해 알아봅시다. (기저 벡터들이 서로 직교하고, 각 기저 벡터의 길이가 1인 경우)
수학적 정의
n차원 벡터 공간 $V$ 와 $V$ 의 기저 ${b_1, \dots, b_n}$ 가 있을 때,
\[\left\langle b_i, b_j \right\rangle = 0 \text{ for } i \neq j \\ \left\langle b_i, b_i \right\rangle = 1\]가 모든 $i,j = 1, \dots, n$ 에 대해 성립하면 이 기저는 정규 직교 기저 (ONB; Orthonormal basis)입니다. 첫 조건만 만족하면, 직교 기저 (orthogonal basis)라고 불립니다. 두번째 조건은 모든 기저 벡터가 길이/노름이 1임을 나타냅니다.
그람-슈미트 단위직교화
섹션 2.6.1에서 배운 가우스 소거법을 떠올려봅니다. 서로 직교하지 않고 노름 함수를 거치지 않은 기저 벡터 집합 ${ \tilde{b}_1, \dots, \tilde{b}_n }$ 이 주어졌을때,
- 행렬 $\tilde{B} = \left[ \tilde{b}_1, \dots, \tilde{b}_n \right]$ 로 합치고
- 확장 행렬 $\left[ \tilde{B} \tilde{B}^\top | \tilde{B} \right]$ 에 가우스 소거법을 적용
- 정규 직교 기저를 구했어요.
이렇게 단계를 거쳐 정규 직교 기저를 구하는 방법을 그람-슈미트 단위직교화 (Strang, 2003)라고 합니다.
예제:
연습문제:
10장과 12장에서 정규 직교 기저의 개념을 SVM (서포트 벡터 머신)과 PCA (주성분 분석)에 응용할 예정입니다!