매개 변수 추정

Chapter 2 : Parameter Estimation

Edited by / 김윤종 (kyj098707)

선형회귀 setting이 된 상태에서 다음과 같은 데이터셋이 있다고 가정을 해보자

D := [(x_{1}, y_{1}), . . ., (x_{n}, y_{n})]

$D := [(x_1,y_1),...,(x_n,y_n)]$

i n p u t x_{n} \subseteq R^{D}, t r a g e t y_{n} \subseteq R, n = 1, . ., N

$input \ x_n \subseteq \mathbb{R}^D , traget \ y_n \subseteq \mathbb{R}, n = 1,..,N$

이때 input 값인 $x_i, x_j$ 는 해당 target 값인 $y_i, y_j$ 에 대해 조건부 독립이기 때문에 Likelihood factorize하여 다음과 같이 표현할 수 있다.

\prod_{n = 1}^{N} p (y_{n} | x_{n}, θ) = \prod_{n = 1}^{N} N (y_{n} | x_{n}^{T} θ, σ^{2})

$\prod_{n=1}^N p(y_n | x_n, \theta ) = \prod_{n=1}^N \mathcal{N}(y_n | x^T_n \theta , \sigma^2 )$

여기서 우리는 최적의 파라미터 $\theta^* \subseteq \mathbb{R}^D$ 를 구하고 이것을 input값인 $x$ 와 같이 넣어 target 값인 $y$ 의 분포를 구하려고 한다. 해당 수식은 다음과 같다.

p (y_{*} | x_{*}, θ^{*}) = N (y_{*} | x_{*}^{T} θ^{*}, σ^{2})

$p(y_* | x_*, \theta^*) = \mathcal{N} ( y_*| x^T_* \theta^* , \sigma^2 )$

이번 장에서는 위의 수식으로 구해지는 Likelihood를 최대화시켜 파라미터를 추정하려고 한다.

최대우도법 (Maximum Likelihood Estimation)

Likelihood를 최대화한 파라미터 $\theta _{ML}$ 을 찾는 과정인 Maximum Likelihood estimation를 우리는 가장 넓게 쓰고 있다. 이것은 trainin data의 predictive 분포를 최대화시킨다는 것으로 다음과 같이 구해진다.

θ_{M L} = a r g \underset{θ}{m a x} p (Y | X, θ)

$\theta_{ML} = arg \underset{ \theta } {max} \ p( \mathcal{Y} | \mathcal{X}, \theta)$

이때 주의해야할 점은 Likelihood $p(y | x, \theta)$ 는 $\theta$ 의 확률 분포가 아니기 때문에 이것을 합해도 1이 되지 않는다. 또한 각 \theta에 대해 합을 구하는 것도 불가능하며 위의 식은 y에 대한 normalized probabilty 분포이다.
우리는 해당 likelihood를 최대한 시키는 $\theta_{ML}$ 을 구하기 위해 gradient ascent, descent을 사용하게 된다. 또한 우리는 바로 likelihood를 최대화하지 않고 log 변형을 적용시키게 된다.

로그 변환 (Log Transformation)

likelihood는 N개의 가우시안 분포이다. 이때 log-transformation을 적용시키면 미분이 간편해지고, 언더플로우가 발생하지 않게 된다. 로그 변환을 적용시킨 $\theta_{ML}$ 을 찾는 수식은 다음과 같다.

- l o g (Y | X, θ) = - l o g \prod_{n = 1}^{N} p (y_{n} | x_{n}, θ) = - \sum_{n = 1}^{N} l o g p (y_{n} | x_{n}, θ)

$-log( \mathcal{Y} | \mathcal{X} , \theta ) = -log \prod_{n=1}^N p(y_n | x_n, \theta ) = - \sum_{n=1}^N log p(y_n|x_n, \theta )$

선형회귀 모델에서 likelihood는 로그변환을 하면 아래와 같이 표현할 수 있습니다. (선형회귀모델에서 likelihood는 가우시안 분포를 따름)

l o g p (y_{n} | x_{n}, θ) = - \frac{1}{2 σ^{2}} (y_{n} - x_{n}^{T} θ)^{2} + c o n s t

$logp(y_n | x_n, \theta ) = - \frac{1}{2 \sigma^2 } ( y_n - x^T_n \theta)^2 + const$

이때 negative log-likelihood를 취하면 아래와 같은 식을 얻을 수 있다. 이때 const값은 $\theta$ 와 독립이기 때문에 무시하고 계산할 수 있다.

L (θ) := \frac{1}{2 σ^{2}} \sum {n = 1}^{N} (y_{n} - x_{n}^{T} θ)^{2} = \frac{1}{2 σ^{2}} (y - X θ)^{T} (y - X θ) = \frac{1}{2 σ^{2}} ‖ y - X θ ‖^{2}

$\mathcal{L}( \theta ) := \frac {1}{2 \sigma^2 } \sum{n=1}^N (y_n - x^T_n \theta) ^2 \\ = \frac{1}{2 \sigma^2} (y-X \theta )^T (y- X \theta ) = \frac{1}{2 \sigma^2} \lVert y-X \theta \rVert ^2$

우리는 이것을 미분하여 다음과 같이 Gradient를 계산할 수 있다.

\frac{d L}{d θ} = \frac{d}{d θ} (\frac{2 σ^{2}}{1} (y - X θ)^{T} (y - X θ)) = \frac{1}{2 σ^{2}} \frac{d}{d θ} (y^{T} y - 2 y^{T} X θ + θ^{T} X^{T} X θ) = \frac{1}{σ^{2}} (- y^{T} X + θ^{T} X^{T} X) \subseteq (R)^{1 \times D}

$\frac{d \mathcal{L} }{d \theta} = \frac{d}{d \theta} ( \frac{2 \sigma^2}{1} (y - X \theta )^T (y- X \theta ))\\ = \frac{1}{2 \sigma^2} \frac{d}{d \theta } (y^T y - 2y^T X \theta + \theta^T X^T X \theta ) = \frac{1}{\sigma^2}(- y^T X + \theta^T X^T X) \subseteq \mathbb(R)^{1 \times D}$

우리는 또한 $\frac{d mathcal{L}}{d \theta} = 0^T$ 로 다음과 같은 수식을 유도할 수 있다.

\frac{d m a t h c a l L}{d θ} = 0^{T} ⟺ θ_{M L}^{T} X^{T} X = y^{T} X ⟺ θ_{M L}^{T} = y^{T} X (X^{T} X)^{- 1} ⟺ θ_{M L} = (X^{T} X)^{- 1} X^{T} y

$\frac{d mathcal{L}}{d \theta} = 0^T \iff \theta^T_{ML} X^T X = y^T X \\ \iff \theta^T_{ML} = y^T X ( X^T X ) ^{-1}\\ \iff \theta_{ML} = (X^T X)^{-1} X^T y$

linear regression 모델은 현실적인 데이터에서 충분한 설명을 이끌어내지 못한다. 그래서 우리는 좀 더 non-linear한 모델을 다루게 될 것이다. non-linear한 모양을 하는 회귀모델도 Parameter가 linear하다면 우리는 이를 linear regression이라고 할 수 있으며 우리는 이런 경우 non-linear transformation을 다음과 같이 나타낼 수 있다.

p (y | x, θ) = N (y | ϕ^{T} (x) θ, σ^{2}) ⟺ y = ϕ^{T} (x) θ + ϵ = \sum_{k = 0}^{K - 1} θ_{k} ϕ_{k} (x) + ϵ

$p(y|x, \theta ) = \mathcal{N} (y| \phi^T (x) \theta, \sigma^2 ) \iff y = \phi^T (x) \theta + \epsilon = \sum_{k=0}^{K-1} \theta_k \phi_k (x) + \epsilon$

다항 회귀(Polynomial Regression)

우리는 regression에서 $y = \phi^T (x) \theta + \epsilon$ 을 구하는 과정에서 $\phi (x)$ 를 다음과 같이 나타낼 수 있다.

ϕ (x) = [\begin{matrix} ϕ_{0} (x) \\ ϕ_{1} (x) \\ ⋮ \\ 0 \end{matrix}] = [\begin{matrix} 1 \\ x \\ x^{2} \\ x^{3} \\ ⋮ \\ x^{K - 1} \end{matrix}] \subseteq R^{K}

$\phi(x) = \begin{bmatrix} \phi_0 (x) \\ \phi_1 (x) \\ \vdots \\ 0 \end{bmatrix} = \begin{bmatrix} 1 \\ x \\ x^2 \\ x^3 \\ \vdots \\ x^{K-1} \end{bmatrix} \subseteq \mathbb{R}^K$

또한 $\phi_j (x_i)$ 의 transpose는 다음과 같이 나타낼 수 있다.

Φ := [\begin{matrix} ϕ^{T} (x_{N}) \\ _{⋮} \\ ϕ^{T} (x_{N}) \end{matrix}] = [\begin{matrix} ϕ_{0} (x_{1}) & \dots & ϕ_{K - 1} (x_{1}) \\ ϕ_{0} (x_{2}) & \dots & ϕ_{K - 1} (x_{2}) \\ ⋮ & ⋮ \\ ϕ_{0} (x_{N}) & \dots & ϕ_{K - 1} (x_{N}) \end{matrix}] \subseteq R^{N \times K}

$\Phi := \begin{bmatrix} \phi^T (x_N) \\_ \vdots \\ \phi^T (x_N) \end{bmatrix} = \begin{bmatrix} \phi_0 (x_1) & \cdots & \phi_{K-1}(x_1) \\ \phi_0 (x_2) & \cdots & \phi_{K-1}(x_2) \\ \vdots & \vdots \\ \phi_0 (x_N) & \cdots & \phi_{K-1}(x_N) \\ \end{bmatrix} \subseteq \mathbb{R}^{N \times K}$

다항회귀의 최대 우도 적합 (Maximum Likelihood Polynomial Fit)

그림1 다항 회귀의 최대 우도

위의 그림(a)는 N = 20의 $(x_n, y_n)$ 로 이루어진 데이터셋이다. 이 때 $x_n \sim \mathcal{U} [-5,5]$ 이고 $y_n = -sin(x_n / 5) + cos(x_n) + \epsilon, \epsilon \sim \mathcal{N} (0,0.2^2)$ 이다.
우리는 이런 데이터셋을 4차 변환으로 maximum likelihood estimation하여 그림 (b)과 같이 $\theta_{ML}$ 을 구해 Regression 함수를 구할 수 있다.

Estimation the Noise Variance

우리는 지금까지 $\theta^2$ 가 주어진 상태에서 계산을 진행하였고 이장에서는 Maximum likelihood estimation의 원칙을 이용하여 $\theta_{ML}^2$ 을 직접 계산하려고 한다. 해당 과정은 다음과 같다.

l o g p (Y | X, θ, σ^{2}) = \sum_{n = 1}^{N} l o g N (y_{n} | ϕ^{T} (x_{n}) θ, σ^{2}) = \sum_{n = 1}^{N} (- \frac{1}{2} l o g (2 π) - \frac{1}{2} l o g σ^{2} - \frac{1}{2 σ^{2}} (y_{n} - ϕ^{T} (x_{n}) θ)^{2}) = - \frac{N}{2} l o g σ^{2} - \frac{1}{2 σ^{2}} \sum_{n = 1}^{N} (y_{n} - θ^{T} (x_{n}) θ)^{2} + c o n s t

$log p( \mathcal{Y} | \mathcal{X}, \theta , \sigma ^2 ) = \sum_{n=1}^N log \mathcal{N} (y_n | \phi^T (x_n) \theta , \sigma^2) \\ = \sum_{n=1}^N ( - \frac{1}{2} log (2 \pi ) - \frac{1}{2} log \sigma^2 -\frac{1}{2 \sigma^2}(y_n - \phi^T (x_n) \theta )^2 ) \\ = - \frac{N}{2} log \sigma^2 - \frac{1}{2 \sigma^2} \sum_{n=1}^N (y_n - \theta^T(x_n)\theta)^2 + const$

이후에 $\sigma^2$ 에 대해 미분을 하면 다음과 같이 최종적은 결과를 얻을 수 있다.

\frac{\partial l o g p (Y | X, θ, σ^{2})}{\partial σ^{2}} = \frac{N}{2 σ^{2}} + \frac{1}{2 σ^{4}} s = 0 ⟺ \frac{N}{2 σ^{2}} = \frac{s}{2 σ^{4}} σ_{M L}^{2} = \frac{s}{N} = \frac{1}{N} \sum_{n = 1}^{N} (y_{n} - ϕ^{T} (x_{n}) θ)^{2}

$\frac{\partial log p( \mathcal{Y} | \mathcal{X}, \theta , \sigma^2 )}{ \partial \sigma^2 } = \frac{N}{2 \sigma^2 } + \frac{1}{2 \sigma^4 } s = 0\\ \iff \frac{N}{2 \sigma^2 } = \frac{s}{2 \sigma^4} \\ \\ \sigma^2_{ML} = \frac{s}{N} = \frac{1}{N} \sum_{n=1}^N (y_n - \phi^T(x_n) \theta )^2$

선형 회귀 과적합(Overfitting in Linear Regression)

우리는 방금까지 maximum likelihood estimation를 사용하여 linear 모델을 학습을 시키는 것에 대해 이야기하였다. 우리는 오차와 손실을 계산하여 모델을 평가할 수 있는데 maximum likelihood estimation에서는 negative log-likelihood를 최소화는 방법을 쓸 수 있다. 또한 노이즈 파라미터 $\sigma^2$ 가 free model parameter가 아니면 $\frac{1}{ \sigma^2 }$ 로 스케일링 하지 않아도 되고 이런 경우 우리는 제곱오차(squared-error-loss)가 아닌 root-mean-square-error(RMSE)를 주로 사용하게 된다.

\sqrt{(} \frac{1}{N} ‖ y - Φ θ ‖^{2}) = \sqrt{(} \frac{1}{N} \sum_{n = 1}^{N} (y_{n} - ϕ^{T} (x_{n}) θ)^{2}),

$\sqrt( \frac{1}{N} \lVert y-\Phi \theta \rVert^2) = \sqrt( \frac{1}{N} \sum_{n=1}^N (y_n - \phi^T (x_n) \theta )^2),$

제곱 오차의 경우 크기가 다른 데이터셋의 오차를 비교할 수 있고, RMSE의 경우 관측된 함수 값 $y_n$ 과 동일한 스케일 및 단위를 가질 수 있다.

트레이닝 데이터 개수 N, 다항식의 차 수 M이라고 가정을 하자 우리는 이때 $0 \leq M \leq N -1$ 을 M의 개수로 하는 것이 적절하다. 반대로 $M \ge N$ 의 경우 데이터 포인트보다 더 많은 파라미터를 가지게 되고 이 때 가능한 MLE는 무수히 많게 된다.

그림2 다양한 다항회귀에서의 최대우도적합

위의 그림은 10개의 데이터 포인터에 대해 다항식의 차수를 보여준다. 차수가 높아질 수록 점차 데이터에 적합해지는 것을 알 수 있고, M=9일 때 모든 데이터와 일치한다. 하지만 이런 경우에는 새로운 데이터에 대해서 예측을 못하는 경우가 있으며 이를 overfitting되었다고 한다.
우리는 그렇기에 새로운 데이터를 잘 설명하기 위해 일반화하는 것이 필요하다. 200개의 테스트 셋을 별도로 구성하여 다항식 차수 M에 대한 일반화 성능에 대해 알아보고자 한다. 테스트의 input으로는 [-5,5] 안의 값의 200 포인트의 선형 그리드를 선택을하며 결과는 다음과 같다.

그림3 훈련 및 테스트 에러

test결과 차수가 6차부터 성능이 급격하게 주는 것을 알 수 있었다. 4차에서 가장 작은 테스트 오차를 보였으며 우리는 이 지점에서 일반화가 가장 잘 됐다는 것도 알 수 있다.

최대 사후 확률 (Maximum A Posteriori Estimation)

파라미터 $\theta$ 에 대한 가우시안 사전확률에서 선형 회귀에서 음의 로그 사후 확률은 아래와 같다.

- l o g p (θ | X, Y) = \frac{1}{2 σ^{2}} (y - Φ θ)^{T} (y - Φ θ) + \frac{1}{2 b^{2}} θ^{T} θ + c o n s t

$-logp( \theta | \mathcal{X}, \mathcal{Y} ) = \frac{1}{2 \sigma^2 } (y- \Phi \theta )^T (y - \Phi \theta) + \frac{1}{2b^2} \theta^T \theta + const$

위의 식을 파라미터 $\theta$ 에 대해 미분을 하여 로그 사후 확률의 경사를 아래와 같이 구할 수 있다.

- \frac{d l o g p (θ | X, Y)}{d θ} = \frac{1}{σ^{2}} (θ^{T} Φ^{T} Φ - y^{T} Φ) + \frac{1}{b^{2}} θ^{T}

$- \frac{d log p( \theta | \mathcal{X} , \mathcal{Y} )}{d \theta } = \frac{1}{ \sigma^2 } ( \theta^T \Phi^T \Phi - y^T \Phi ) + \frac{1}{b^2} \theta^T$

우리는 MAP 추정치 $\theta_{MAP}$ 을 위의 경사를 0^T로 설정하여 다음과 같이 풀 수 있다.

\frac{1}{σ^{2}} (θ^{T} Φ^{T} Φ - y^{T} Φ) + \frac{1}{b^{2}} θ^{T} = 0^{T} ⟺ θ^{T} (\frac{1}{σ^{2}} Φ^{T} Φ + \frac{1}{b^{2}} I) - \frac{1}{σ^{2}} y^{T} Φ = 0^{T} ⟺ θ^{T} (Φ^{T} Φ + \frac{σ^{2}}{b^{2}} I) = y^{T} Φ ⟺ θ^{T} = y^{T} Φ (Φ^{T} Φ + \frac{σ^{2}}{b^{2}} I)^{- 1}

$\frac{1}{ \sigma^2 } ( \theta^T \Phi^T \Phi - y^T \Phi) + \frac{1}{b^2} \theta^T = 0^T \\ \iff \theta^T ( \frac{1}{\sigma^2} \Phi^T \Phi + \frac{1}{b^2} I ) - \frac{1}{ \sigma ^2} y^T \Phi = 0^T \\ \iff \theta^T ( \Phi^T \Phi + \frac{\sigma^2}{b^2} I ) = y^T \Phi \\ \iff \theta^T = y^T \Phi ( \Phi^T \Phi + \frac{ \sigma^2 }{b^2} I )^{-1}$

이제 $\theta_{MAP}$ 은 양변을 transpose하여 아래와 같이 나타낼 수 있다.

θ_{M A P} = (Φ^{T} Φ + \frac{σ^{2}}{b^{2}} I)^{- 1} Φ^{T} y

$\theta_{MAP} = (\Phi^T \Phi + \frac{ \sigma^2 }{ b^2 } I )^{-1} \Phi^T y$

$\theta_{ML}$ 과 MLE를 비교해보면 역행렬 안에 $\frac{\sigma^2}{b^2}$ 가 추가되어 있는 것을 알 수 있다. 이 항은 대칭적이며 positive definite하다는 것을 보장한다. 즉 역이 존재하고 $\theta_{ML}$ 가 선형방적식 시스템의 유일한 해임을 보장하며 정규화를 반영한다.

다항 회귀에 대한 최대 사후 확률 (MAP Estimation for Polynomial Regression)

우리는 앞서 다항식 회귀 분석 예에서 파라미터 $\theta$ 에 대한 가우시안 사전확률 $p( \theta ) = \mathcal{N} (0,1)$ 을 설정하고 이에 $\theta_{ML}$ 을 결정한다. 아래 그림은 6차와 8차 다항식에 대한 최대 우도와 MAP 추정치를 보여준다.

그림4 다항회귀 : 최대우도와 최대사후추정(MAP)

여기서 우리는 사전확률이 낮은 차수의 다항식에서는 큰 역할을 하지 않지만 높은 차수의 다항식에서는 비교적으로 많은 영향을 주는 것을 알 수 있다. MAP 추정치가 과적합의 경계와 가까워질 수 있지만, 이 문제는 일반적인 해결책이 아니기 때문에 좀 더 원칙적인 접근이 필요하다.

정규화로써 최대 사후 확률(MAP Estimation as Regularization)

매개변수 $\theta$ 에 사전 확률 분포로 설정하는 대신 정규화를 통해 매개변수 진폭에 페널티를 부과하여 과적합의 영향을 완화할 수 있다. 정규화된 최소 제곱에서, $\theta$ 에 대해 최소화해야하는 손실 함수는 아래와 같다.

- \log p (θ) = \frac{1}{2 b^{2}} ‖ θ ‖_{2}^{2}

$- \log p( \theta ) = \frac{1}{2b^2} \lVert \theta \rVert _{2}^{2}$

이때, 첫번째 항은 데이터의 적합성을 나타내주는 항이며, 두번째 항은 정규화 항으로 정규화 매개변수 $\lambda \geq 0$ 는 정규화의 수준을 조절한다.

Regularizer $\lambda \lVert \theta \rVert _{2}^{2}$ 는 음의 로그 가우시안 사전 확률 분포로 해석 될 수 있으며 MAP의 추정에 사용된다. 이때 가우시안 사전확률 분포 $p( \theta ) = \mathcal{N} (0, b^2 I)$ 을 사용하여 아래와 같은 음의 로그 가우시안 사전 확률을 얻을 수 있다.

- \log p (θ) = \frac{1}{2 b^{2}} ‖ θ ‖_{2}^{2} + c o n s t

$- \log p ( \theta ) = \frac{1}{2 b^2 } \lVert \theta \rVert _{2}^{2} + const$

이 때 $\lambda = \frac{1}{2b^2}$ 일 때 정규화 항과 음의 로그 가우시안 사전 확률은 같게 된다.

정규화된 최소 제곱 손실 함수를 최소화하면 아래와 같은 식을 얻을 수 있다.

θ_{R L S} = (Φ^{T} Φ + λ I)^{- 1} Φ^{T} y

$\theta_{RLS} = ( \Phi^T \Phi + \lambda I)^{-1} \Phi^T y$

이는 $\lambda = \frac{ \sigma^2 }{ b^2 }$ 에 대한 MAP 추정치와 같고, 여기서 $\sigma^2$ 는 noise에 대한 분산이고 $b^2$ 은 가우시안 사전 확률의 분산이다.

'선형 회귀' 카테고리의 다른 글