선형회기 Gradient 수식 풀이(편미분, equation, Linear Regression)

 

목차

 

 

 

이번 포스트에서는 선형회기의 Gradient 구하는 방법을 수식으로 전개해보겠습니다. 

 

 

 

선형회기 Gradient 수식 풀이: 선형회기식

 

 

선형 회기란 위 그래프와 같이 데이터가 주어져있을 때 데이터 셋을 대표하는 모델링을 하는 것입니다.

 

수식1

위와 같은 모델은 수식1과 같이 간단한 1차원 수식으로 전개 됩니다. 이때 베타 파라미터(parameter) 값을 찾는 것이 선형회기 이론입니다. 위 수식은 하나의 입력에 대한 출력이고 다차원으로 가면 아래와 같이 수식을 쓸 수 있습니다. 

 

 

수식2

 

위와 같은 수식을 Linear Regression Hypothesis라고 합니다. 

 

 

 

 

 

 

선형회기 Gradient 수식 풀이: Cost Function & Gradient

 

Loss 함수 또는 Cost 함수는 수식2의 예측 값의 오차가 얼마나 작은가를 나타내는 수식입니다. 수식은 Mean Squared Error(MSE) 방식을 채택합니다. 

 

수식3

 

수식3이 Cost 함수입니다. 추정값과 실제값의 차를 제곱해서 더해서 평균한 식입니다. 2차 방정식으므로 미분해서 0에 가까울수록 Cost 함수의 값이 작아지게 됩니다. 

 

이때 미분한 값을 Gradient라고 합니다.

 

 

수식4

 

수식4는 제곱 함수의 편미분 공식으로 Gradient를 구하기 위해 필요 합니다. 

 

 

 

수식5

수식3, 4를 대입하면 수식5와 같이 파라미터 하나의 포인트j에 대한 편미분 값을 구할 수 있습니다. 

 

 

 

수식6

수식2, 5를 대입하면 최종적으로 수식6을  Gradient 를 얻을 수 있습니다. 

 

 

 

수식7

 

수식6을 사용해서 수식7과 같이 Weight를 update 해줍니다. 알파 값은 일종의 보폭 값으로 이동 정도를 의미 합니다.