[머신러닝] 선형회기 행렬, 벡터로 풀이(Linear Regression)

 

목차

 

 

해당 포스트(Linear Algebra)는 유투브 혁펜하임의 강의 내용을 듣고 제 생각대로 정리한 내용이라 틀린 내용이 있을 수 도 있습니다.

 

 

선형회기(Linear Regression) 란?

여러개의 데이터 셋이 있는 경우 데이터들 간에 상관 관계를 선형적으로 표현하기 위해 사용하는 알고리즘이 선형회기 입니다.

 

예를 들어 약 100명의 사람들의 키와 몸무게에 대한 정보를 가져옵니다. 

 

 

데이터들이 위에서 검정색으로 표기된 점들입니다. 그리고 빨간 색 라인이 선형 회기 알고리즘으로 키와 몸무게 사이의 관계를 잘 표현한 모델이 되는 것입니다. 

 

선형대수학으로 위 모델을 만드는 방식은 아래와 같습니다. 

 

수식1

 

x 값은 몸무게이고 y 값은 키 입니다. 여기서 x값과 y 값은 이미 알고 있는 값이고 a, b 벡터(Vector) 값을 구해서 y값에 가자 근사하게 만드는 것이 선형대수학을 사용한 선형회기법 입니다.

수식2

 

수식2는 수식1을 간단하게 표현한 행렬(Matrix)과 벡터(Vector)입니다.

 

 

 

 

선형회기 Loss 평가법

 

실제 측정값과 얼마나 가까운가에 대한 평가는 아래와 같이 절대값의 제곱으로 구합니다. 

수식3

 

절대값을 사용하는 이유는 만일 오차가 -1과 1이 발생했을 경우 합이 0이 되면 오차가 없는 것으로 인식되기 때문입니다. 그리고 제곱은 오차를 증폭 시켜서 보여주고 절대값 표현이 어려운 경우 제곱으로 절대값과 비슷한 효과를 주기 때문입니다.

 

 

수식4

 

수식3은 결국 행렬이므로 위 수식4와 같이 처리해주면 제곱과 동일한 결과를 가집니다.