Machine Learning

Linear Regression 의 의미

kangkun-lee

December 31, 2025

$Linear + Regression$

입력($x$)와 예측($y$)의 관계를 직선 형태(선형 결합) 형태로 가정함

$$ \hat{y} = \beta_0 + \beta_1x $$

$x$가 1개면 직선(line), 2개면 3차원에서 평면(plane), 더 많으면 초평면(hyperplane)
$x$에 대해서 선형이며, 각 feature가 가중치 $\beta$를 곱해서 더해지는 형태라서 $Linear$임
참고로, $y = \beta_0 + \beta_1x + \beta_2x^2$처럼 $x^2$이 들어가면 입력 $x$ 관점에서는 비선형이지만, 파라미터 $\beta$에 대해서는 여전히 선형이긴 함 → 넓은 의미로는 “선형모델” 범주에 들어가기도 함

집값, 온도, 매출처럼 연속적인 숫자를 예측

19세기 통계학자 Galton이 부모 키와 자녀의 키 관계를 보다가 극단적인 값들이 평균 쪽으로 돌아오는 경향을 발견했고, 이를 Regression to the mean(평균으로의 회귀) 라고 부르게 됨

그 흐름에서 연속값 예측 문제 전반을 $regression$이라고 부르게 됨

한국어로는 ‘회귀’ 라고 번역이 굳어짐