[머신러닝] 선형 회귀 모델의 장점과 단점, 언제 사용하는게 좋을까?

선형 회귀 모델은 선형 함수로 예측을 수행하는 회귀용 선형 알고리즘으로, train, test dataset에 있는 결과값(y) 사이의 평균제곱오차를 최소화하는 파라미터 가중치(w)와 절편(b)을 찾는 알고리즘을 수행합니다.

 

한편, 회귀를 하기 위한 선형 모델은 특성이 하나일 때 직선이 되고, 두 개일 땐 평면이 되며, 더 많은 특성을 가진 높은 차원일 땐 초평면이 되는 회귀 모델의 특징을 갖습니다. 또한 회귀를 하기 위한 선형 모델을 다양한데요, train data로부터 가중치 값을 결정하는 방법과 모델의 복잡도를 제어하는 방법에 따라 다양해집니다.

 

1. 선형 회귀 모델의 장점과 단점은?

그렇다면 선형 회귀 모델의 장점과 단점은 무엇일까요?

 

먼저, 선형 모델의 장점은 학습 속도가 빠르고, 예측이 빠르다는 점인데요, 데이터가 매우 많이 있는 데이터셋에도 학습이 잘 이루어진다는 장점을 갖고 있습니다. 또한 대용량 데이터셋에 대해 빨리 처리되도록 설정을 변경할 수 있습니다.

한편, 선형 모델은 데이터에 비해 특성이 많을 때 잘 학습될 수 있으며, 예측이 어떻게 이루어지는지 쉽게 이해할 수 있다는 장점을 갖고 있습니다.

 

하지만, 계수의 값들이 왜 그러한 값을 가지는지 명확하지 않다는 단점을 가지고 있으며,

데이터셋의 특성이 서로 깊게 연관되어 있다면 계수를 분석하기 매우 어렵다는 단점을 갖고 있습니다.

 

 

2. 선형 회귀 모델, 언제 사용하는게 좋을까?

위에서 언급했듯이, 선형 모델은 학습 속도가 빠르고 예측이 빠르며, 샘플에 비해 특성이 많을 때 잘 예측하는데요, 따라서 다른 모델로 학습하기 어려운 대용량의 데이터셋, 그리고 특성이 많은 데이터셋에 대해서 선형 회귀 모델을 사용하여 학습하는 것이 좋습니다.

 

 

3. alpha 값이 미치는 영향은?

한편, alpha 값은 선형 회귀 모델에서 주요 매개변수인데요, alpha의 값이 클수록 모델의 구조는 단순해집니다. 따라서 모델의 성능은 낮아지지만 일반화가 됩니다. 또한 alpha 값이 너무 커져버리면 과소적합이 될 수 있습니다.

반면, alpha 값이 너무 작아지면 모델의 복잡도는 증가해 train data에 대한 학습 성능은 좋아지지만 과대적합이 될 수 있답니다.