[머신러닝] 지도학습 (Supervised Learning) - Linear Model (Regression 회귀)

Linear Model (선형모델)

• 입력 특성에 대한 선형 함수를 만들어 예측
• 데이터를 가장 잘 나타낼 수 있는 회귀식을 모델링
• 다양한 선형 모델 존재
• 분류와 회귀에 모두 사용

y= ax+b

a : 기울기

b : y 절편near Model (선형모델)

 

 

선형 회귀 함수

𝒚 =𝒘𝟏𝒙𝟏 + 𝒘𝟐𝒙𝟐 + 𝒘𝟑𝒙𝟑 + ⋯ + 𝒘i𝒙i + b

• w : 가중치(weight), 계수(coefficient)
• b : 절편(intercept), 편향(bias)

평균제곱오차(MSE : Mean Square Error)가 최소가 되는 w와 b를 찾는다

 

 

 

 

경사하강법 (Gradient Descent Algorithm)

: 비용함수의 기울기(경사)를 구하여, 기울기가 낮은 쪽으로 계속이동하며 값을 최적화시키는 방법

 

 

 

Leaning rate

(좌) Learning rate가 클 때, (우) Learning rate가 작을 때

 

특징

장점

• 결과예측(추록) 속도가 빠르다
• 대용량 데이터에도 활용 가능하다
• 특성이 많은 데이터 세트에서 좋은 성능을 낼 수 있다

단점

• 특성이 적은 저차원 데이터에서 성능이 떨어진다 → 특성 확장 필요
• LinearRegression Model의 경우 복잡도를 제어할 방법이 없어, 과대적합되기 쉽다 → 정규화를 통한 제어

 

모델 정규화

: 가중치(w)의 값을 조정하여 제약을 주는 것

L1 규제 (Lasso)

: w의 모든 원소에 똑같은 힘으로 규제를 적용하는 방법

 특정 계수들은 0이 됨

 특성선택(Feature Selection)이 자동으로 이루어짐

L2 규제 (Ridge)

: w의 모든 원소에 골고루 규제를 적용하여, 0에 가깝게 만든다