[머신러닝] 지도학습 - Linear Classification 선형분류모델 (로지스틱회귀, SVM)

분류용 선형 모델 (Linear Model - Classification)

 

𝒚 = 𝒘𝟏𝒙𝟏+𝒘𝟐𝒙𝟐+𝒘𝟑𝒙𝟑+⋯+𝒘𝒑𝒙𝒑+𝒃 > 0

• 특성들의 가중치 합이 0보다 크면, class를 1(양성클래스)로 0보다 작으면 -1(음성클래스)로 분류
• 분류용 선형모델은 결정 경계가 입력의 선형함수
• w : 가중치, x : 입력값  y : 편향

모델

• Logistic Regression
• Linear Support Vector Machine (SVM)

 

 

Logistic Regression (로지스틱 회귀)

: 사건이 일어날 가능성(확률)을 예측하는 선형 모델

 

 

독립변수(x)와 종속변수(y)의 관계를 로지스틱 함수를 사용하여 확률로 예측

입력 데이터에 따른 예측 결과가 0 또는 1로 나뉨

 

ex) 쇼핑몰 사이트 방문자의 체류시간, 장바구니의 물건 수 등의 데이터를 이용해 물건을 살 확률 예측

    → 산다(1) / 안 산다(0)

 

 

SVM (Support Vector Machine)

: N차원 공간에서 각 클래스간의 거리를 최대화하는 최적의 선(또는 평면)을 찾아 데이터를 분류하는 지도학습 알고리즘

 

두 클래스의 가장 가까운 데이터포인트(support vector) 사이의 거리(margin)를 최대화하는 최적의 선 또는 평면(hyperplane)을 찾아, 두 클래스 구분

 

마진 계산 방법

• 하드 마진 : 두 클래스를 완벽 분리
• 소프트 마진 : 두 클래스 분류 시, 일부 오차 허용