[Supervised Learning][Regression] Ridge Regression, Lasso Regression

Ridge Regression

릿지도 회귀를 위한 선형 모델

최소 제곱법에서 사용한 것과 예측 함수를 사용. 단, 가중치의 절대값을 가능한 작게 만드는 것이 목적

→ 규제: 과대 적합이 되지 않도록 모델을 강제로 제한

L2규제, 계수의 L2노름의 제곱을 패널티로 적용

 

 

※ 과대적합(Overfitting)

• 가진 정보를 모두 사용해서 너무 복잡한 모델을 만드는 것

 

※ 과소적합(Underfitting)

• 너무 간단한 모델이 선택되는 것
• 모델이 너무 간단해서 데이터의 면면과 다양성을 잡아내지 못하고 훈련 세트에도 잘 맞지 않는 경우

 

 

Lasso Regression

 

L1규제를 사용. 계수의 절대 값의 합을 패널티로 사용

 

일반적으로 릿지 회귀를 선호하지만 특성이 많고 그 중 일부분만 중요하다면 라쏘가 좋은 선택일 수 있다.