[Machine Learning] ML Hyperparameter

Hyperparameter

• Machine learning 학습을 할 때 더 효과가 좋도록 하는 주 변수가 아닌 자동 설정되는 변수를 의미

 

Learning Rate

• gradient의 iteration마다 얼마의 gap으로 빠르게 혹은 느리게 이동할지 결정하는 계수

 

Error/Loss/Cost Function

• 실제 output과 계산된 output 사이의 차이를 error/loss/cost function이라고 하는데 이 둘의 차이를 어떤 방식으로 계산할지를 지정

 

Batch Size

• mini batch처럼 전체 data를 몇 개의 그룹으로 나누어 학습할지를 나눌 그 크기를 의미

 

Epochs

• training 반복 횟수
• train set에 대해서는 epochs가 늘어날수록 error가 줄어들 수 있지만 overfitting이 발생할 수 있음
• error가 최소화되는 epoch의 경계값이 찾아주는 것이 중요하며 이것이 바로 early stopping을 결정하는 중요한  hyperparameter임

 

Hidden Layer의 개수

• Hidden layer의 개수도 hyperparameter임