Machine Learning/Deep Learning

epoch, batch size, iteration

데이터 세상 2022. 12. 8. 10:08
728x90
반응형

batch (배치)

모델의 가중치를 한번 업데이트시킬 때 사용되는 샘플들의 묶음을 의미

 

mini batch (미니 배치)

전체 데이터 셋을 몇 개의 데이터 셋으로 나누었을 때, 그 작은 데이터 셋 뭉치

 

batch size (배치 사이즈)

하나의 미니 배치에 넘겨주는 데이터 갯수, 즉 한번의 배치마다 주는 샘플의 크기

 

배치 사이즈가 너무 크면

  • 한번에 처리해야 할 양이 많이 때문에 학습 속도가 느려짐
  • 경우에 따라서는 메모리 부족 문제가 발생할 수도 있음

 

배치 사이즈가 너무 적으면

  • 너무 적은 샘플로 가중치가 자주 업데이트되기 때문에 비교적 불안정하게 훈련될 수 있음

 

 

iteration (이터레이션)

하나의 미니 배치를 학습할 때 1iteration이라고 한다. 즉, 미니 배치 갯수 = 이터레이션 수

 

epoch  (에포크)

학습의 횟수를 의미

1 epoch는 학습에서 훈련 데이터를 모두 소진했을 때의 횟수에 해당함

 

 


References

728x90
반응형

'Machine Learning > Deep Learning' 카테고리의 다른 글

[Machine Learning] Neural Network의 한계  (0) 2021.03.03
[Machine Learning] Neural Network  (0) 2021.03.03
[Machine Learning] Perceptron  (0) 2021.02.27