batch (배치)
모델의 가중치를 한번 업데이트시킬 때 사용되는 샘플들의 묶음을 의미
mini batch (미니 배치)
전체 데이터 셋을 몇 개의 데이터 셋으로 나누었을 때, 그 작은 데이터 셋 뭉치
batch size (배치 사이즈)
하나의 미니 배치에 넘겨주는 데이터 갯수, 즉 한번의 배치마다 주는 샘플의 크기
배치 사이즈가 너무 크면
- 한번에 처리해야 할 양이 많이 때문에 학습 속도가 느려짐
- 경우에 따라서는 메모리 부족 문제가 발생할 수도 있음
배치 사이즈가 너무 적으면
- 너무 적은 샘플로 가중치가 자주 업데이트되기 때문에 비교적 불안정하게 훈련될 수 있음
iteration (이터레이션)
하나의 미니 배치를 학습할 때 1iteration이라고 한다. 즉, 미니 배치 갯수 = 이터레이션 수
epoch (에포크)
학습의 횟수를 의미
1 epoch는 학습에서 훈련 데이터를 모두 소진했을 때의 횟수에 해당함
References
반응형
'Machine Learning > Deep Learning' 카테고리의 다른 글
| [Machine Learning] Neural Network의 한계 (0) | 2021.03.03 |
|---|---|
| [Machine Learning] Neural Network (0) | 2021.03.03 |
| [Machine Learning] Perceptron (0) | 2021.02.27 |