데이터와 인공지능 훑어보기

batch (배치) 모델의 가중치를 한번 업데이트시킬 때 사용되는 샘플들의 묶음을 의미 mini batch (미니 배치) 전체 데이터 셋을 몇 개의 데이터 셋으로 나누었을 때, 그 작은 데이터 셋 뭉치 batch size (배치 사이즈) 하나의 미니 배치에 넘겨주는 데이터 갯수, 즉 한번의 배치마다 주는 샘플의 크기 배치 사이즈가 너무 크면 한번에 처리해야 할 양이 많이 때문에 학습 속도가 느려짐 경우에 따라서는 메모리 부족 문제가 발생할 수도 있음 배치 사이즈가 너무 적으면 너무 적은 샘플로 가중치가 자주 업데이트되기 때문에 비교적 불안정하게 훈련될 수 있음 iteration (이터레이션) 하나의 미니 배치를 학습할 때 1iteration이라고 한다. 즉, 미니 배치 갯수 = 이터레이션 수 epoch ..

Neural Network의 한계 Vanishing Gradient Local Minima Overfitting 느린 학습 Vanishing Gradient Layer를 쌓아서 비선형 문제를 풀고 Backpropagation으로 multi layer를 학습하지만 전파하는 과정에서 기울기 값이 사라져 학습 안됨 backpropagation은 출력층부터 앞으로 하나씩 되돌아가며 각 층의 가중치를 수정하는 방법 사용 가중치를 수정하려면 출력 오차 값(loss)을 미분하여 사용 layer가 늘어나면 기울기가 중간에 0이 되어 버리는 기울기 소실(vanishing gradient) 문제가 발생 activation 함수로 사용된 sigmoid 함수의 특성 때문에 발생 sigmoid 미분하면 최대치가 0.3이 되고 ..

Neural Network Multilayer Perceptron 이라고도 함 XOR 배타적인 형태의 논리합은 단일 퍼셉트론으로 풀지 못함 노드로 구성된 Layer를 추가하여 XOR 문제를 해결 많은 perceptron을 쌓아서 비선형의 데이터를 선형 분리가 가능하도록 단순화 시킴 Input Layer: 데이터를 전달하는 역할 Hidden Layer: 비선형 데이터를 선형 분류가 가능하도록 Representation 해주는 역할 Output Layer: 기능을 정의해주는 역할 Backpropagation (역전파) 역전파, 오류 역전파법 또는 오류 역전파 알고리즘, Multi perceptron 학습에 사용되는 통계적 기법 target값과 실제 모델이 계산한 output이 얼마나 차이가 나는지 구한 후 ..

Perceptron (퍼셉트론) 프랑크 로젠블라트(Frank Rosenblatt)가 1957년에 제안한 초기 형태의 인공 신경망 인간의 신경망(neural network)을 모방하여 만들어짐 신경망을 이루는 가장 중요한 기본 단위 입력 값과 가중치를 곱하여 가중치합을 만들고, 만들어진 가중치값은 활성화 함수에 보내 출력 값을 만든다. x: 입력 값 w: 가중치(Weight) b: 편향(bias) 인간의 신경망은 수 많은 뉴런(neuron)으로 구성 뉴런과 뉴런 사이에 시냅스(synapse)라는 연결 부위가 있는데 신경 말단에서 자극을 받으면 시냅스에서 화학 물질이 나와 전위 변화를 일으켜 다른 뉴런으로 정보 전달 전위가 임계 값을 넘으면 다음 뉴런으로 신호를 전달하고 인계 값에 미치지 못하면 아무것도 하..