[Machine Learning] Neural Network

Neural Network

Multilayer Perceptron 이라고도 함

• XOR 배타적인 형태의 논리합은 단일 퍼셉트론으로 풀지 못함
• 노드로 구성된 Layer를 추가하여 XOR 문제를 해결

많은 perceptron을 쌓아서 비선형의 데이터를 선형 분리가 가능하도록 단순화 시킴

• Input Layer: 데이터를 전달하는 역할
• Hidden Layer: 비선형 데이터를 선형 분류가 가능하도록 Representation 해주는 역할
• Output Layer: 기능을 정의해주는 역할

 

Backpropagation (역전파)

• 역전파, 오류 역전파법 또는 오류 역전파 알고리즘, Multi perceptron 학습에 사용되는 통계적 기법
• target값과 실제 모델이 계산한 output이 얼마나 차이가 나는지 구한 후 그 오차값을 다시 뒤로 전파해가면서 각 노드가 각지고 있는 변수들을 갱신하는 알고리즘
• 최적의 학습 결과를 찾기 위해 역방향으로 에러를 전파(backward propagation of error)

Cost Function

• 입력된 훈련 데이터에 관한 실제 출력과 기대 출력간의 차이
• Cost function이 최소값이 되도록(실제 출력과 기대 출력의 차이가 없도록) backpropagation

Backpropagation의 2단계

• Feed Forward: Input -> Output(최종 출력단에서 에러와 cost function을 구함)
• Backpropagation: 출력부터 반대 방향으로 순차적으로 편미분을 수행해가면서 뉴런의 가중치(w)와 바이어스(b) 값 갱신

 

Chain Rule

미분의 연쇄법칙이라고도 불리는 법칙

 

 

 

 

 

• 임의의 초기 가중치를 준 뒤 결과를 계산
• 계산 결과와 우리가 원하는 값 차이의 오차를 구함
• 경사하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트
• --> 미분 값이 0에 가까워지게 만드는 것
• 위의 과정을 더이상 오차가 줄어들지 않을 때까지 반복

 

가중치에서 기울기를 빼도 값의 변화가 없을 때까지 계속해서 가중치 수정 작업을 반복하는 것

 

 

Sigmoid

Logistic Sigmoid

Peceptron

• 출력을 0 ~ 1 사이로 변환해주는 함수로 사용
• Cross Entry Loss 함수에 사용
• Binary Classification에 활용
• Ouput Layer에 적용

Neural Network

Hidden Layer

• Perceptron을 여러 개 쌓아서 비선형으로 만들어 주기위해 사용

Output Layer

• Regress / Classification task를 위해 출력 Activation function + Loss 함수에 사용