Machine Learning/Deep Learning

[Machine Learning] Neural Network

데이터 세상 2021. 3. 3. 13:19
728x90
반응형

Neural Network

Multilayer Perceptron 이라고도 함

  • XOR 배타적인 형태의 논리합은 단일 퍼셉트론으로 풀지 못함
  • 노드로 구성된 Layer를 추가하여 XOR 문제를 해결

많은 perceptron을 쌓아서 비선형의 데이터를 선형 분리가 가능하도록 단순화 시킴


  • Input Layer: 데이터를 전달하는 역할
  • Hidden Layer: 비선형 데이터를 선형 분류가 가능하도록 Representation 해주는 역할
  • Output Layer: 기능을 정의해주는 역할

 

Backpropagation (역전파)

  • 역전파, 오류 역전파법 또는 오류 역전파 알고리즘, Multi perceptron 학습에 사용되는 통계적 기법
  • target값과 실제 모델이 계산한 output이 얼마나 차이가 나는지 구한 후 그 오차값을 다시 뒤로 전파해가면서 각 노드가 각지고 있는 변수들을 갱신하는 알고리즘
  • 최적의 학습 결과를 찾기 위해 역방향으로 에러를 전파(backward propagation of error)

Cost Function

  • 입력된 훈련 데이터에 관한 실제 출력과 기대 출력간의 차이
  • Cost function이 최소값이 되도록(실제 출력과 기대 출력의 차이가 없도록) backpropagation

Backpropagation의 2단계

  • Feed Forward: Input -> Output(최종 출력단에서 에러와 cost function을 구함)
  • Backpropagation: 출력부터 반대 방향으로 순차적으로 편미분을 수행해가면서 뉴런의 가중치(w)와 바이어스(b) 값 갱신

 

Chain Rule

미분의 연쇄법칙이라고도 불리는 법칙

 

 

 

 

 

  • 임의의 초기 가중치를 준 뒤 결과를 계산
  • 계산 결과와 우리가 원하는 값 차이의 오차를 구함
  • 경사하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트
  • --> 미분 값이 0에 가까워지게 만드는 것
  • 위의 과정을 더이상 오차가 줄어들지 않을 때까지 반복

 

가중치에서 기울기를 빼도 값의 변화가 없을 때까지 계속해서 가중치 수정 작업을 반복하는 것

 

 

Sigmoid

Logistic Sigmoid

Peceptron

  • 출력을 0 ~ 1 사이로 변환해주는 함수로 사용
  • Cross Entry Loss 함수에 사용
  • Binary Classification에 활용
  • Ouput Layer에 적용

Neural Network

Hidden Layer

  • Perceptron을 여러 개 쌓아서 비선형으로 만들어 주기위해 사용

Output Layer

  • Regress / Classification task를 위해 출력 Activation function + Loss 함수에 사용
728x90
반응형

'Machine Learning > Deep Learning' 카테고리의 다른 글

epoch, batch size, iteration  (0) 2022.12.08
[Machine Learning] Neural Network의 한계  (0) 2021.03.03
[Machine Learning] Perceptron  (0) 2021.02.27