데이터와 인공지능 훑어보기

U-Net Architecture

DenseNet Layer간의 정보가 흘러가는 것을 개선하기 위해 ResNet과는 조금 다른 연결 패턴 제안 Dense Connectivity 모든 이전 layer의 output 정보를 이후의 layer의 input으로 받아오는 방법 사용 모든 입력을 sum하지 않고 이어붙임(concatenation) Dense Block이라고 부르는 하나의 connection 덩어리를 만들어서 전통적인 CNN처럼 Convolution, Pooling Layer와 함께 순차적으로 Dense Block들을 거쳐서 마지막에 Linear Layer 후 결과를 뽑음

Goal Multiscale의 물체를 detection하기 위한 일반적인 feature representations을 학습하는 것 모든 scale에 대해 강력한 semantics를 갖도록 하는 것 Challenges example images에서 가능한 모든 scales의 물체를 검출하는 것 Semantic strong multiscale feature map(Feature representationts) 학습하도록 함 Object detection에서 다양한 application(ex. object proposals, box locatlization, instatnce segmentation)을 위한 일반적인 feature design 함 효율적인 multiscale feature map(feature..

Transfer Learning 기존에 만들어진 모델을 사용하여 새로운 모델을 만들 시 학습을 빠르게 하며, 예측을 높이는 방법 dataset에서 학습을 시키면 overfitting이 일어날 가능성이 많아짐으로 많은 dataset에서 학습을 시킨 일부의 layer들을 가져와서 적은 dataset에 적용 모든 데이터셋으로 학습을 시키면 초반 layer에서는 generality한 파라미터들이 나오고 후반 layer에서는 specificity 한 파라미터들이 나옴 Transfer learning은 초반 layer에서 나오는 generality한 파라미터를 이용하는 것 Transfer Learning 이점 복잡한 모델일수록 학습시키기 어려운 것을 해결할 수 있음 학습시간이 단축됨 Fine-Tuning 전략 1...

ResNet (Residual Network) AlexNet, VGGNet, GoogleNet 등은 layer를 깊게 쌓아 성능을 높이고자 함 layer가 깊어질수록 학습이 어려워 지고 overfitting, Vanishing Gradient 등의 문제가 여전히 발생 입력 x가 딥러닝 모델 H()를 거쳐 나온 H(x)가 정답 y (1 or 0)을 나타낼 수 있게 mapping 되도록 H() 모델을 학습 이미지 x를 타겟 y로 잘 mapping되는 함수 H(x)를 찾는 것이 아니라 이미지 x로 y를 바로 mapping하는 구조 고려 Skip Connection 구조를 갖음 CNN 구조 ResNET 구조 x->y로 mapping 해야 한다는 idea 최종 출력이 H(x) - x = 0 되도록 weight 학..

GoogleNet Inception 모듈 사용 22개의 layers, 5M parameters (AlexNET의 1/12 수준) GoogleNet 컨셉 Layer의 깊이를 늘려 성능을 높이고자 했으나 다음과 같은 문제 발생 free paremeter 수 증가 데이터 학습양이 작으면 overfitting 문제 연산량이 늘어남(필터의 개수가 증가하면 연산량은 제곱 증가) Vanishing Gradient 문제 학습은 잘되었으나 테스트할 때 성능이 나오지 않을 수 있다 또한, 모델이 너무 커져 학습과 테스트에 많은 시간을 소비하게 된다 NIN (Network In Network) 일반적인 CNN은 Feature Extraction(convolution + pooling) + classifier(fully co..

VGGNet 목표 : 네트워크의 깊이를 깊게 만드는 것이 성능에 어떤 영향을 미치는가 확인 방법 : 깊이의 영향만을 확인하기 위해 커널 사이즈는 가장 작은 3X3으로 고정 6개의 구조를 만들어 성능 비교 layer가 깊어질수록 성능이 좋아지는 것을 확인 VGG16 3x3 Filter 여러 개의 Relu non-linear를 사용할 수 있음 큰 필터로 구성된 하나의 레이어를 작은 필터의 여러 레이어로 나누었기 때문에 Relu non-linerlity가 들어갓 곳이 더 많아짐 학습해야할 weight 수가 많아 줄어듬 regularization(모델의 일반화) 측면에서 큰 이점 학습 속도가 빠름 학습 이미지: 224x224로 고정 다양한 이미지를 crop을 통해 224x224로 크기 고정 VGGNet 단점 f..

AlexNet 2012년 개최된 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회의 우승을 차지한 CNN 구조 논문: ImageNe Classification with Deep Convolutional Neural Networks 8개의 layer로 구성 5개의 convolution layer + 3개의 full-connected layer Max Pooling + Overlapping pooling 사용 Overlapping Pooling: stirde를 커널 사이즈보다 작게 pooling size=3, stride=2 최초의 max pooling 시도 → overfitting 막는데 도움을 줌 Activation Function: Relu T..

Fully Connect Layer Dense Layer라고도 함 한 층(layer)의 모든 뉴런이 다음 층(layer)의 모든 뉴런과 연결된 상태 1차원 배열의 형태로 평탄화된 행렬을 통해 이미지를 분류하는데 사용되는 계층 [TensorFlow] - Neural Network MNIST 데이터 처리 한 장의 컬러 사진은 3차원 데이터로 FC(Fully Connected) 신경을 학습시켜야 할 경우에, 3차원 사진 데이터를 1차원으로 평면화 시켜야 함 → 이미지 데이터 평면화 과정에서 공간 정보 유실로 인한 정보 부족으로 인공 신경망에서 특징을 추출 및 학습이 비효율적이고 정확도를 높이는데 한계가 있음 데이터 형상의 무시 = 이미지의 공간적(spatial)한 정보 무시 학습해야 할 가중치(w)가 많음 C..