데이터와 인공지능 훑어보기

NVIDIA Graphic Card Driver 장착된 그래픽 카드에 맞춰 그래픽카드 드라이브 설치 www.nvidia.co.kr/Download/Find.aspx?lang=kr NVIDIA Driver 다운로드 - 고급 검색 SD Studio 드라이버 Studio 드라이버는 핵심 주요 크리에이티브 애플리케이션에 최상의 경험을 제공합니다. NVIDIA는 최고의 크리에이티브한 애플리케이션에 중점을 둔 광범위한 테스트를 시행하며, www.nvidia.co.kr 호환되는 CUDA와 cuDNN 버전은 아래 링크에서 확인할 수 있다. Windows: https://www.tensorflow.org/install/source_windows#tested_build_configurations Mac / Linux:ht..

Deep Learning Framework 이미 검증된 수많은 라이브러리와 사전 학습까지 완료된 다양한 딥러닝 알고리즘을 제공하여 개발자가 빠르고 손쉽게 사용할 수 있음 기능 구현이 아닌 문제 해결을 위한 핵심 알고리즘 개발에만 집중할 수 있도록 도와줌 솝쉽게 GPU를 활용한 연산을 사용할 수 있게 지원 ※ Framework 응용 프로그램을 개발하기 위한 여러 라이브러리나 묘듈 등을 효율적으로 사용할 수 있도록 묶어 놓은 일종의 패키지 Theano 최초의 딥러닝 라이브러리 중 하나로 파이썬(Python) 기반 CPU 및 GPU의 수치계산에 매우 유용한 선형대수 심벌 컴파일러 미분, 선형대수 계산을 포함해 Symbolic expression을 통한 정의된 수식을 사람처럼 미분하거나 재정리해서 전체 계산에 ..

MNIST Dataset 미국 국립표준기술원(NIST)이 고등학생과 인구조사국 직원 7만명이 쓴 숫자를 이용해 만든 데이터 60,000개의 트레이닝 셋과 10,000개의 테스트 셋으로 이루어짐 숫자는 0~1까지 값을 갖는 고정 크기 이미지(28x28 픽셀) 각 픽셀은 밝기 정도에 따라 0부터 255값으로 표현 Data Normalization 데이터의 폭이 클 때 적절한 값으로 분산의 정돌르 바꿔주는 과정 (요소값 - 최소값) / (최대값-최소값), 요소 값 / 최대 값 import tensorflow as tf import matplotlib.pyplot as plt import numpy import os # MNIST 데이터 불러오기 (X_train, Y_train), (X_test, Y_test)..

학습: 데이터 -> 학습 -> 시험 테스트(inference): 데이터 -> 시험 모델 저장 목적 모델 작업 중단되더라도 해당 부분부터 재 시작 저장된 모델을 공유 공유받은 모델을 활용해 모델 정확도와 효율성을 향상시켜 더 나은 모델 만들 수 있음 Model Save 데이터 -> 학습 -> 시험의 단계에서 학습 완료 모델을 저장 model.save('path/to/location') or tf.keras.models.save_model() 파일 확장자: h5, hdf5, 파일의 확장자만 다를 뿐 동일, 성능 차이가 거의 없음 import tensorflow as tf from sklearn.model_selection import train_test_split from sklearn.preprocessi..

TensorBoard 텐서보드는 머신러닝 실험에 필요한 시각화 및 도구를 제공합니다. 손실 및 정확도와 같은 측정항목 추적 및 시각화 모델 그래프(작업 및 레이어) 시각화 시간의 경과에 따라 달라지는 가중치, 편향, 기타 텐서의 히스토그램 확인 저차원 공간에 임베딩 투영 이미지, 텍스트, 오디오 데이터 표시 TensorFlow 프로그램 프로파일링 그 외 다양한 도구 References www.tensorflow.org/tensorboard?hl=ko

Keras 케라스를 활용한 모델 구축 방법 Seuqential API tf.keras.Sequential 순차적인 레이어의 스택 구현 가능 from tensorflow.keras import layers model = tf.keras.Sequential() model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(64, activation='relu')) model.add(layers.Dense(10, activation='softmax')) 모델 구현 제약 모델의 층들이 순차적으로 구성되어 있지 않은 경우 Sequential 모듈을 사용해 구현 어려움 Functional API 다중 입력값 모델(Multi-input models) 다중..

TensorFlow Function Pytorch, Theano 등의 딥러닝 라이브러리에 있는 함수 기능을 본떠 TensorFlow 버전 2에서 새로 만들어진 방법 선언적으로 계산 과정을 구현 일반 파이썬 함수처럼 정의 속도 향상을 위한 컴파일이 가능하며, @tf.function 데코레이터를 적용하여 구현 import tensorflow as tf def t_func1(x): tv = tf.Variable([[4,5],[9,10]]) return tv * x print(t_func1(10)) @tf.function def t_func2(a,b): return tf.matmul(a, b) x = [[4,5,6],[6,7,9]] w = tf.Variable([[2,5],[6,5],[17,10]]) print..

TensorFlow 데이터 흐름 그래프(Data Flow Graph)를 사용하여 수치 연산을 하는 오픈소스 라이브러리 그래프의 node는 수치 연산을 나타내고 edge는 노드 사이를 이동하는 다차원 데이터 배열(tensor)를 나타낸다 머신러닝과 딥 뉴럴 네트워크 연구를 목적으로 구글의 인공지능 연구 조직인 구글 브레인 팀에서 개발 Tensor 딥러닝에서 데이터를 표현하려는 방식을 Tensor(텐서)라고 함 텐서는 행렬로 표현할 수 있는 2차원 형태의 배열을 높은 차원으로 확장한 다차원 배열을 말함 Tensor = Multidimensional Arrays = Data 과학과 공학 등 다양한 분야에서 이전부터 쓰이던 개념 수학에서는 임의의 기하 구조를 좌표 독립적으로 표현하기 위한 표기법으로 알려져 있음..