데이터와 인공지능 훑어보기

Hypervisor (하이퍼바이져) 호스트 컴퓨터에서 다수의 운영 체제를 동시에 실행하기 위한 논리적 플랫폼 가상화 머신 모니터 또는 가상화 머신 매니저라고도 불림 Amazon EC2(Elastic Compute Cloud) Hypervisor 종류 Native 또는 Bare-Metal 운영 체제가 프로그램을 제어하듯이 하이퍼바이저가 해당 하드웨어에서 직접 실행되며 게스트 운영 체제는 하드웨어 위에서 2번째 수준으로 실행 IBM Xen, Citrix의 XenServer, VMWare의 ESX Server, TRANGO, Miscrosoft의 Hiper-V Hosted 하이퍼바이저는 일반 프로그램과 같이 호스트 운영 체제에서 실행되며 VM 내부에서 동작되는 게스트 운영 체제는 하드웨어에서 3번째 수준으로 ..

Amazon EC2 Amazon Elastic Compute Cloud(Amazon EC2)는 Amazon Web Services(AWS) 클라우드에서 확장식 컴퓨팅을 제공 인스턴스: 가상 컴퓨팅 환경 Amazon 머신 이미지(AMI): 서버에 필요한 운영체제와 여러 소프트웨어들이 적절히 구성된 상태로 제공되는 템플릿으로 인스턴스를 쉽게 만들 수 있습니다. 인스턴스 유형: 인스턴스를 위한 CPU, 메모리, 스토리지, 네트워킹 용량의 여러 가지 구성 제공 키 페어를 사용하여 인스턴스 로그인 정보 보호(AWS는 퍼블릭 키를 저장하고 사용자는 개인 키를 안전한 장소에 보관하는 방식) 인스턴스 스토어 볼륨: 임시 데이터를 저장하는 스토리지 볼륨으로 인스턴스 종료 시 삭제됨 Amazon Elastic Block ..

Amazon CloudWatch 클라우드 리소스 및 애플리케이션에 대한 완전한 가시성 개발자, 시스템 운영자, 사이트 안정성 엔지니어(SRE) 및 IT 관리자를 위해 구축된 모니터링 및 관리 서비스 로그, 지표 및 이벤트 형태로 모니터링 및 운영 데이터를 수집하여 AWS와 온프레미스 서버에서 실행되는 AWS 리소스, 애플리케이션 및 서비스에 대한 통합된 뷰를 제공 단일 플랫폼에서 모든 데이터에 액세스 AWS와 온프레미스 서버에서 실행되는 모든 AWS 리소스, 애플리케이션 및 서비스에서 지표 및 로그를 수집할 수 있으므로 데이터 사일로를 세분화하여 쉽게 시스템 전체에 대한 가시성을 확보 AWS 리소스에 대한 맞춤형 세분화된 지표를 수집하는 가장 쉬운 방법 mazon EC2, Amazon DynamoDB, ..

DNS (Domain Name System) 호스트의 도메인 이름을 호스트의 네트워크 주소로 바꾸거나 그 반대의 변환을 수행할 수 있도록 하기 위해 개발 www.example.com과 같이 사람이 읽을 수 있는 이름을 192.0.2.1과 같은 숫자 IP 주소로 변환하여 컴퓨터가 서로 통신할 수 있도록 한다. 인터넷의 DNS 시스템은 이름과 숫자 간의 매핑을 관리하여 마치 전화번호부와 같은 기능 DNS 서버는 이름에 대한 요청을 IP 주소로 변환하여 최종 사용자가 도메인 이름을 웹 브라우저에 입력할 때 해당 사용자를 어떤 서버에 연결할 것인지를 제어한다. 이 요청을 쿼리라고 한다. ex) Amazon Route 53(신뢰할 수 잇는 DNS 시스템) Domain 구조 인터넷상에서 사용되는 도메인은 전 세계적..

AWS EC2 모니터링 자동 모니터링 도구 시스템 상태 검사 네트워크 연결 끊김 시스템 전원 중단 물리적 호스트의 소프트웨어 문제 네트워크 연결성에 영향을 주는 물리적 호스트의 하드웨어 문제 인스턴스 상태 검사 시스템 상태 확인 실패 네트워크 구성 또는 시작 구성이 잘못됨 메모리가 모두 사용됨 파일 시스템 손상 호환되지 않는 커널 Amazon CloudWatch 경고 지정하는 기간 동안 단일 지표를 관찰하고 특정 기간 동안 지정된 임계값을 기준으로 지표의 값에 따라 하나 이상의 작업을 수행 Amazon Simple Notification Service(Amazon SNS) 주제나 Amazon EC2 Auto Scaling 정책으로 전송되는 알림 Amazon CloudWatch Events AWS 서비스를..

SAN (Storage Area Network) 저장 지역 통신망 디스크 어레이, 테이프 라이브러리, 옵티컬 주크박스와 같은 원격 컴퓨터 기억 장치를 서버에 부착하는 구조 블록 수준 스토리지에 접속할 수 있도록 지원하는 특정 시스템 전용의 고속 네트워크 스토리지 트래픽을 LAN의 다른 부분과 분리해 애플리케이션의 가용성과 성능을 향상 스토리지 리소스를 더 쉽게 할당하고 관리할 수 있고 더 효율적으로 아카이빙할 수 있다. 서로 연결된 호스트와 스위치, 스토리지 기기로 구성 프로토콜 AoE(ATA over Ethernet): ATA(Advanced Technology Attachment), 개인용 컴퓨터 안에서 하드 디스크, CD-ROM 드라이브와 같은 기억 장치를 연결하는 표준 인터페이스 FCP(Fibre..

Availability 서비스 제공시간에 장애없이 서비스를 계속 지속할 수 있는 비율 DB 가용성 확보 방안 (DB 가 full 인 경우 확보 방안) 가용성을 높이는 2가지 전략 1. 심장전략(고품질-소수전략) 시스템을 구성하는 각 컴포넌트의 신뢰성을 높여 장애 발생률을 억제하여 가용성을 높임 2. 신장전략(저품질-다수전략) 시스템을 구성하는 각 컴포넌트는 언젠가 망가진다는 전제하에 여분을 준비해두는 방식 Clustering 동일한 기능의 컴포넌트를 복수 개 준비해 한 개의 기능을 실현 다중화 MySQL 이중화 방식 Replication MySQL은 데이터를 읽고 쓰고 할 수 있는 Master DB 와 읽기 전용인 Slave DB 구조로 되어 있다. Master DB의 Binary log를 읽어서 Sla..

svn trunk: 프로젝트에서 가장 중심이 되는 디렉토리 branches: 프로젝트 내의 작은 프로젝트들 tags: 버전 별로 소스코드를 따로 관리하는 공간 보통 대부분의 기능을 완성해 놓고 소스를 중앙 저장소에y commit commit의 의미 자체가 중앙 저장소에 해당 기능을 공개한다는 의미 (GIT 과 가장 큰 차이점) 개발자가 자신만의 version history를 가질 수 없다 (그렇기 때문에 local history를 이용하기는 하지만, 일시적이다. 버전 관리가 되지 않는다) commit한 내용에 실수가 있을 시에는 다른 개발자들에게 바로 영향을 미치게 되는 단점이 있다. git 매우 빠른 속도와 분산형 저장소 (SVN과 가장 큰 차이점) 개발자가 자신만의 commit history를 가질 ..

Hadoop Apache Hadoop (High Availability Distributed Object-Oriented Platform) 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크 HDFS(Hadoop Distributed File System) Hadoop 프레임워크를 위해 자바 언어로 작성된 분산 확장 파일 시스템. 여러 기계에 대용량 파일들을 나눠서 저장. 데이터를 여러 서버에 중복해서 저장함으로써 데이터 안정성을 확보 하드웨어 오동작: 하드웨어 오동작이 발생되더라도 빨리 자동으로 복구하는 것이 중요 목표 스트리밍 자료 접근: 범용 파일 시스템과 달리 반응 속도보다는 시간당 처리량에 최적화 큰 자료 집합: 한 파..

RDB(Relational Database) 데이터를 유연하게 쿼리할 수 있지만, 쿼리 비용이 상대적으로 높다 트래픽이 많은 상황에서는 확장성이 떨어진다. 최고 성능을 위해서는 쿼리, 인덱스 및 테이블 구조를 최적화 해야 한다. 하나의 고성능 머신이 데이터서버가 되어 처리하는 Scale Up 방식 No SQL(Not only SQL) 비 관계형 데이터 베이스. 빅 데이터 수집과 저장 기술. MongoDB, Casandra, Hbase 등이 있음 최초 테이블 생성 시 데이터 간의 관계를 정의하지 않습니다. 그래서 보다 빠른 속도의 설계가 가능 Scale Out을 통한 노드 확장을 지원 (여러 개의 일반 서버를 연결하여 데이터를 분산하고 저장) key- value Database(Riak, Redis, Vo..

Scale-up Server가 더 빠르게 동작하기 위해 하드웨어 성능을 올리는 방법 Scale-out 하나의 Server 보다는 여러 대의 Server가 나눠서 일을 하는 방법 Scale-out의 장점 하드웨어 향상하는 비용보다 서버 한대 추가 비용이 더 적습니다. 여러 대의 Server 덕분에 무중단 서비스를 제공할 수 있습니다. Load Balancing 하나의 인터넷 서비스가 발생하는 트래픽이 많을 때 여러 대의 서버가 분산처리하여 서버의 로드율 증가, 부하량, 속도저하 등을 고려하여 적절히 분산처리하여 해결해주는 서비스 Load Balancer 여러 대의 server에게 균등하게 traffic을 분산시켜주는 역할을 하는 것 Load Balancing 주요 기능 NAT(Network Address ..