데이터와 인공지능 훑어보기

Fluentd an open source data collector for unified logging layer https://www.fluentd.org/ Fluentd | Open Source Data Collector "Logs are streams, not files. I love that Fluentd puts this concept front-and-center, with a developer-friendly approach for distributed systems logging." Adam Wiggins, Heroku co-founder www.fluentd.org 트레저 데이터(Treaure Data)에서 개발된 크로스 플랫폼 오픈 소스 데이터 수집 소프트웨어 프로젝트로 C와 Ruby로..

Elasticsearch Stack ELK Stack(Elasticsearch, Logstash, Kibana) + Beats Elasticsearch 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진 [Elasticsearch] - Elasticsearch Elasticsearch Elasticsearch 오픈소스 검색엔진 아파치 재단의 루씬(Lucene)을 기반으로 개발된 오픈소스 검색엔진 Full Text Search(전문검색) 전문 검색이란 내용을 전체를 색인해서 특정 단어가 포함된 문서를 검색 yumdata.tistory.com Kibana Elasticsearch를 위한 시각화 및 관리 도구로서, 실시간 히스토그램, 선 그래프, 파..

Elasticsearch API Elasticsearch는 RESTFul 방식의 API를 제공하며, JSON 기반으로 통신한다. Elasticsearch에서 사용하는 HTTP Method 기능 데이터베이스 질의 문법 GET 데이터 조회 SELECT PUT 데이터 생성 INSERT POST 인덱스 업데이트, 데이터 조회 UPDATE, SELECT DELETE 데이터 삭제 DELETE HEAD 인덱스의 정보 확인 - 인덱스 관리 API(Indices API) index 색인 데이터 indexing 색인하는 과정 indices 매핑 정보를 저장하는 논리적인 데이터 공간 Schemaless 문서를 색인하기 위해서는 인덱스를 생성하는 과정이 필요한데 인덱스 생성 과정없이 문서를 추가하더라도 문서가 색인되도록 지원..

Elasticsearch Cluster 물리적인 노드 인스턴스들의 모임 모든 노트의 검색과 색인 작업을 관장하는 논리적인 개념 분산 처리를 위해서는 다양한 형태이 노드들을 조합해서 클러스터를 구성해야 한다. Elasticsearch Node Elasticsearch를 구성하는 하나의 단위 프로세스 Master Node 클러스터를 관리, 노드 추가와 제거 같은 클러스터의 전반적인 관리를 담당 인덱스를 생성, 삭제하는 등 클러스터와 관련된 전반적인 작업을 담 네트워크 속도가 빠르고 지연이 없는 노드를 마스터 노드로 선정해야 한다. 노드를 마스터 노드 전용으로 설정하고자 하는 경우 conf 폴더의 elasticsearch.yml 파일의 설정을 다음과 같이 한다. node.master: true node.dat..

Elasticsearch 데이터 구조 Elasicsearch와 RDBMS 비교 ElasticSearch RDBMS index Database Shard Partition Type Table Document Row Field Column Mapping Schema Query DSL SQL Index 데이터 저장 공간 하나의 인덱스는 하나의 타입만 가지며 하나의 물리적인 노드에 여러 개의 물리적인 인덱스를 생성할 수 있다. 검색 시 인덱스 이름으로 문서 데이터를 검색하며, 여러 개의 인덱스를 동시에 검색하는 것도 가능하다. 인덱스 생성시 기본적으로 5개의 primary shard와 1개의 replica shard 세트를 생성한다. 인덱스의 이름은 모두 소문자여야 하며 추가, 수정, 삭제, 검색은 RESTFu..

Elasticsearch snapshot 데이터 연동 Elasticsearch를 실행한 후 path.repo에서 설정한 물리적인 스냅숏 데이터를 elasticsearch로 인식시켜야 한다. curl -H "Content-Type: application/json" -XPUT "http://localhost:9200/_snapshot/snapshottest" -d "{ \"type\":\"fs\", \"settings\":{ \"location\":\"path\\repo\\test", \"compress\": true} }" curl 명령어 실행 후 Content-Type header 오류 발생 시 다음 옵션 추가 -H "Content-Type: application/json" "error":"Content..

Kibana Elasticsearch에서 제공하는 데이터 시각화 프로그램 Elasticsearch에서 색인된 데이터를 검색하거나 문서를 추가하거나 삭제하는 등의 기능을 손쉽게 구현할 수 있다. Kibana 설치 Kibana 다운로드 경로에서 설치하고자 하는 OS에 맞는 파일을 다운로드 받는다. https://www.elastic.co/kr/downloads/kibana Download Kibana Free | Get Started Now Download Kibana or the complete Elastic Stack (formerly ELK stack) for free and start visualizing, analyzing, and exploring your data with Elastic in m..

Elasticsearch 설치 엘라스틱서치를 운영할 때는 최소 3개 이상의 물리적인 노드로 클러스터를 구축하는 것이 좋다. 테스트용 등으로 사용하기 위해 노드 하나만으로 구성된 클러스터를 싱글 모드 또는 테스트 모드라고 부른다. 자바 설치 Elasticsearch는 자바로 개발됐기 때문에 자바 런타임이 필요하다. 오라클 정책 변경으로 Java SE(JRE/JDK) 유상버전 변경에 따라 무료 버전이 필요한 경우에는 Open JDK를 설치하면 된다. [Elastic] - Open JDK 설치 Open JDK 설치 Open JDK 설치 오라클 정책 변경으로 Java SE(JRE/JDK) 유상버전 변경에 따라 무료 버전이 필요한 경우에는 Open JDK를 설치하면 된다. [OpenJDK 공식 홈페이지] Open..

OpenJDK 설치 오라클 정책 변경으로 Java SE(JRE/JDK) 유상버전 변경에 따라 무료 버전이 필요한 경우에는 Open JDK를 설치하면 된다. [OpenJDK 공식 홈페이지] OpenJDK Learn about the key active Projects in the Community including Amber (high-productivity language features), Loom (lightweight concurrency), Panama (foreign functions and foreign data), Valhalla (primitive types and specialized generics), and, of course, th openjdk.java.net [OpenJDK 다운..

Elasticsearch https://www.elastic.co/kr/what-is/elasticsearch Elasticsearch는 무엇인가요? 로그, 시스템 메트릭, 웹 애플리케이션 등 다양한 소스로부터 원시 데이터가 Elasticsearch로 흘러들어갑니다. 데이터 수집은 원시 데이터가 Elasticsearch에서 색인되기 전에 구문 분석, 정규화, 강화 www.elastic.co 오픈소스 검색엔진 아파치 재단의 루씬(Lucene)을 기반으로 개발된 오픈소스 검색엔진 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진 분산형 및 개방형을 특징으로 한다. Elasticsearch 사용 사례 애플리케이션 검색 웹사이트 검색 엔터프라이즈 검..

검색 시스템 검색엔진(Search Engine) 웹에서 정보를 수집해 검색 결과를 제공하는 프로그램 검색 시스템(Search System) 대용량 데이터를 기반으로 신뢰성 있는 검색 결과를 제공하기 위해 검색엔진을 기반으로 구축된 시스템을 통칭 수집기 크롤러(crawler), 스파이더(spider), 웜(worms), 웹 로봇(web robot) 등으로도 불림 웹사이트, 블로그, 카페 등 웹에서 필요한 정보를 수집하는 프로그램 파일, 데이터베이스, 웹페이지 등 웹상의 대부분의 정보가 수집 대상이 됨 스토리지 데이터베이스에서 데이터를 저장하는 물리적인 저장소 검색엔진은 색인한 데이터를 스토리지에 보관 색인기 다양한 형태소 분석기를 조합해 정보에서 의미가 있는 용어를 추출하고 검색에 유리한 역색인 구조로 데..