데이터와 인공지능 훑어보기

Elasticsearch API Elasticsearch는 RESTFul 방식의 API를 제공하며, JSON 기반으로 통신한다. Elasticsearch에서 사용하는 HTTP Method 기능 데이터베이스 질의 문법 GET 데이터 조회 SELECT PUT 데이터 생성 INSERT POST 인덱스 업데이트, 데이터 조회 UPDATE, SELECT DELETE 데이터 삭제 DELETE HEAD 인덱스의 정보 확인 - 인덱스 관리 API(Indices API) index 색인 데이터 indexing 색인하는 과정 indices 매핑 정보를 저장하는 논리적인 데이터 공간 Schemaless 문서를 색인하기 위해서는 인덱스를 생성하는 과정이 필요한데 인덱스 생성 과정없이 문서를 추가하더라도 문서가 색인되도록 지원..

Elasticsearch Cluster 물리적인 노드 인스턴스들의 모임 모든 노트의 검색과 색인 작업을 관장하는 논리적인 개념 분산 처리를 위해서는 다양한 형태이 노드들을 조합해서 클러스터를 구성해야 한다. Elasticsearch Node Elasticsearch를 구성하는 하나의 단위 프로세스 Master Node 클러스터를 관리, 노드 추가와 제거 같은 클러스터의 전반적인 관리를 담당 인덱스를 생성, 삭제하는 등 클러스터와 관련된 전반적인 작업을 담 네트워크 속도가 빠르고 지연이 없는 노드를 마스터 노드로 선정해야 한다. 노드를 마스터 노드 전용으로 설정하고자 하는 경우 conf 폴더의 elasticsearch.yml 파일의 설정을 다음과 같이 한다. node.master: true node.dat..

Elasticsearch 데이터 구조 Elasicsearch와 RDBMS 비교 ElasticSearch RDBMS index Database Shard Partition Type Table Document Row Field Column Mapping Schema Query DSL SQL Index 데이터 저장 공간 하나의 인덱스는 하나의 타입만 가지며 하나의 물리적인 노드에 여러 개의 물리적인 인덱스를 생성할 수 있다. 검색 시 인덱스 이름으로 문서 데이터를 검색하며, 여러 개의 인덱스를 동시에 검색하는 것도 가능하다. 인덱스 생성시 기본적으로 5개의 primary shard와 1개의 replica shard 세트를 생성한다. 인덱스의 이름은 모두 소문자여야 하며 추가, 수정, 삭제, 검색은 RESTFu..

Elasticsearch snapshot 데이터 연동 Elasticsearch를 실행한 후 path.repo에서 설정한 물리적인 스냅숏 데이터를 elasticsearch로 인식시켜야 한다. curl -H "Content-Type: application/json" -XPUT "http://localhost:9200/_snapshot/snapshottest" -d "{ \"type\":\"fs\", \"settings\":{ \"location\":\"path\\repo\\test", \"compress\": true} }" curl 명령어 실행 후 Content-Type header 오류 발생 시 다음 옵션 추가 -H "Content-Type: application/json" "error":"Content..

Elasticsearch https://www.elastic.co/kr/what-is/elasticsearch Elasticsearch는 무엇인가요? 로그, 시스템 메트릭, 웹 애플리케이션 등 다양한 소스로부터 원시 데이터가 Elasticsearch로 흘러들어갑니다. 데이터 수집은 원시 데이터가 Elasticsearch에서 색인되기 전에 구문 분석, 정규화, 강화 www.elastic.co 오픈소스 검색엔진 아파치 재단의 루씬(Lucene)을 기반으로 개발된 오픈소스 검색엔진 텍스트, 숫자, 위치 기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터를 위한 무료 검색 및 분석 엔진 분산형 및 개방형을 특징으로 한다. Elasticsearch 사용 사례 애플리케이션 검색 웹사이트 검색 엔터프라이즈 검..