데이터와 인공지능 훑어보기

Fluentd an open source data collector for unified logging layer https://www.fluentd.org/ Fluentd | Open Source Data Collector "Logs are streams, not files. I love that Fluentd puts this concept front-and-center, with a developer-friendly approach for distributed systems logging." Adam Wiggins, Heroku co-founder www.fluentd.org 트레저 데이터(Treaure Data)에서 개발된 크로스 플랫폼 오픈 소스 데이터 수집 소프트웨어 프로젝트로 C와 Ruby로..

OpenTelemetry telemetry(trace, metric and logs) 데이터를 만들고 관리하는 API, SDK, 도구 통합 세트 a collection of tools, APIs, and SDKs instrument, generate, collect, and export telemetry data (metrics, logs, and traces) to help you analyze your software’s performance and behavior https://opentelemetry.io/ OpenTelemetry The OpenTelemetry Project Site opentelemetry.io Telemetry Data Telemetry is the remote collec..

Red Hat OpenShift https://www.redhat.com/en/technologies/cloud-computing/openshift Red Hat OpenShift makes container orchestration easier An enterprise-ready Kubernetes container platform with full-stack automated operations to manage hybrid cloud, multicloud, and edge deployments. www.redhat.com a leading enterprise Kubernetes platform that enables a cloud-like experience everywhere it's deploy..

EAR (Export Administration Regulations, 미국 수출관리규정) 제도 미국은 수출관리규정(EAR: Export Administration Regulations)에 근거하여 미국산 완제품 또는 미국산 부품․기술이 포함된 외국제품을 제3국으로 재수출하는 경우 미국 정부의 사전 허가를 요하는 등 자국 영토 밖에서도 미국산 제품과 이를 수출하는 외국기업을 엄격히 통제하고 있다. EAR99 품목이 미국 상무부의 관할권에 속하고 CCL에 나열되지 않은 경우 EAR99로 지정된다. 대부분의 상용 제품은 EAR99로 지정되며 일반적으로 수출 또는 재수출에 라이센스가 필요하지 않다. 그러나 EAR99 품목을 금수 조치 또는 제재 대상 국가, 우려 당사자 또는 금지된 최종 사용을 지원하기 위해 ..

Blockchain 작동 원리 디지털 자산 추적 블록체인은 distributed ledger(분산된 원장) 기술을 활용하여 지점 A에서 지점 B까지 가치 값 또는 디지털 자산의 이동을 추적한다. 블록체인 기술은 네트워크 상의 모든 노드에 대한 합의를 요구한다. 이것은 트랜잭션이 네트워크에 널리 반포되었을 때, 네트워크가 이러한 트랜잭션들을 인증해줘야만 한다는 것을 의미한다. Public Blockchain (퍼블릭 블록체인) 네트워크 상의 모든 참가자에게 신뢰와 권한을 나눠준다. 비트코인 (Bitcoin) 디지털 통화의 소유권을 추적하는데 사용 https://bitcoin.org/en/ 이더리움 (Ethereum) 개발자들이 분산 애플리케이션을 개발하고 사용하는 것을 가능하도록 하는 개방형 소프트웨어 플..

Blockchain Terms (블록체인 용어) Asset (자산) 가치를 창출하기 위해 소유하거나 통제할 수 있는 모든 물리적 또는 디지털의 모든것. 집, 음악, 특허 또는 현금이 그 예이다. Bitcoin (비트코인) 암호화 기술을 사용하여 통화(비트코인)의 생성을 규제하고 자금 이체를 확인하는 디지털 통화의 형태로, 모두 중앙 은행과 독립적으로 운영된다. Blockchain (블록 체인) 피어 투 피어 네트워크(peer-to-peer network)에서 발생하는 체인 트랜잭션 및 교환에 데이터 블록을 기록하는 분산 원장 기술 구현 Business network (비즈니스 네트워크) 경제 거래에 참여한 그룹. 구성원은 각 구성원이 소유하고 다른 구성원과 항상 동기화되는 원장을 통해 가치 항목을 교환하..

Blockchain (블록체인) Understand the Blockchain in two minutes https://youtu.be/r43LhSUUGTQ 블록체인은 분산 및 분권화 되는 개인용 컴퓨터 네트워크에 대한 정보를 저장한다. 이는 누구든 네트워크를 이용하거나 손상시키는 것을 어렵게 만든다. 차단 체인은 암호를 사용하여 레코드를 변경할 수 없는지 확인한다. 더보기 투표 할 때 투표 용지가 실제로 개표되는지 궁금해 본 적이 있습니까? 만약 당신이 온라인에서 누군가를 만난다면 그들이 누구인지 어떻게 알 수 있습니까? 공정 거래라고 표시된 커피를 구입할 때 그 기원을 어떻게 확신하게 됩니까? 당신이 필요로 하는 어떤 질문들에 대해서 정말로 확신하기 위해서는 기록이 저장되고, 사실들을 누구나 검증할수..

Platform https://m.blog.naver.com/knix008/221034069747 소프트웨어 개발에서 응용 프로그램이 동작하는 환경을 제공하는 것 플랫폼은 일의 주체적인 입장이 아니라 호출을 받아 일을 처리하는 곳이며, 처리된 결과는 다시 원하는 응용 프로그램으로 전달된다. 운영체제(OS)는 하드웨어 자원의 관리를 맡고 있는 소프트웨어일 뿐이며, 확장된 기능과 데이터의 해석 등은 어플리케이션이 담당한다. 프레임워크는 그 자체가 완벽히 동작할 수 있는 응용 프로그램이다. 따로 사용자가 작성한 코드가 없더라도 동작하는데 문제가 없다. 프레임워크가 동작하기 위한 환경은 운영체제나 플랫폼 등에서 제공받아야 하지만, 사용자가 코딩을 할 필요는 없다. 프레임워크 자체가 기본적(Default)으로 실..

보안 요구사항 분석(Analyzing Security Requirements) 위험 분석을 통해 공격자가 보안 요구사항을 위반할 수 있는 사례를 정의한다. 오용 사례 정의, 위협 모델링 등 보안 요구사항 정의 시 누락된 보안 요구사항을 발견하고 보완한다. “the security mindset involves thinking about how things can be made to fail. It involves thinking like an attacker, an adversary or a criminal.You don't have to exploit the vulnerabilities you find, but if you don't see the world that way, you'll never n..

보안 요구사항(Security Requirements) 중요한 시스템 데이터의 기밀성, 무결성, 가용성을 보호하는 방법을 명세하는 것을 말한다. 명세(Specification) 수집된 요구사항을 정해진 규칙과 구조에 따라 문서화 하는 과정이다. 의도한 대상 고객이 이해하고 평가하고 사용할 수 있도록 수집된 사용자 니즈를 실제 요구사항 문서와 적절한 다이어그램으로 변환하기 요구사항은 명확하고 검증 가능하도록 명세해야 하고, 작성된 요구사항은 추적성을 가져야 한다. 최종 산출물 : SRS(Software Requirements Specification) 사용자, 개발자, 테스터 및 모든 이해관계자들에게 공통의 목표를 제시한다. 소프트웨어 시스템이 반드시 제공해야 하는 기능과 능력, 특징 고려해야 하는 제약조..

SSL (Secure Socker Layer) / TLS (Transport Layer Security) [Security] SSL [Security] SSL SSL 개념 Secure Socket Layer Netscape 사에서 웹 서버와 브라우저 사이의 보안을 위해 개발한 것 Certificate Authority(CA)라 불리는 서드 파티로부터 서버와 클라이언트 인증하는데 사용 전송된 모든 데이터 yumdata.tistory.com TLS 프로토콜은 SSL프로토콜에서 발전 TLS는 다양한 종류의 통신 보안을 제공하도록 설계된 암호화 프로토콜이며, HTTPS는 TLS 위에 HTTP 프로토콜을 얹어 보안된 HTTP 통신을 하는 프로토콜. 두 당사자가 기밀성과 데이터 무결성이 보장된 상태로 서로 식별, ..

공개 키 인증서(PKC, Public Key Certificate) 인증서 소유자의 이름/소속/메일 주소 등의 개인 정보 인증서 소유자의 공개 키, 인증서의 유효기간 인증기관(CA; Certification Authority)의 개인 키로 서명한 전자 서명 값 인증 기관을 통해 공개키가 정당한 소유자의 공개키라는 인증 가능 인증서 사용 시나리오 예시 1) 밥이 키 쌍을 작성한다 2) 밥은 인증기관 트렌트에 자신의 공개 키를 등록한다 3) 인증기관 트렌트는 밥의 공개 키에 자신의 개인 키로 디지털 서명을 해서 인증서를 작성한다 4) 앨리스는 인증기관 트렌트의 디지털 서명이 되어 있는 밥의 공개 키(인증서)를 입수한다 5) 앨리스는 인증기관 트렌트의 공개 키를 사용해서 디지털 서명을 검증하고, 밥의 공개 키..

전자 서명 (Digital Signatures) 전송되는 메시지의 무결성 검증 가능 개인키를 사용하여 암호화(서명값 작성)하고, 공개키를 사용하여 복호화(서명값 검증)함 -> 서명자를 누구든지 공개키로 검증할 수 있음 -> 인증 가능 송신자만 개인키를 사용하여 서명값을 작성할 수 있으므로, 메시지를 작성한 사람이 개인키의 소유자임을 확신할 수 있음. -> 부인방지 효과를 가짐 한계점 서명 검증 시 사용하는 송신자의 공개키에 대한 인증이 필요 서명 알고리즘을 통해 송신자는 메시지에 송신자 개인키를 이용해 서명한다. 수신자는 그 메시지와 서명을 받고 송신자의 공개키를 이용해 검증한다. References http://blog.skby.net/%EC%A0%84%EC%9E%90%EC%84%9C%EB%AA%85-..

BERT(Bidirectional Encoder Representations for Transformers) Pre-training of Deep Bidirectional Transformers for Language Understanding 2018년 10월 논문이 공개된 구글의 새로운 Language Representation Model 모든 자연어 처리 분야에서 좋은 성능을 내는 범용 Language Model 방대한 양의 Corpus(위키피디아, 웹문서, 책정보 등)를 이미 트레이닝시킨 언어 처리 모델 arxiv.org/abs/1810.04805 github.com/google-research/bert GitHub - google-research/bert: TensorFlow code and pr..

GPT(Generative Pre-trained Transformer) OpenAI에서 Transformer의 Decoder를 활용해 발표한 Pretrained 언어 모델 GPT-1 : 2018년 발표 GPT-2 : 2019년 2월 발표, 제한된 데모버전만 공개 GPT-3 : 2020년 발표, 유료 Pretrained Language Model이란 레이블이 없는 많은 데이터를 비지도 학습 방법으로 학습을 해서 모델이 언어를 이해 할 수 있도록 한 후 특정 Task에 적용해서 좋은 성능을 내는 방법을 의미한다. Unsupervised pre-training 표준 Transformer의 Decoder만 사용하므로 Decoder에서 Encoder의 출력과 Attention을 하는 부분인 Encoder-Deco..