데이터와 인공지능 훑어보기

K-means (K 평균) 데이터 간의 거리를 사용해 가까운 거리에 있는 데이터끼리 하나의 클래스로 묶는 알고리즘 거리를 계산하기 위해 데이터는 수치화된 데이터야 함 데이터를 k개의 클러스터로 분류 1. 사용자로부터 입력받은 k의 값에 따라, 임의로 클러스터 중심(centroid) k개를 설정한다. 2. k개의 클러스터 중심으로부터 모든 데이터가 얼마나 떨어져 있는지 계산한 후에, 가장 가까운 클러스터 중심을 각 데이터의 클러스터로 정한다. 3. 각 클러스터에 속하는 데이터들의 평균을 계산해서 클러스터 중심을 옮겨준다. 4. 보정된 클러스터 중심을 기준으로 2, 3단계를 반복한다. 5. 더이상 클러스터 중심이 이동하지 않으면 알고리즘을 종료한다. 장점 시간 복잡도가 O(n)으로 빠른 편 이해하기 쉽고 구..

나이브 베이즈 (Naïve Bayes) 나이브 베이즈 분류 알고리즘은 데이터를 나이브(단순)하게 독립적인 사건으로 가정하고, 이 독립 사건들을 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘 Bayes' theorem (베이즈 정리) 어떤 사건이 서로 배반하는 원인 둘에 의해 일어난다고 할 때 실제 사건이 일어났을 때 이것이 두 원인 중 하나일 확률을 구하는 정리 조건부 확률(사후 확률)을 구하는 것을 말하며, 어떤 사건이 일어난 상황에서, 그 사건이 일어난 후 앞으로 일어나게 될 다른 사건의 가능성을 구하는 것. 즉, 기존 사건들의 확률(사전 확률)을 알고 있다면, 어떤 사건 이후의 각 원인들의 조건부 확률을 알 수 있다 단, 기존 사건들의 확률을 알지 못하다면 베이즈 정리는..

Classification Performance Measure Confusion Matrix (Binary Classification) Confusion Matrix (Multi-Class Classification) True Positive(TP) 실제 True인 정답을 True라고 예측 (정답) 맞는 것을 올바르게 예측한 것 True Negative(TN) 실제 False인 정답을 False라고 예측 (정답) 틀린 것을 올바르게 예측한 것 False Positive(FP) 실제 False인 정답을 True라고 예측 (오답) 틀린 것을 맞다고 잘못 예측한 것 False Negative(FN) 실제 True인 정답을 False라고 예측 (오답) 맞는 것을 틀렸다고 잘못 예측한 것 Precision(정밀도..

Ridge Regression 릿지도 회귀를 위한 선형 모델 최소 제곱법에서 사용한 것과 예측 함수를 사용. 단, 가중치의 절대값을 가능한 작게 만드는 것이 목적 → 규제: 과대 적합이 되지 않도록 모델을 강제로 제한 L2규제, 계수의 L2노름의 제곱을 패널티로 적용 ※ 과대적합(Overfitting) 가진 정보를 모두 사용해서 너무 복잡한 모델을 만드는 것 ※ 과소적합(Underfitting) 너무 간단한 모델이 선택되는 것 모델이 너무 간단해서 데이터의 면면과 다양성을 잡아내지 못하고 훈련 세트에도 잘 맞지 않는 경우 Lasso Regression L1규제를 사용. 계수의 절대 값의 합을 패널티로 사용 일반적으로 릿지 회귀를 선호하지만 특성이 많고 그 중 일부분만 중요하다면 라쏘가 좋은 선택일 수 있다.

OCR (Optical Character Recognition) 텍스트 이미지를 기계가 읽을 수 있는 텍스트 포맷을 변환하는 과정 사람이 쓰거나 기계로 인쇄한 문자의 영상을 이미지 스캐너로 획득하여 기계가 읽을 수 있는 문자로 변환하는 것 이미지 스캔으로 얻을 수 있는 문서의 활자 영상을 컴퓨터가 편집 가능한 문자코드 등의 형식으로 변환하는 소프트웨어 OCR 작동 원리 이미지 획득 스캐너를 통해 문서를 읽어들여 이진 데이터로 변환 전처리 이미지를 정리하고 오류를 제거하여 읽을 수 있도록 준비 스캔된 문서를 조금씩 기울기 보정하거나 틸팅하여 스캔 중의 정렬 문제 해결 디지털 이미지의 얼룩을 제거하거나 텍스트 이미지의 가장자리를 부드럽게 만듦 이미지 내의 텍스트 상자 및 선을 정리 다국어 OCR 기술용 스크..

Ansible https://github.com/ansible/ansible GitHub - ansible/ansible: Ansible is a radically simple IT automation platform that makes your applications and systems easier t Ansible is a radically simple IT automation platform that makes your applications and systems easier to deploy and maintain. Automate everything from code deployment to network configuration to clo... github.com 오픈소스 IT 자동화 툴로..

Tekton Cloud Native CI/CD https://tekton.dev/ Tekton Cloud Native CI/CD tekton.dev a powerful and flexible open-source framework for creating CI/CD systems, allowing developers to build, test, and deploy across cloud providers and on-premise systems Tekton은 오픈소스 프로젝트로서 클라우드 네이티브 CI/CD 파이프라인을 신속히 생성하기 위한 프레임워크를 제공한다. Tekton은 표준 클라우드 네이티브 CI/CD 경험과 컨테이너를 제공하는 쿠버네티스 플랫폼을 위한 CI/CD 프레임워크이다. 쿠버네티스 네이티..

Knative (케이네이티브) an open-source enterprise-level solution to build serverless and event driven application https://knative.dev/docs/ Home - Knative Run serverless containers in Kubernetes with ease. Knative takes care of the details of networking, autoscaling (even to zero), and revision tracking. Teams can focus on core logic using any programming language. Universal subscription, delivery and ..

Kafka (카프카) an open-source distributed event streaming platform https://kafka.apache.org/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 아파치 카프카는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연 시간을 지닌 플랫폼을 제공하는 것이 목표이다. 하루에 1조4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작되었다. Kafka는 서버 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는..

Kiali (키알리) a management console for Istio service mesh https://kiali.io/ Kiali Kiali Project site kiali.io Kiali는 회로 차단기, 요청 속도, 대기 시간, 트래픽 흐름 그래프와 같은 기능에 대한 가시성을 제공하는 네임스페이스의 대화형 그래프 보기를 실시간으로 제공한다. Kiali는 게이트웨이, 대상 규칙, 가상 서비스, 메시 정책 등과 같은 Istio 구성의 유효성을 확인하는 기능도 제공한다. Graphics: workloads, applications, services, versions Detailed views: mesh configurations, metrics, services, workloads, runti..

Jaeger https://www.jaegertracing.io/ Jaeger: open source, end-to-end distributed tracing Monitor and troubleshoot transactions in complex distributed systems www.jaegertracing.io 분산 서비스 간 트랜잭션을 추적하는 오픈소스 소프트웨어로 복잡한 마이크로서비스 환경을 모니터링하고 문제를 해결하는 데 사용된다. 차량 공유 서비스 기업인 Uber Technologies에서 2015년에 만든 분산형 추적시스템 오픈소스 프로젝트로 개발되었다. 2017년 CNCF(Cloud Native Computing Foundation) 프로젝트로 채택되었으며 2019년에는 정식 프로젝트로..

Istio(이스티오) Service Mesh-Sidecar network proxies for service-to-service https://istio.io/ Istio A service mesh for observability, security in depth, and management that speeds deployment cycles. istio.io 마이크로서비스 간 데이터 공유를 제어하는 기반을 제공하는 오픈소스 서비스 메쉬 플랫폼이다. Istio는 온프레미스, 클라우드 호스팅, 쿠버네티스 컨테이너, 가상 머신에서 실행되는 서비스 등 다양한 환경에서 구동되도록 설계되었다. Istio 동작 원리 Data Plane 조직 환경 내에 sidecar 프록시를 배포하여 Istio 지원이 서비스에 추..

Service Mesh 프록시를 사용하여 서비스 또는 마이크로 서비스 간의 서비스 간 통신을 촉진하기 위한 전용 인프라 계층 서비스 메시는 서비스 간의 통신을 제어하고 표시하고 관리할 수 있도록 하는 데 특화된 마이크로 서비스를 위한 인프라 계층이다. 서비스 메쉬에서의 호출은 자체 인프라 계층의 proxy를 통해 이루어지게 된다. 마이크로 서비스와 서비스 메쉬 마이크로서비스 아키텍처에 구축된 클라우드 네이티브 애플리케이션의 경우에는 서비스 메쉬 방식으로 대량의 개별 서비스를 정상 애플리케이션으로 구성한다. 기본적으로 마이크로서비스는 독립적으로 구축되고 서로 커뮤니케이션하며, 장애가 개별적으로 발생하므로 애플리케이션 전체의 운영 중단으로 확대되지 않는다. 서비스 간 커뮤니케이션이 바로 마이크로서비스를 가능..

Grafana open source analytics & monitoring solution for every database https://grafana.com/ Grafana: The open observability platform Your observability stack Operational dashboards for your data here, there, or anywhere Loki + Grafana + Tempo + Mimir + anything else (you know, Big Tent) grafana.com 다중 플랫폼 오픈 소스 분석 및 대화형 시각화 웹 애플리케이션이다. 지원되는 데이터 소스에 연결될 때 웹에 대한 차트, 그래프 및 경고를 제공한다. Grafana vs Kiba..

Prometheus (프로메테우스) An open-source monitoring system with a dimensional data model, flexible query language, efficient time series database and modern alerting approach https://prometheus.io/ Prometheus - Monitoring system & time series database An open-source monitoring system with a dimensional data model, flexible query language, efficient time series database and modern alerting approach. pr..