데이터와 인공지능 훑어보기

PyPDF2 https://pythonhosted.org/PyPDF2/ PyPDF2 Documentation — PyPDF2 1.26.0 documentation pythonhosted.org PyPDF2 설치 pip install PyPDF2 PyPDF2를 이용한 파일 정보 추출 from PyPDF2 import PdfFileReader pdfreader = PdfFileReader("sample.pdf") # Document Information print(pdfreader.documentInfo) # Total page number print(f"Number of pages: {pdfreader.numPages}") # Get text from the first page print(pdfreader..

PDF 파일 정보 추출을 위한 python 라이브러리들을 소개하고자 한다. PDF 파일에서 추출하고 싶은 데이터의 구조(텍스트, 테이블 데이터 등)나 Output 형태(이미지 파일, Dataframe 등)에 따라 적합한 라이브러리를 채택하여 데이터를 추출해야 한다. PyPDF2 ※ 한글 텍스트가 정상 추출되지 않는다. [Python/문서 데이터 분석] - PyPDF2 PyPDF2 PyPDF2 https://pythonhosted.org/PyPDF2/ PyPDF2 Documentation — PyPDF2 1.26.0 documentation pythonhosted.org PyPDF2 설치 pip install PyPDF2 PyPDF2를 이용한 파일 정보 추출 from PyPDF2 import PdfFile..

Powerpoint 파일 정보 추출을 위한 python 라이브러리들을 소개하고자 한다. python-pptx [python-pptx] 파워포인트 문서 정보 추출 [python-pptx] Powerpoint 문서 정보 추출 python-pptx a Python library for creating and updating PowerPoint (.pptx) files 파워포인트(.pptx) 파일의 슬라이드 내 데이터를 추출하여 분석하고자 하는 경우 python-pptx를 활용할 수 있다. [python-pptx.. yumdata.tistory.com table, cell, row, column 등의 object 활용해서 텍스트 데이터 추출 가능 pptx 파일에만 사용 가능하고, ppt 파일은 사용할 수 없음 ..

python-pptx a Python library for creating and updating PowerPoint (.pptx) files 파워포인트(.pptx) 파일의 슬라이드 내 데이터를 추출하여 분석하고자 하는 경우 python-pptx를 활용할 수 있다. [python-pptx document] python-pptx — python-pptx 0.6.21 documentation python-pptx.readthedocs.io [python-pptx @github] GitHub - scanny/python-pptx: Create Open XML PowerPoint documents in Python Create Open XML PowerPoint documents in Python. Contri..

Quality Attributes Availability (가용성) 시스템의 실패에 연관된 품질로써 시스템 실패시에 파급되는 효과로 도출된다. 소프트웨어가 필요할 때 작업을 수행할 준비가 되었는지를 판단 합법적인 사용자에게 서비스를 제공하는 것 오류 발생 시 시스템의 반응을 판단하는 척도 보안, 성능, 안전과 밀접한 관련이 있다. 시스템 오류를 안화시켜 서비스 중단 시간을 최소화 하는 것 Reliability 포함할 수 있다. Reliability (신뢰성) 명세된 조건에서 사용될 때, 성능 수준을 유지할 수 있는 소프트웨어 제품의 능력 Maturity (성숙성): 소프트웨어 내의 결함으로 인한 고장을 피해가는 능력 Faulty Tolerance (오류 허용성): 소프트웨어 결함이 발생했을 때 명세된 성..

Architecture Document Descriptions 1. Project Overview 프로젝트 배경, 이해 관계자 정의, 활동 기간 및 프로젝트 목표에 대해 기술 2. Architectural Drivers 시장 및 비지니스 context 비지니스 및 기술적 제약 기능 요구 사항, Use case diagram, use case 시나리오 품질 요구 사항, Quality Attributes 시나리오 3. System Context 시스템 내/외부 구성도에 대한 정의 기술 4. Architecture Design 설계 내용 기술, 상위에서 하위 레벨의 설계 내용 기술, 필요에 따라서는 detail design 내용이 일부 포함될 수 있음 다양한 뷰 관점에서 설계 작성, Physical Persp..

Node.js [Node.js 공식 사이트] Node.js Node.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine. nodejs.org Chrome V8 JavaScript 엔진으로 빌드 된 JavaScript 런타임 노드를 통해 다양한 자바스크립트 애플리케이션을 실행할 수 있으며, 서버를 실행하는 데 제일 많이 사용된다. Node.js는 JavaScript를 서버에서도 사용할 수 있도록 만든 프로그램이다. Node.js는 V8이라는 JavaScript 엔진 위에서 동작하는 자바스크립트 런타임(환경)이다. Node.js는 서버사이트 스크립트 언어가 아니다. 프로그램(환경)이다. Node.js는 웹서버와 같이 확장성 있는 네트워크 프..

Spring [Spring 공식 사이트] Spring Framework spring.io 참고 사이트: https://gmlwjd9405.github.io/2018/10/26/spring-framework.html 자바 엔터프라이즈 개발을 편하게 해주는 경량급 오픈소스 애플리케이션 프레임워크 J2EE에서 제공하는 대부분의 기능을 지원하기 때문에 JAVA개발에 있어서 대표적인 프레임워크 Lightweight Java Applicaion Framework 목표: POJO 기반의 Enterprise Application 개발을 쉽고 편하게 할 수 있도록 한다. Java Application을 개발하는데 필요한 하부구조(Infrastructure)를 포괄적으로 제공한다. Spring이 하부구조를 처리하기 때문에..

React React는 framework이 아니라 library이다. [React 공식 문서] Create a New React App – React A JavaScript library for building user interfaces reactjs.org 참고 사이트: https://react.vlpt.us/basic/01-concept.html React는 javascript library의 하나로 사용자 인터페이스를 만들기 위해 사용된다. 페이스북과 개별 개발자 및 기업들 공통체에 의해 유지보수된다. React Main Concept React는 어떠한 상태가 바뀌었을 떄, 그 상태에 따라 DOM을 어떻게 업데이트할지 규칙을 정하는 것이 아니라, 아예 다 날려버리고 처음부터 모든 걸 새로 만들어..

DevOps 소프트웨어의 개발(Development)과 운영(Operations)의 합성어 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화 소프트웨어 개발조직과 운영조직간의 상호 의존적 대응이며 조직이 소프트웨어 제품과 서비스를 빠른 시간에 개발 및 배포하는 것을 목적으로 한다. DevOps의 이점 속도 작업 속도가 빨라지므로 고객을 위해 더 빠르게 혁신하고, 시장 변화에 더 잘 적응하고, 좀 더 효율적으로 비즈니스 성과를 창출 마이크로 서비스와 지속적 전달을 사용하면 팀에서 서비스를 주도적으로 운영하여 업데이트를 좀더 빠르게 릴리즈 할 수 있다. 신속한 제공 릴리스의 빈도와 속도를 개선하여 제품을 더 빠르게 혁신하고 개선 새로운 기능의 릴리스와 버그 수정 속..

경량 IoT 통신 프로토콜 MQTT와 CoAP는 인터넷에 기반의 풍부한 리소스를 가진 디바이스로부터 IoT 기반의 제한된 리소스를 가진 디바이스로 통신을 지원한다. CoAP와 MQTT는 모두 경량 애플리케이션 계층을 구현하며, 에러 보정의 많은 부분은 메시지 재시도, 간단한 신뢰성 전략에 넘기거나 최종 노드의 원데이터에 대한 후처리를 리소스가 더 풍부한 기기에 맡긴다. 자세한 내용은 그림 2를 참조할 수 있다. MQTT(Message Queuing Telemetry Transport) ISO 표준(IOS/IEC PRF 20922) 경량의 Publish/Subscribe(Pub/Sub) 메시징 프로토콜 M2M(machine-to-machine)와 IoT(Internet of things)에서의 사용하려고 ..

Docker 리눅스의 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트 마이크로서비스 아키텍쳐의 장점은 최대한 살리고 CI/CD를 통해서 효과적인 개발환경을 만들고 싶다면 모든 서비스 팀에게 Docker를 도입하는 것이 효과적입니다. Docker 환경에서 새로운 빌드 환경을 구축할 경우 개발자는 컨테이너 이미지만 실행하여 애플리케이션을 바로 확인 및 동일한 환경에서 테스트 할 수 있으며, 동일한 방식으로 빌드서버에도 적용할 수 있습니다. 테스트 환경과 프로덕션 환경을 분리해서 운영하기 위해서는 단순히 Docker Compose 혹은 Dockerfile 설정을 일부 변경하여 실행 및 테스트 할 수 있으며, 트래픽에 대한 분산처리도 유연하게 대응할 수 있습니다. Doc..

Compile Language 런타임 이전에 기계어 (혹은 Java의 경우 바이트코드) 로 변환되는 언어 어셈블리어는 CPU에 의존적이기 때문에, 컴파일된 코드들은 여러종류의 프로세서를 자유롭게 옮겨다니며 사용될 수 없다. (.exe, .dmg) 컴파일 이전의 소스코드도 운영체제별 특징이 있어 각각의 라이브러리를 요구한다. ex) C, C++, Java 자바는 런타임 전에 기계어가 아닌 바이트코드로 컴파일 되며, 런타임중에 기계어로 바뀐다. 하지만 컴파일 시점이 런타임 이전이기 때문에 컴파일언어에 속한다. Interpreter Language 런타임중에 프로그램 한줄한줄을 해석하며 실행 파이썬의 경우 런타임중의 컴파일 과정에 렉서(lexer), 파서(parser) 를 거쳐서 바이트 코드를 만들어낸다 바이..

Web Application Framework https://www.geeksforgeeks.org/top-10-frameworks-for-web-applications/ 동적인 웹 페이지나, 웹 애플리케이션, 웹 서비스 개발 보조용으로 만들어지는 애플리케이션 프레임워크의 일종 통상 데이터베이스 연동, 템플릿 형태의 표준, 세션 관리, 코드 재사용 등의 기능을 포함 프레임워크 아키텍처의 종류 모델-뷰-컨트롤러(MVC): 사용자 인터페이스로부터 비즈니스 규칙과 데이터 모델을 분리 3-tier 구조: 애플리케이션을 3개의 물리적인 층으로 구성. 클라이언트, 애플리케이션, 데이터베이스 ASP.NET 마이크로소프트사가 개발하여 판매하는 웹 애플리케이션 프레임워크 Flask [Flask 공식 문서] Welcome..

네트워크 성능 측면 Speed 특정 네트워킹 기술의 정격 속력, 혹은 명목 속력, ex 100Mbit Bandwitdh (대역폭) 컴퓨터 네트워크나 인터넷이 특정 시간 내에 보낼 수 있는 정보량. 흔히 초당 비트로 측정됨 네트워크나 데이터 전송 매체의 데이터 운반 용량을 지칭할 때 널리 쓰이는 용어 단위 시간 동안 한 곳에서 다른 곳으로 전달할 수 있는 데이터의 최대량 어떤 기술이 사용하는 주파수 대역을 가리킬 수도 있고, 데이터 용량을 가리킬 수도 있다. Throughput (처리량, 출력) 지정된 시간 내에 전송된, 혹은 처리된 전체의 유효한 정보량. 처리량이라고도 한다. 단위 시간 동안 네트워크, 채널, 인터페이스를 가로질러 전송될 수 있는 실제적인 데이터의 양 처리량은 대역폭이나 정격 속력에 의해..