반응형

Python/Web Crawling 3

[Web Crawling] Beautiful Soup

Beautiful Soup HTML과 XML 파일로부터 데이터를 뽑아내기 위한 파이썬 라이브러리 Web scraping에 사용되는 주요 라이브러리 중 하나 www.crummy.com/software/BeautifulSoup/bs4/doc/ Beautiful Soup Documentation — Beautiful Soup 4.9.0 documentation Non-pretty printing If you just want a string, with no fancy formatting, you can call str() on a BeautifulSoup object (unicode() in Python 2), or on a Tag within it: str(soup) # ' I linked to exampl..

Python/Web Crawling 2022.04.27

[Web Crawling] Scraping & Crawling

Web Crawling은 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출하는 기술이다. Web Scraping은 웹 사이트에 있는 특정 정보를 추출하는 기술을 말한다. Web Scraping 웹 사이트에 있는 특정 정보를 추출하는 기술을 말한다. 웹 크롤링과 달리 웹 스크래퍼는 특정 웹 사이트 또는 페이지에서 특정 정보를 검색한다. 기본적으로 웹 크롤링은 기존의 복사본을 만들고, 웹 스크래핑은 분석을 위한 특정 데이터를 추출하거나 새로운 것을 만든다. Data Scraping 컴퓨터 프로그램이 다른 프로그램으로부터 들어오는 인간이 읽을 수 있는 출력으로부터 데이터를 추출하는 기법이다. Web Crawling 프로그램이 웹 사이트를 정기적으로 돌며 정보를 추출한다. 프로그램을 Crawler 또는 Spi..

Python/Web Crawling 2022.04.27

[Web Crawling] Selenium

Selenium(셀레니움) 웹 브라우저의 자동화를 가능하게 하고 지원하는 다양한 도구와 라이브러리를 포함한 프로젝트 웹 앱을 테스트 할 때 주로 사용하는 프레임워크 webdriver라는 api를 통해서 browser 제어 동적인 환경에서 크롤링 웹 테스트의 자동화 www.selenium.dev/documentation/ko/ Selenium 브라우저 자동화 프로젝트 :: Selenium 문서 Selenium 브라우저 자동화 프로젝트 Selenium은 웹 브라우저의 자동화를 가능하게 하고 지원하는 다양한 도구와 라이브러리를 포함한 프로젝트입니다. 브라우저와의 사용자 간의 상호 작용을 테스 www.selenium.dev Selenium 라이브러리 설치 pip install selenium browser dr..

Python/Web Crawling 2021.05.11
728x90
반응형