소품집

이번 실습에서는 한빛출판 네트워크 스토어 사이트에서 '새로나온 책' 목록을 크롤링 할 것입니다. 목록 페이지는 제목과 저자 정보를 추출할 예정이며전형적인 목록/상세 패 상세 페이지는 출간일, 페이지, ISBN, 물류 코드, 책 소개 등의 정보 중 제목, 가격, 목차 정보를 추출할 것입니다. import time import requests import lxml.html import re 필요한 모듈을 불러와줍니다. def main(): # 여러 페이지에서 크롤링을 위해 Session 사용 session = requests.Session() # scrape_list_page() 함수를 호출해서 제너레이터를 추출 response = session.get('http://www.hanbit.co.kr/store..

우리가 인터넷에서 정보를 검색하는 방법 HTTP란, 웹에서 데이터를 주고 받을 때 사용되며, 주로 HTML로 주고 받습니다. 데이터를 주고 받는 당사자는 '클라이언트'와 '웹서버' 입니다. 클라이언트가 웹서버 데이터를 요청하면 웹서버는 해당 요청에 대한 결과를 응답합니다. 웹 크롤링은 인터넷 검색과 유사하다 추가로 알아야 할 사항 크롬 개발자 도구 인코딩 및 로케일 다양한 에러 해결법 정규 표현식 (Regex) HTTP 기초 인터넷 상에서 데이터를 주고 받을 때 사용 이때, 데이터를 주고 받는 당사자는 클라이언트와 웹서버 클라이언트 → 웹서버에 데이터를 요청, 웹서버 → 요청에 응답함 클라이언트(우리)가 요청할 때 사용하는 방식 중 많이 사용하게 되는 것은 GET(), POST() 방식 예시 티스토리를 ..

데이터 분석을 할 때 웹 크롤링을 해 웹 데이터를 수집 및 분석 하는 경우가 많은 데요. 그 중에서도 가장 기본인 내용으로 웹 크롤링을 연습 해보려고 합니다. 웹 서버는 html, css 등을 이용해 이미지 된 형상을 전송 하고, 우리는 브라우저(크롬, 익스플로어 등)으로 서버에서 전송 된 것을 유저에게 보여주게 됩니다. 우리가 구글 검색어를 보지만, 실제 웹 서버는#logo-default 를 브라우저에서 읽어드린 것과 같이요. 웹 사이트에 있는 데이터 가져오기 웹 사이트에 있는 데이터를 가져오기 위해서는 HTTP 를 요청하고, 추출, 저장 하는 과정이 있습니다. library(rvest) library(httr) library(dplyr) 먼저, 필요한 R 패키지를 다운해줍니다. #HTTP 요청 실행 ..