소품집

우리가 인터넷에서 정보를 검색하는 방법 HTTP란, 웹에서 데이터를 주고 받을 때 사용되며, 주로 HTML로 주고 받습니다. 데이터를 주고 받는 당사자는 '클라이언트'와 '웹서버' 입니다. 클라이언트가 웹서버 데이터를 요청하면 웹서버는 해당 요청에 대한 결과를 응답합니다. 웹 크롤링은 인터넷 검색과 유사하다 추가로 알아야 할 사항 크롬 개발자 도구 인코딩 및 로케일 다양한 에러 해결법 정규 표현식 (Regex) HTTP 기초 인터넷 상에서 데이터를 주고 받을 때 사용 이때, 데이터를 주고 받는 당사자는 클라이언트와 웹서버 클라이언트 → 웹서버에 데이터를 요청, 웹서버 → 요청에 응답함 클라이언트(우리)가 요청할 때 사용하는 방식 중 많이 사용하게 되는 것은 GET(), POST() 방식 예시 티스토리를 ..

퍼센트 인코딩이란? 퍼센트 인코딩(percent-encoding)이란 URL에 사용되는 문자를 인코딩 하는 방식이며 URL 인코딩이라고도 합니다. 아울러, 한글 인코딩 방식에 따라 결과가 달라집니다. 퍼센트 인코딩 된 문자열을 디코딩하면 우리가 볼 수 있습니다. (urltools 패키지) library(urltools) # 문자열 하나를 설정합니다. windows에서 설정했다면 CP949 방식을 따릅니다. string % url_encode() # [1] "%bc%d2%b4%d9%bf%b5" POST 방식 웹 크롤링 실습1 전화번호부 페이지 - https://www.isuperpage.co.kr/ # searchWord URL % url_encode() %>% I()), encode = 'form') #..

데이터 분석을 할 때 웹 크롤링을 해 웹 데이터를 수집 및 분석 하는 경우가 많은 데요. 그 중에서도 가장 기본인 내용으로 웹 크롤링을 연습 해보려고 합니다. 웹 서버는 html, css 등을 이용해 이미지 된 형상을 전송 하고, 우리는 브라우저(크롬, 익스플로어 등)으로 서버에서 전송 된 것을 유저에게 보여주게 됩니다. 우리가 구글 검색어를 보지만, 실제 웹 서버는#logo-default 를 브라우저에서 읽어드린 것과 같이요. 웹 사이트에 있는 데이터 가져오기 웹 사이트에 있는 데이터를 가져오기 위해서는 HTTP 를 요청하고, 추출, 저장 하는 과정이 있습니다. library(rvest) library(httr) library(dplyr) 먼저, 필요한 R 패키지를 다운해줍니다. #HTTP 요청 실행 ..