소품집

나~도 ~ 몰라 몰라~~~~~~

2장에서 배운 모든 내용을 정리한 마지막 스크레이핑입니다. 지금까지 세 개의 절에 걸쳐 설명한 처리 내용을 연결해 봅시다. 예제 2.19처럼 하면 웹 페이지를 추출하고, 스크레이핑 하고, 데이터를 저장하는 처리가 한 번에 이뤄집니다. 3개의 처리 내용을 3개의 함수로 구분하고, main() 함수에서 차례대로 호출하게 했습니다. fetch(url) 매개변수로 url을 받고 지정한 url의 웹페이지를 추출합니다. scrape(html) 매개변수로 html을 받고, 정규 표현식을 사용해 HTML에서 도서 정보를 추출합니다. save(db_path, books) 매개변수로 books라는 도서 목록을 받고, SQLite 데이터베이스에 저장합니다. 참고로 def 구문 아래에 여러 줄 문자여열 리터럴("''" ~ "..

XML 파서로 RSS에서 데이터를 스크레이핑해 봅시다. RSS란? 블로그 또는 뉴스 사이트 등의 웹사이트는 변경 정보 등을 RSS라는 이름의 XML 형식으로 제공합니다. RSS는 XML을 기반으로 만들어졌으므로 HTML 보다 간단하게 파싱할 수 있습니다. 뉴스 사이트에서 최신 뉴스 URL와 제목을 추출하는 경우 등 스크레이핑하고 싶은 정보가 RSS로 제공되는 경우 어떻게 활용하면 되는지 살펴봅시다. RSS 파싱하기 그럼 실제로 기상청에서 제공하고 있는 RSS를 살펴봅시다. 기상청 RSS http://www.kma.go.kr/weather/lifenundustry/service_rss.jsp 그럼 여기서 날씨와 시간 등의 정보를 추출해 보겠습니다. 날씨는 wf에 들어있으며, 기온은 tmn, 최고 기온은 t..

터미널에서 가상 환경을 생성하려고 하는데, 이미 (base) 가상환경을 사용중이어서 venv(파이썬 표준 모듈)을 사용하지 못하더라구요. (base) dayeong@dayeong-ui-MacBookPro ~ % 서치해 보니 아나콘다가 원인이었습니다. (base)user 로 뜰 때 해결법 아나콘다 환경에서 나오기 위해 아래와 같이 입력 # conda 종료 conda deactivate # conda 시작 conda activate # conda 자동 활성화 FALSE(끄기) or True(켜기) conda config --set auto_activate_base False source ~/.bashrc 가상 환경 사용법 다음 명령어로 가상 환경을 생성합니다. -m 옵션은 지정한 모듈을 스크립트로 실행한다는..

이해가 안 간다 물론 모듈 다 다운받음 ㅠ 나 다운도 안하고 import 왜 안되냐고 묻는 바보 아닌디 ,,, 어제부터 구글링이랑 스텤플로 두 시간 서치 하면서 하라는거 다했는데 모듈 에러 난다 모듈 에러 장난하나 ㅎ import이 안 된다 python이랑 sql 연결할건데,, 아니 왜 이게 안돼 어이가 없는데 안된다 그래서 옾쳌에도 물어봤는데 답이 없다.. 알려주세요 선ㅅ생님들..

# 웹 크롤링 프로젝트 # https://sodayeong.tistory.com import datetime from bs4 import BeautifulSoup import urllib.request now = datetime.datetime.now() nowDate = now.strftime('%Y년 %m월 %d일 %H시 %M분 입니다.') print("\n ※ Python Webcrawling Project 1 ※ \n ") print(' 환영합니다, ' + nowDate) print(' 오늘의 주요 정보를 요약해 드리겠습니다.\n') # 오늘의 날씨 print(' >> # 오늘의 #날씨 #요약 \n') # page1. in seoul webpage = urllib.request.urlopen('h..

이번 실습에서는 한빛출판 네트워크 스토어 사이트에서 '새로나온 책' 목록을 크롤링 할 것입니다. 목록 페이지는 제목과 저자 정보를 추출할 예정이며전형적인 목록/상세 패 상세 페이지는 출간일, 페이지, ISBN, 물류 코드, 책 소개 등의 정보 중 제목, 가격, 목차 정보를 추출할 것입니다. import time import requests import lxml.html import re 필요한 모듈을 불러와줍니다. def main(): # 여러 페이지에서 크롤링을 위해 Session 사용 session = requests.Session() # scrape_list_page() 함수를 호출해서 제너레이터를 추출 response = session.get('http://www.hanbit.co.kr/store..

내 담당은 분석이다 www.notion.so/dayeong1021/Social-Network-4a7041b2896b4f0789e1232ee65816d0 (박소윤) Social Network 시각화 데이터 확인 www.notion.so * 팀 : 박소윤 (박ㄱㅎ 소다영 윤ㅅㅇ 줄임이다 재밌죠,,,) * Social Network 시각화 * 수치분석은 notion link 참조해주세요 # 1. drama (드라마) ## a_drama 위 그래프를 보면 중앙에 두 개의 큰 응집성 집단을 확인할 수 있다. 또한 외각을 둘러싼 바운더리도 확인된다. ## d_dramad 위 그래프를 보면 중앙에 위치한 집단은 배우와 감독의 결합으로 구성된 연결망이다. 중앙의 응집성이 큰 것을 보아 둘의 결합이 높은 것을 확인할 수..

9장 (소셜네트워크 정의 및 igraph 패키지 사용하기) 네트워크의 정의 네트워크는 노드와 그들의 관계의 집합을 표현하는 시각화 기술을 말함 네트워크에 대한 연구 측정 Node : 중요한 노드 찾기 Network : 커다란 집합이 구성되어 있는지, 몇 개의 서브그룹으로 구성되어 있는지, 네트워크는 어떤 형태(모양)을 띄는지 파악함 네트워크 형성 어떤 특성에 의해 네트워크가 구성되었는지? 무작위적으로 아니면 부익부 빈익빈의 특성 등 만들어지는 방법에 따라 특성이 다양하게 나타남 네트워크 상의 프로세스 전파되는 현상 네트워크의 구조가 전파 현상에 영향을 미치는가? 전파현상 예측 모델링 네트워크 구성 점 : 사람, 조직 연결선 : 관계 Directed vs. Undirected Ties 방향성을 가지는 링크..

Selenium 이용하기 셀레니움은 브라우저(ex 크롬)를 자동으로 구동할 수 있는 기능 # 셀레니움 이용하기 library(RSelenium) library(wdman) library(dplyr) library(httr) library(rvest) # 리모트 드라이브 설정 remote % html_nodes(css = 'div#postContent') %>% html_text(trim=TRUE)