일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Eda
- 소셜네트워크분석
- dx
- httr
- python
- 가나다영
- ML
- arima
- SQLD
- 하둡
- 하계인턴
- cnn
- 에이블러
- 머신러닝
- 빅분기
- ETRI
- 한국전자통신연구원
- ggplot2
- SQL
- KT 에이블스쿨
- 딥러닝
- 프로그래머스
- 서평
- matplot
- kt aivle school
- 다변량분석
- 기계학습
- 시계열
- hadoop
- 지도학습
- 빅데이터분석기사
- 웹크롤링
- KT AIVLE
- r
- kaggle
- 시각화
- Ai
- 에트리 인턴
- 에이블스쿨
- 한국전자통신연구원 인턴
Archives
- Today
- Total
목록분산처리 (1)
소품집
Hadoop 이란? 기본 동작구성과 프레임워크
1. 하둡 소개 하둡이란? 하둡 개발자 커딩의 아들이 가지고 놀던 코끼리 인형 이름 ^__^ 하둡(Hadoop)은 대용량 데이터를 분산처리 할 수 있는 자바 기반의 오픈소스 프레임워크 하둡 vs RDBMS (관계형 데이터베이스 관리 시스템) 정형 데이터 → RDBMS 저장 (RDBMS는 라이선스 비용이 비쌈) → RDBMS: 데이터가 저장된 서버에서 데이터를 처리하게 됨 비정형 데이터(사이즈가 큼) → Hadoop 저장 → 하둡: 여러대의 서버에 데이터를 저장하고, 데이터가 저장된 각 서버에서 동시에 데이터 처리 2. 하둡의 구성 분산저장 → 분산처리 하둡 파일 시스템(HDFS)을 이용해서 파일을 적당한 블록 사이즈(64MDD)로 나눠서 각 노드 클러스터(각각의 개별 컴퓨터)에 저장 데이터 유실의 위험이..
Hadoop
2020. 5. 12. 15:55