목록병렬처리 (2)

소품집

[R] R에서 병렬처리 하기 - doParallel

detectCores() : 현재 사용하는 컴퓨터의 논리 프로세서가 몇 개인지 찾아서 반환함. 이 때 코어를 하나 제외하는 이유는 병렬처리에 모든 프로세서를 할당해버리면 OS 오류남 makeCluster() : 클러스터 생성 함수 registerDoParallel() : 생성된 클러스터에서 병렬처리를 할 수 있도록 할당하는 함수로, 프로세스를 cluster 수 만큼 설정함. stopCluster() : 클러스터 중지 함수. makeCluster()가 메모리를 할당한다면, stopCluster()는 해제시켜주는 역할을 함. registerDoSEQ {foreach} : foreach 패키지에 순차 병렬 백엔드를 명시적으로 등록할 때 사용.
AI 2023. 2. 7. 10:51
Hadoop 이란? 기본 동작구성과 프레임워크

1. 하둡 소개 하둡이란? 하둡 개발자 커딩의 아들이 가지고 놀던 코끼리 인형 이름 ^__^ 하둡(Hadoop)은 대용량 데이터를 분산처리 할 수 있는 자바 기반의 오픈소스 프레임워크 하둡 vs RDBMS (관계형 데이터베이스 관리 시스템) 정형 데이터 → RDBMS 저장 (RDBMS는 라이선스 비용이 비쌈) → RDBMS: 데이터가 저장된 서버에서 데이터를 처리하게 됨 비정형 데이터(사이즈가 큼) → Hadoop 저장 → 하둡: 여러대의 서버에 데이터를 저장하고, 데이터가 저장된 각 서버에서 동시에 데이터 처리 2. 하둡의 구성 분산저장 → 분산처리 하둡 파일 시스템(HDFS)을 이용해서 파일을 적당한 블록 사이즈(64MDD)로 나눠서 각 노드 클러스터(각각의 개별 컴퓨터)에 저장 데이터 유실의 위험이..
Hadoop 2020. 5. 12. 15:55
이전 Prev 1 Next 다음