b4failrise@devgraphy

DAG: For Optimizing Execution Plan

DAG(Direct Acyclic Graph) - Driver program에 의해 시작된 데이터 실행 스타일은 DAG 스타일로 그래프를 작성한다.- 여기서 정점은 RDD를 나타내며, transformation은 간선으로 표시된다.- action이 수행될 때까지는 스파크 클러스터의 컴퓨팅 노드에서 실행 자체가 시작되지 않는다. 그럼에도 불구하고, 이 작업을 시작하기 전에 driver program은 실행 그래프(DAG)와 코드 블록(as a domain-specific script or file)을 클러스터로 보내고 컴퓨팅 노드 각각은 클러스터 매니저 노드로부터 복사본을 수신한다.

RDD: 새로운 컴퓨팅 패러다임

스파크에서 데이터 참조 개념을 구현한 RDD를 이해해야 새로운 컴퓨팅 패러다임을 이해할 수 있다. 결과를 먼저 말하면, RDD를 통해 대규모로 쉽게 데이터를 처리할 수 있게 됐다. 일단 생성되면 변경될 수 없으며, 실패하면 스파크 엔진이 작업을 반복하려고 시도할 것이라는 점에서 RDD는 복원력 있는 방식으로 내결함성을 제공한다. - 일단 파티션 작업이 생성되면, RDD는 파티션을 통해 클러스터에서 자동적으로 분산된다. RDD는 또한 다른 형태로 빠르고 견고하게 변형될 수 있기 때문에 입력 데이터셋을 가지고 더많은 작업을 할 수 있게 도와준다.-RDD는 병렬로 덤프될 수 있고, 논리적으로 상호 관련 있거나 계산상 동일한 애플리케이션에서 공유될 수 있다. 입력 RDD와 관련 작업을 하기 위해 스파크 엔진에서..

Introduction to SPARK

SPARK 의 특징적인 부분1. 데이터 처리 및 계산의 단순성2. 계산 속도3. 대규모 데이터셋의 확장성 및 처리량4. 다양한 데이터 유형5.다양한 cluster manager를 사용한 cluster computing 및 배포의 용이성6. 다양한 빅데이터 storage와 소스를 통한 작업 기능 및 지원7. 널리 사용되는 최신 프로그래밍 언어로 작성된 다양한 API SPARK란?고급 데이터 분석을 위한 정교한 API를 가진 빠른 In-memory 빅데이터 처리와 general-purpose cluster computing을 위한 framework이다. - 배치 작업에만 적합한 하둡 기반의 MapReduce와 달리, 스파크는 실시간 데이터와 배치(정적) 데이터 모두에 고급 분석을 적용하기에 적합한 일반 실행..

전통적인 분산 컴퓨팅과 그 발전

전통적인 분산 컴퓨팅 - 전통적인 데이터 처리 패러다임은 일반적으로 client-server 모델이며, 데이터를 코드로 이동시키기 위해 사용했다. - DB Server(간단히 server)는 주로 데이터 연산을 수행하고 그 결과를 client-server (client)프로그램으로 반환한다. - 다양한 연산과 client device 또한 기하급수적으로 증가-결과적으로, 백그라운드에서 server의 컴퓨팅 엔드포인트의 배열이 복잡해진다.-또한 늘어난 연산을 저장하고 처리할 수 있도록 application(client) server와 DB server를 늘려야 한다.-결과적으로, 노드 간 데이터 전파와 이 네트워크 전반에 걸쳐 데이터의 앞뒤로의 전송 역시 크게 늘어나게 된다. 따라서, 네트워크 자체가 성능..

From Anconda to Tensorflow installation in Ubuntu

1. Anconda 다운, 압축풀기2. "conda command not found" error -> Path설정- anaconda3 의 config 파일에 다음을 추가하거나 터미널에 입력한다.- current directory가 ~인 상태에서export PATH="~/ananconda3/bin:$PATH- conda --version 으로 확인 3. python(pycharm) 다운, 압축풀기4. tensorflow 설치- python terminal에 다음과 같이 입력pip install --ignore-installed --upgrade tensorflow