DAG(Direct Acyclic Graph)
- Driver program에 의해 시작된 데이터 실행 스타일은 DAG 스타일로 그래프를 작성한다.
- 여기서 정점은 RDD를 나타내며, transformation은 간선으로 표시된다.
- action이 수행될 때까지는 스파크 클러스터의 컴퓨팅 노드에서 실행 자체가 시작되지 않는다. 그럼에도 불구하고, 이 작업을 시작하기 전에 driver program은 실행 그래프(DAG)와 코드 블록(as a domain-specific script or file)을 클러스터로 보내고 컴퓨팅 노드 각각은 클러스터 매니저 노드로부터 복사본을 수신한다.
'프레임워크 & 라이브러리' 카테고리의 다른 글
| RDD: 새로운 컴퓨팅 패러다임 (0) | 2019.02.08 |
|---|---|
| Introduction to SPARK (0) | 2019.02.08 |
| 전통적인 분산 컴퓨팅과 그 발전 (0) | 2019.02.08 |
| From Anconda to Tensorflow installation in Ubuntu (0) | 2018.11.22 |