프레임워크 & 라이브러리
DAG: For Optimizing Execution Plan
DAG(Direct Acyclic Graph) - Driver program에 의해 시작된 데이터 실행 스타일은 DAG 스타일로 그래프를 작성한다.- 여기서 정점은 RDD를 나타내며, transformation은 간선으로 표시된다.- action이 수행될 때까지는 스파크 클러스터의 컴퓨팅 노드에서 실행 자체가 시작되지 않는다. 그럼에도 불구하고, 이 작업을 시작하기 전에 driver program은 실행 그래프(DAG)와 코드 블록(as a domain-specific script or file)을 클러스터로 보내고 컴퓨팅 노드 각각은 클러스터 매니저 노드로부터 복사본을 수신한다.
2019. 2. 8. 17:20