Apache Spark Cluster 구조
스팍의 기본 구조는 다음과 같다.
스팍 프로그램은 일반적으로 “Driver Program”이라고 하는데, 이 Driver Program 은 여러개의 병렬적인 작업으로 나뉘어져사 Spark의 Worker Node(서버)에 있는 Executor(프로세스)에서 실행된다.
1. SparkContext가 SparkClusterManager에 접속한다. 이 클러스터 메니져는 스팍 자체의 클러스터 메니져가 될 수 도 있고 Mesos,YARN 등이 될 수 있다. 이 클러스터 메니저를 통해서 가용한 Excutor 들을 할당 받는다
2. Excutor를 할당 받으면, 각각의 Executor들에게 수행할 코드를 보낸다.
3. 다음으로 각 Excutor 안에서 Task에서 로직을 수행한다.
- Executor : Process
- Task : A Unit of work that will sent to one executor
cf. Storm 과 개념이 헷갈릴 수 있는데,
Storm 은 Node가 하드웨어 서버, Worker가 프로세스,Executor가 쓰레드
Spark 은 Worker Node가 하드웨어 서버, Executor가 프로세스 이다.
'빅데이타 & 머신러닝 > 스트리밍 데이타 처리' 카테고리의 다른 글
| Apache Spark - RDD (Resilient Distributed DataSet) 이해하기 - #1 (0) | 2015.05.22 |
|---|---|
| Apache Spark 소개 - 스파크 스택 구조 (0) | 2015.05.22 |
| Apache Spark 설치 하기 (0) | 2015.05.18 |
| Apache Spark이 왜 인기가 있을까? (7) | 2015.05.18 |
| Apache Storm을 이용한 실시간 데이타 처리 #6 –Storm 그룹핑 개념 이해하기 (0) | 2015.01.29 |