thread 3

Apache Spark 클러스터 구조

Apache Spark Cluster 구조 스팍의 기본 구조는 다음과 같다. 스팍 프로그램은 일반적으로 “Driver Program”이라고 하는데, 이 Driver Program 은 여러개의 병렬적인 작업으로 나뉘어져사 Spark의 Worker Node(서버)에 있는 Executor(프로세스)에서 실행된다. 1. SparkContext가 SparkClusterManager에 접속한다. 이 클러스터 메니져는 스팍 자체의 클러스터 메니져가 될 수 도 있고 Mesos,YARN 등이 될 수 있다. 이 클러스터 메니저를 통해서 가용한 Excutor 들을 할당 받는다 2. Excutor를 할당 받으면, 각각의 Executor들에게 수행할 코드를 보낸다. 3. 다음으로 각 Excutor 안에서 Task에서 로직을 수..

Vertx 개념 잡기 (instance,thread,classloader,standard verticle,worker verticle)

Vertx 개념 잡기 (instance,thread,classloader,standard verticle,worker verticle) l Verticle :Vert.x의 하나의 애플리케이션 일종의 Vertx 판 Servlet이라고 이해하면 빠름Ÿ 기본 특성 : 독립된 Class Loader에서 독립된 Oject로 존재함 > Multi threading 문제가 발생하지 않음.Ÿ ELP (Event Loop) Verticle : 일반 Verticle. 항상 같은 Thread에서만 돈다. 같은 Verticle은 여러개의 Verticle instance로 존재할 수 있으며, 동시에 각각의 Thread에서 수행하는 것이 가능함.Ÿ Worker Verticle – ( Q에서 subscribe 받아서 뒤에서 비동기..

Vert.x Note - Verticle & instance and Thread

Vert.x 기본 개념 잡기 1. Verticle- The package of coe that Vert.x executes(Java,JavaScript,Python,Groovy 등 여러가지 언어로 작성될 수 있음)- Verticle은 기본적으로 Non Blocking으로 작동함- Blocking으로 작동하는 Verticle은 Worker Verticle을 사용함. 2. Module- Set of Verticla- Application 은 1개 이상의 Module로 구성되고, Module은 1개 이상의 Verticle로 구성됨 Vertx의 실행단위는 Verticle 또는 Module 3. Vert.x instance- Verticle은 instance 내에서 동작하는데, 하나의 instance 내에서는 여..