workflow 3

데이타 워크플로우 관리를 위한 Apache Airflow #1 - 소개

Apache airflow 조대협 (http://bcho.tistory.com)배경빅데이타 분석이나, 머신러닝 코드를 만들다 보면 필요한것중에 하나가 여러개의 태스크를 연결해서 수행해야 할 경우가 있다. 데이타 베이스의 ETL 작업과 비슷한 흐름이라고 보면 된다. 예를 들어 머신러닝의 학습 과정을 보면 데이타 전처리,학습,배포,예측과 같은 단계를 가지게 된다. rawdata를 읽어서 preprocessing 단계를 거쳐서 학습에 적절한 training data로 변경하고,변경된 training data를 가지고 머신러닝 모델을 학습한후, 학습된 모델을 저장한다.학습된 모델을 가지고 예측을 해서 결과를 저장한다. 이렇게 머신러닝은 여러개의 단계를 거쳐서 수행이 되는데, 각 단계가 끝나면 다음 단계를 수행해..

WorkFlow에서 CustomActivity 메모

- 각 Activity에서 State나 Static 변수등은 저장되지 않음. ThreadLocal도 마찬가지. Context에 저장해야 한다. - DBActivity가 곧 나올 예정 (DataBaseActivity Pack이라는 형태로 제공될 예정) * 트렌젝션 Scope 및 관리 기능 있음 - CustomActivity는 NativeAcitivity,CodeActivity 등이 있음. CodeActivity는 Constraint가 심함, NativeActivity는 자유도가 제일 높음 Activity Designer - Custom Activity에 대한 UI 디자이너. AppFabric이 들어오면서 IIS 기반 프로그래밍 모델이 꽤 바뀌는 듯. 이런 자체는 좋은데, Context 객체를 통한 데이타 ..

WF (Workflow Foundation)

.NET에서 WCF와 함께 관심이 가는 것이 WF (Workflow Foundation)인데 말그대로 프로세스를 그릴 수 있는 프레임웍이다. BPM,Orchestration 등등의 모든 프로세스를 디자인할 수 있는데, 흥미로운것중의 하나가, 이 WorkFlow 디자인 GUI를 떼어내서 다른 툴에서 쓸 수 있다는 것이다. 즉 Custom WorkFlow Designer를 만들 수 있다는 말씀.(Workflow Designer Re-Hosting)이라고 함. 사실 Mesh up 도구나 SDP의 SDE (Service Development Environment)등을 만들때 이 프로세스 디자이너를 구현하는게 꽤나 복잡한 부분인데, 이를 이용하면 해결할 수 있을듯. [참고:http://msdn.microsoft...