조대협의 블로그

http://bigdatalowlatency.com/ 대용량 분산 데이타 처리에 대한 글이 많다. 큐브리드에서도 NoSQL 벤치마크한 자료들이 많네요. 그것도 영어로.. http://blog.cubrid.org/dev-platform/nosql-benchmarking/ 여기 Foursquare에서 MongoDB에 대한 장애 케이스가 있네요 http://monetary.egloos.com/3600459 결국은 메모리가 빵빵해야 하고, 용량 초과되기 전에 증설을 자알~~ 해야 한다는것.

정리는 아래 PPT에 잘되어 있고 쉽게 요약하면, Async Queue + Working 서버다 Request를 Queuing 했다가, 뒤의 Work Process로 넘겨줘서 작업을 비동기로 처리해주는 형식이고 예전 Tuxedo와 같은 TP 모니터와 유사한 구조를 갖는다. Hadoop과 같은 Map & Reduce 의 분산 처리 구조와도 비슷하고 야후등의 레퍼런스도 있고 memcached나 mogileFS를 만든 danga.org의 작품이기도 하다. 일단 단순성이 높고, 사용성도 편리해서 대용량 분산 처리에 사용하기는 편할듯. 단 예전 TP 모니터에서 봤듯이, 작업 배분을 위한 Worker Process들의 Registration을 처리하는 BBL과 같은 Registration Table에 별도의 성능 ..

http://wiki.secondlife.com/wiki/Message_Queue_Evaluation_Notes RabitMQ가 Amazon SQS에 비해 40배 가량 빠름. AMQ나 RabitMQ를 클라우드에서 서비스하기 위해서는 1. SQS나 Azure Queue Service와의 호환성 문제 --> jCloud등 사용 2. Multitanent 문제 --> Pending Message가 장애를 발생시켜서 다른 업무나 사용자에게 방해를 줄 수 있다. 3. Global Scale Deployment --> DR과 Data Center간 Synchroization 이거 재미는 있겠는데.... 난이도가 무지 높겠다.. ROI가 쉽지 않겠어

http://libcloud.apache.org/ Public Cloud의 Management 기능들을 Abstract해놓은 Lib. OpenSource. CF. JCloud.

IOPS 측정하는 도구가 있었군. 내일 iSCSI 구성한 것 성능 체크좀 해봐야겠다. 참고 자료 P. 10 of Iometer guide: The Edit Access Specification dialog shows you how the disk will be accessed. The default is 2-Kilobyte random I/Os with a mix of 67% reads and 33% writes, which represents a typical database workload. You can leave it alone or change it. Press OK to close the dialog when you are through. For maximum throughput (Megaby..

클라우드 아키텍쳐 고민할 일이 많아서 Safari Online에서 하나 다운 받아서 하루동안 후욱 읽어본책 ★★★★ 기술적으로나 비지니스적으로나 전체적으로 넓은 영역을 커버하고 있고, Depth도 있다. 클라우드 지향형 아키텍쳐를 디자인 챕터에서 설명한것도 흥미롭고.. 초중급은 읽어볼만 하다. 클라우드 사용자 입장에서 기술 했기 때문에, 클라우드 구현 아키텍쳐가 제대로 소개되지 않은게 아쉽지만, 어디까지나 책의 목적이 사용자 대상이니까는.. 별5개중에서 3.5~4개 정도.. 아무래도 이론서이기 때문인데.. 어디 Storage나 Networking Architecture 에 대한 설계 하는 책은 읍나.

오라클이 이번 "오라클 오픈월드"에서 Sun 하드웨어를 기반으로하여 클라우드 플랫폼을 지원하기 위한 Web Application Server Platform인 Exalogic을 발표하였다. 이전에 Sun 하드웨어 + Oracle DBMS를 기반으로 하여 OLAP과 OLTP를 지원하기 위한 Exadata를 발표하더니 이번에는 WebLogic을 하드웨어와 녹였다. 거기에 이번에는 클라우드라는 단어까지 붙여 버렸다. 특징을 살펴보면, 하드웨어 융합 과, 클라우드 지원이라는 두가지 특징을 가지고 있다 자바 기반의 WAS야 어짜피 하나의 JVM단위로 인스턴스가 뜨기 때문에, 여러개의 하드웨어에 인스턴스를 분산하여 배치하기가 좋고, 이 말은 즉 클라우드 인프라에 걸쳐서 배포가기가 용이하기 때문에 클라우드 적용성이 ..

요즘 하는 프로젝트가 글로벌 스케일의 시스템 아키텍쳐를 잡고 있습니다. 쉽게 이야기 하면 수천만명이 사용하는 시스템에 대해서 여러 국가에 데이타센터에 서버를 두고 하나의 서비스처럼 이용하게 해주는 것입니다. 페이스북,트위터 같은 서비스들이 되겠군요. 이미 제 블로그에서도 오래전부터 이야기 했지만, 엔터프라이즈 기술들은 이미 이런 SNS 쪽에 비해서 기술이나 트렌드를 못 따라가는 것 같고.. 오늘 하고 싶은 이야기는 전세계의 서비스는 High Scale 시스템이다.(동시에 아주 대용량의 트렌젝션을 처리하는 시스템), Geo Replication이다. (대륙간 클러스터링 및 데이타 동기화) 등에 대해서 이야기 하는데.. 한국에는 정작 이런 사례나 기술이 전무하다는 겁니다. 작은 땅떵어리에서 IDC 여러개에 ..

올해 초 부터 클라우드 컴퓨팅에 대한 말들이 많다. 차세대 성장 동력이 어쩌고 이야기는 많지만 사실 실체는 거의 없다. 유일하게, Google,Amazon,MS만이 Public 클라우드 플랫폼을 서비스하고 있다. 그나마 Google이나 MS는 잘 만들어진 웹호스팅 시스템과 같은 느낌이다. 진정한 클라우드는 Amazon 정도라고나 할까? (사견입니다.) 출처 : http://news.cnet.com/8301-13953_3-9917409-80.html 아마존 클라우드는 Virtual Image를 로드해서 기동할 수 가 있다. 그래서 어느 미들웨어나 DBMS를 사용할 수 도 있고 Language의 제약도 받지 않는다.Prebuilt Image들의 경우 상용인 오라클이나 웹로직까지 이미 들어있어서 쉽게 시스템을..