조대협의 블로그

Google의 기술을 이해한다. 근래에 들어서 유행하는 IT 기술은 구글이나 페이스북등의 B2C 서비스 업체를 중심으로 하여 파생된 기술이 그를 이룬다.클라우드 컴퓨팅, NoSQL, 빅데이타등의 최신기술들 역시 구글이나 페이스북을 원류로 한다.'이 글에서는 대표적인 B2C 기업인 구글의 서비스의 구조를 통하여 구글의 기술을 이해하고 현재 주류를 이루는 기술에 대한 배경을 이해함으로써 향후 유사 솔루션에 대한 적용 시나리오를 찾는데 도움을 주기 위해서 작성되었다.' 검색엔진의 일반적인 구조구글은 기본적으로 검색 서비스를 바탕으로 유입자를 통한 광고 수입을 주요 비지니스 모델로 하고 있다.이메일이나 개인 스토리지 서비스등 많은 서비스들을 가지고는 있지만, 아무래도 그 뿌리는 검색이다.일반적인 검색 엔진의 구..

클라우드 컴퓨팅, Hadoop, NoSQL 새로운 기술이고 구글이나 FaceBook과 같은 B2C의 선두 업체들이 주로 사용하는 기술이다. 그런데, 왜 우리도 이 기술에 열광하는가?재미는 있고, 쓸모는 있는 기술이다. 그런데 필요가 있나? 한번 더 생각해볼 필요가 있다. 첫번째 HadoopHadoop의 경우 대용량 데이타를 배치성으로 처리하기 위한 분산 처리 프레임웍이다.여러가지 사용 용도가 있을 수 있겠지만, 주로 대용량 데이타를 분석하기 위해서 사용된다.이런 형태의 데이타 분석은 이미 OLAP이나 BI형태로 솔루션들이 제공되고 있고, 기업에서는 이미 구축되어 있다. 구글이나 페이스북과 같은 대규모 서비스를 한다면 모를까? 5000만 인구의 대한민국에서는 그만한 데이타 분석이 필요할까 과연 의문이다.물..

http://bigdatalowlatency.com/ 대용량 분산 데이타 처리에 대한 글이 많다. 큐브리드에서도 NoSQL 벤치마크한 자료들이 많네요. 그것도 영어로.. http://blog.cubrid.org/dev-platform/nosql-benchmarking/ 여기 Foursquare에서 MongoDB에 대한 장애 케이스가 있네요 http://monetary.egloos.com/3600459 결국은 메모리가 빵빵해야 하고, 용량 초과되기 전에 증설을 자알~~ 해야 한다는것.

정리는 아래 PPT에 잘되어 있고 쉽게 요약하면, Async Queue + Working 서버다 Request를 Queuing 했다가, 뒤의 Work Process로 넘겨줘서 작업을 비동기로 처리해주는 형식이고 예전 Tuxedo와 같은 TP 모니터와 유사한 구조를 갖는다. Hadoop과 같은 Map & Reduce 의 분산 처리 구조와도 비슷하고 야후등의 레퍼런스도 있고 memcached나 mogileFS를 만든 danga.org의 작품이기도 하다. 일단 단순성이 높고, 사용성도 편리해서 대용량 분산 처리에 사용하기는 편할듯. 단 예전 TP 모니터에서 봤듯이, 작업 배분을 위한 Worker Process들의 Registration을 처리하는 BBL과 같은 Registration Table에 별도의 성능 ..

http://wiki.secondlife.com/wiki/Message_Queue_Evaluation_Notes RabitMQ가 Amazon SQS에 비해 40배 가량 빠름. AMQ나 RabitMQ를 클라우드에서 서비스하기 위해서는 1. SQS나 Azure Queue Service와의 호환성 문제 --> jCloud등 사용 2. Multitanent 문제 --> Pending Message가 장애를 발생시켜서 다른 업무나 사용자에게 방해를 줄 수 있다. 3. Global Scale Deployment --> DR과 Data Center간 Synchroization 이거 재미는 있겠는데.... 난이도가 무지 높겠다.. ROI가 쉽지 않겠어

http://libcloud.apache.org/ Public Cloud의 Management 기능들을 Abstract해놓은 Lib. OpenSource. CF. JCloud.

IOPS 측정하는 도구가 있었군. 내일 iSCSI 구성한 것 성능 체크좀 해봐야겠다. 참고 자료 P. 10 of Iometer guide: The Edit Access Specification dialog shows you how the disk will be accessed. The default is 2-Kilobyte random I/Os with a mix of 67% reads and 33% writes, which represents a typical database workload. You can leave it alone or change it. Press OK to close the dialog when you are through. For maximum throughput (Megaby..

클라우드 아키텍쳐 고민할 일이 많아서 Safari Online에서 하나 다운 받아서 하루동안 후욱 읽어본책 ★★★★ 기술적으로나 비지니스적으로나 전체적으로 넓은 영역을 커버하고 있고, Depth도 있다. 클라우드 지향형 아키텍쳐를 디자인 챕터에서 설명한것도 흥미롭고.. 초중급은 읽어볼만 하다. 클라우드 사용자 입장에서 기술 했기 때문에, 클라우드 구현 아키텍쳐가 제대로 소개되지 않은게 아쉽지만, 어디까지나 책의 목적이 사용자 대상이니까는.. 별5개중에서 3.5~4개 정도.. 아무래도 이론서이기 때문인데.. 어디 Storage나 Networking Architecture 에 대한 설계 하는 책은 읍나.

오라클이 이번 "오라클 오픈월드"에서 Sun 하드웨어를 기반으로하여 클라우드 플랫폼을 지원하기 위한 Web Application Server Platform인 Exalogic을 발표하였다. 이전에 Sun 하드웨어 + Oracle DBMS를 기반으로 하여 OLAP과 OLTP를 지원하기 위한 Exadata를 발표하더니 이번에는 WebLogic을 하드웨어와 녹였다. 거기에 이번에는 클라우드라는 단어까지 붙여 버렸다. 특징을 살펴보면, 하드웨어 융합 과, 클라우드 지원이라는 두가지 특징을 가지고 있다 자바 기반의 WAS야 어짜피 하나의 JVM단위로 인스턴스가 뜨기 때문에, 여러개의 하드웨어에 인스턴스를 분산하여 배치하기가 좋고, 이 말은 즉 클라우드 인프라에 걸쳐서 배포가기가 용이하기 때문에 클라우드 적용성이 ..