조대협의 블로그

Vnode - vnode - process (One Erlang process per partition in the ring) partition - data - Vnode는 MR 처리를 하는 Worker가 따로 있음 - VNode Master : Receieve msg from request corrdinator - FSM (Finate State Machine) 1) Type 1 : Preference list-based : single key 2) Coverate based : entire keyspace W+R > N : Consistency 를 보장할 수 있다. (W : Write Replica 수) (R : Read Replica 수) Java SDK 에 Load Balancing Logic 이..

페이스북의 Photo 서비스 시스템 아키텍쳐 The Photos application is one of Facebook’s most popular features. Up to date, users have uploaded over 15 billion photos which makes Facebook the biggest photo sharing website. For each uploaded photo, Facebook generates and stores four images of different sizes, which translates to a total of 60 billion images and 1.5PB of storage. The current growth rate is 220 millio..

요즘 대규모 분산 환경이나 빅데이타 관련해서 NoSQL중에서 Riak이 많이 언급되는데... 생각보다 괜찮은 듯 http://nosql.mypopescu.com/post/632057783/riak-search-and-riak-full-text-indexing 주요 특징은 - Cassandra와 같은 Dynamo 계열 - ★ Secondary Index가 지원 된다.. (메이져 NoSQL 중에 유일하지 않을까?) - ★ FTS (Full Text Searching)도 지원된다. 그리고, Commercial Support도 가능하다. ==== 최근 포스팅한 좀더 자세한 Riak 정보 http://bcho.tistory.com/621

MongoDB Deployment 아키텍쳐를 간단하게 보면 다음과 같다. mongos들을 앞단에 쭈욱 늘어놓고, 이는 라우터의 역할을 한다. mongos간의 load balancing은 앞단에 L4등의 로드 밸런서를 사용하고, Cache Hit율등을 높이기 위해서 L4는 Hash 방식등의 Sticky setting을 한다. 뒷단에 mongod를 배치하고, 최소한 3 copy replica 구조로 설정한다. inter data center에 대한 replication을 설정하고, 이는 DR이나 Back up 용도로 사용한다 inter data center replication은 항상 여러가지 숙제를 주는데, 이 경우 backbone의 속도 차이로 인하여 data의 일관성이 깨질 수 있으니, 1. DR/Ba..

대충 2시간 정도 MongoDB를 훝어보니 구조 - mongod는 실제 데이타 베이스 핸들링 프로세스로 mysqld와 유사 - 앞단에 mongos 라는 프로세스를 띄워서 클러스터 구성을 하면, mongos가 로드 밸런서 역할을 함 클러스터링을 할경우 - Sharding을 사용하여 데이타를 분산 저장해야 함 - 이 경우 같은 shard내에 mongod를 3 copy로 replication하여 데이타 유실을 방지를 권고한다. - 고급 문서 대부분 내용이 Shard 구성과 Index 구성이다. 이게 키 포인트인듯 ※ 이 과정은 Redundant한 하드웨어 구성으로 인하여 하드웨어 코스트를 올릴 수 있다. 성능 부분에서는 - mongodb는 memory 기반의 index를 사용하여 cassandra나 hbase..

http://bigdatalowlatency.com/ 대용량 분산 데이타 처리에 대한 글이 많다. 큐브리드에서도 NoSQL 벤치마크한 자료들이 많네요. 그것도 영어로.. http://blog.cubrid.org/dev-platform/nosql-benchmarking/ 여기 Foursquare에서 MongoDB에 대한 장애 케이스가 있네요 http://monetary.egloos.com/3600459 결국은 메모리가 빵빵해야 하고, 용량 초과되기 전에 증설을 자알~~ 해야 한다는것.

요즘 대용량 데이타 처리 때문에, NoSQL을 머릿속에만 올려놓고, 근래에나 되서 이래서는 안되겠다 해서 직접 자료를 찾아보고 있습니다. NoSQL은 Cassandra, HBase, Mongo, Riak등을 후보군으로 뒀는데, Cassandra는 FaceBook에서 Donation해서 만든 분산 DB로 개인적으로는 가장 신뢰가 가기는 했지만, 국내의 많은 블로그 포스팅등을 읽어보면, 안정성이나 사용성이 떨어진다는 것이다. 즉 제품은 좋은데 야생마처럼 잘 쓰지 못하면 모쓰는 제품이라는 이야기. 일단 후보로 남겨놓고 패스. HBase는 Hadoop File System (HDFS)를 기반으로 설계되었는데, 검색해보니 생각보다 많이 사용이 안되는 것 같아서 패스 Riak도 신생이라서 패스 결국은 Mongo와 ..

클라우드 Security에 대한 글 하나 http://blogs.msdn.com/b/education/archive/2011/08/03/how-do-you-approach-cloud-security.aspx 네이트 사건도 있고, 점점 중요해지는 보안, 그러나 비용과 시간 때문에 맨날 경시 되는 보안 루머-Apple's rumored 'Replay' service a ways off http://news.cnet.com/8301-31001_3-20089094-261/apples-rumored-replay-service-a-ways-off/ 애플이 동영상 컨텐츠에 대한 클라우드 서비스를 시작하려한다는 루머입니다. 그 큰 데이타 센터 지어놓고, iCloud에서 Sync 만 제공하기에는 부족하고 몬가 꾸미고 있..

http://kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis Mongo DB,Cassandra,HBase 등 NoSQL에 대해서 비교를 해놨음

고객사 차세대 아키텍쳐에 대한 Blue Print를 Research하다가 NoSQL (Cassandra, HBase)등을 reference했는데, 결과적으로 ROA 아키텍쳐의 완성은 NoSQL DBMS가 있어야 하는게 아닌가 싶다. 보고용 Article을 좀 쓰다가 정리가 안되서 blog에 포스팅하는데, ROA에서 문제는 기존의 RDBMS는 ROA의 Resource구조와 맵핑이 잘 안된다. ROA는 1 resource가 하나의 저장소에 저장되는 형태가 좋은데, (하나의 ROW라던지). RDBMS는 여러개의 Table에 걸쳐서 데이타가 나누어 저장되고, Key 구조도 FK를 이용하거나해서 복합 키가 생겨 버려서 Key 정의에도 모호성이 보인다. 반면에 NoSQL DB, 특히 Column형 DB는 Key &..