조대협의 블로그

애플리케이션 기반의 플랫폼 레퍼런스 http://www.cloudbees.com/platform-overview.cb 단순하지만 쓸만한거 같고, 특징은 개발/빌드 환경을 체계화 해놨다는 건, 다른 클라우드에서는 이런 환경을 PaaS 수준으로 제공하는 것은 없는 걸로 아는데, 일단 CloudBees는 Jekins(Hudson)을 사용한다는 것

Google의 BigTable에서 시작된 것들 - HBase (Java) - HyperTable (C++) 주로 대규모 분산처리 특히 Map&Reduce에 알맞고, 동시 대규모 클라이언트를 지원하는데 뛰어 나다 Amazon Dynamo 로 부터 시작된 것들 - Voldemork - Riak FaceBook에서 시작된것 - Cassandra Write에 Optimize되었으며, Read는 Write에 비해 느림. 대규모 데이타 저장에 최적화됨 그밖에 Mongo 계열 -MongoDB 쉽다. 그리고 AutoSharding과 Balacing 제공. 10gen에서 Commercial Support -CouchDB : MongoDB와 특성은 유사하나 내부 기술 구조는 다름

Redis는 Memcached의 대안으로 사용할 수 있는 솔루션이다. 성능이나 구조도 memcached에 비해서 나은 것 같은 것 같고, 클러스터, Pub/Sub 기능도 있다. Redis Tutorial http://simonwillison.net/static/2010/redis-tutorial/ Redis Cluster http://redis.io/presentation/Redis_Cluster.pdf

nginx가 요즘 마음에 들어서 계속 살펴보는 중인데, module 개발도 apache 보다는 쉬워 보인다. apache 처럼 module 개발 가이드 책은 없는 것 같지만 그래도 이정도 정리된 문서가 있는 것도 다행인듯. Module 개발 문서 - http://www.evanmiller.org/nginx-modules-guide.html Module 개발 Advanced Topic http://www.evanmiller.org/nginx-modules-guide-advanced.html

잘 정리해놓은 문서가 있어서 PPT 링크 Redis View more presentations from knight1128

클라우드 컴퓨팅이 IaaS,PaaS,SaaS와 같은 서비스 제공자 입장 Private,Public 클라우드와 같은 사용 대상에 대한 입장에 대한 정의가 이제는 다 이루어졌고, 구축 및 서비스가 성숙해가는 단계에서 근래에 시트릭스에서 3P 라는 클라우드 컨셉을 발표했다. 기존 클라우드가 기업 내부에서 사용하는 Private 기업이 외부 자원을 사용하는 Public 이었다면 여기에 하나 더해서 + Personal Cloud의 개념을 추가하여 발표하였다. 새로운 클라우드 컴퓨팅 개념이라기 보다는 기존에 있었던 형태의 서비스를 조금 관점을 바꿔서 체계화 시킨 것에 불과하지만, 이 체계화 자체가 의미를 갖는다. Personal Cloud는 기업이 아니라 각각의 개인에게 클라우드 서비스를 제공한다는 개념이다. 즉 ..

MongoDB Deployment 아키텍쳐를 간단하게 보면 다음과 같다. mongos들을 앞단에 쭈욱 늘어놓고, 이는 라우터의 역할을 한다. mongos간의 load balancing은 앞단에 L4등의 로드 밸런서를 사용하고, Cache Hit율등을 높이기 위해서 L4는 Hash 방식등의 Sticky setting을 한다. 뒷단에 mongod를 배치하고, 최소한 3 copy replica 구조로 설정한다. inter data center에 대한 replication을 설정하고, 이는 DR이나 Back up 용도로 사용한다 inter data center replication은 항상 여러가지 숙제를 주는데, 이 경우 backbone의 속도 차이로 인하여 data의 일관성이 깨질 수 있으니, 1. DR/Ba..

대충 2시간 정도 MongoDB를 훝어보니 구조 - mongod는 실제 데이타 베이스 핸들링 프로세스로 mysqld와 유사 - 앞단에 mongos 라는 프로세스를 띄워서 클러스터 구성을 하면, mongos가 로드 밸런서 역할을 함 클러스터링을 할경우 - Sharding을 사용하여 데이타를 분산 저장해야 함 - 이 경우 같은 shard내에 mongod를 3 copy로 replication하여 데이타 유실을 방지를 권고한다. - 고급 문서 대부분 내용이 Shard 구성과 Index 구성이다. 이게 키 포인트인듯 ※ 이 과정은 Redundant한 하드웨어 구성으로 인하여 하드웨어 코스트를 올릴 수 있다. 성능 부분에서는 - mongodb는 memory 기반의 index를 사용하여 cassandra나 hbase..

큐브리드 블로그에 재미있는 글들이 많네요 http://blog.cubrid.org/dev-platform/what-is-nginx/ 초고속 네트워크 핸들링 프레임웍 처럼 보이는데, TCP로 최적화된 모듈을 만들기 좋겠습니다. 자바 기반의 Netty (Mina)가 생각나네요. 지금 프로젝트 만드는 부분에 고민좀 해봐야겠습니다. 이건 머... 자체적으로 R&D 팀이라도 하나 두고 있어야지... 에효~~

http://bigdatalowlatency.com/ 대용량 분산 데이타 처리에 대한 글이 많다. 큐브리드에서도 NoSQL 벤치마크한 자료들이 많네요. 그것도 영어로.. http://blog.cubrid.org/dev-platform/nosql-benchmarking/ 여기 Foursquare에서 MongoDB에 대한 장애 케이스가 있네요 http://monetary.egloos.com/3600459 결국은 메모리가 빵빵해야 하고, 용량 초과되기 전에 증설을 자알~~ 해야 한다는것.

요즘 대용량 데이타 처리 때문에, NoSQL을 머릿속에만 올려놓고, 근래에나 되서 이래서는 안되겠다 해서 직접 자료를 찾아보고 있습니다. NoSQL은 Cassandra, HBase, Mongo, Riak등을 후보군으로 뒀는데, Cassandra는 FaceBook에서 Donation해서 만든 분산 DB로 개인적으로는 가장 신뢰가 가기는 했지만, 국내의 많은 블로그 포스팅등을 읽어보면, 안정성이나 사용성이 떨어진다는 것이다. 즉 제품은 좋은데 야생마처럼 잘 쓰지 못하면 모쓰는 제품이라는 이야기. 일단 후보로 남겨놓고 패스. HBase는 Hadoop File System (HDFS)를 기반으로 설계되었는데, 검색해보니 생각보다 많이 사용이 안되는 것 같아서 패스 Riak도 신생이라서 패스 결국은 Mongo와 ..

정리는 아래 PPT에 잘되어 있고 쉽게 요약하면, Async Queue + Working 서버다 Request를 Queuing 했다가, 뒤의 Work Process로 넘겨줘서 작업을 비동기로 처리해주는 형식이고 예전 Tuxedo와 같은 TP 모니터와 유사한 구조를 갖는다. Hadoop과 같은 Map & Reduce 의 분산 처리 구조와도 비슷하고 야후등의 레퍼런스도 있고 memcached나 mogileFS를 만든 danga.org의 작품이기도 하다. 일단 단순성이 높고, 사용성도 편리해서 대용량 분산 처리에 사용하기는 편할듯. 단 예전 TP 모니터에서 봤듯이, 작업 배분을 위한 Worker Process들의 Registration을 처리하는 BBL과 같은 Registration Table에 별도의 성능 ..

http://www.edugeek.net/forums/nix/49844-zfs-deduplication-dedup-vs-compression.html 데이타를 보면 알겠지만 Dedup보다 일반적인 케이스는 Compression이 용량 절약면에서는 이익. Dedup은 Backup이나 Delta 기반의 Versioning에 유리.

요즘 Personal Storage Service를 분석하다보니, Cloud Storage쪽을 많이 보게 되는데, 트렌드가 대부분 S3나 SWIFT같은 Blob Storage를 뒤에 넣고, 중간에 이를 File System으로 바꿔주는 서버 계층을 두고, Client에 마치 NDrive 처럼 Fuse를 이용해서 마운트 하는게 대세다. CyberDuck같은 오픈 소스를 보면 KT SS나 Amazon S3등을 Storage로 저장해서 파일을 저장할 수 있게 해준다. 요즘 관심이 가는 부분이 이 구조에서 중간에 File System으로 바꿔주는 엔진 부분인데, De-duplication쪽이 관심이다. 이유인 즉, SWIFT의 경우 데이타 안정성(무결성)을 보장하기 위해서 물리적으로 3Copy를 유지하기 때문에..

Great Applications for SDFS and Deduplication Backups Virtual Machines Network shares for unstructured data such as office documents and PSTs Any application with a large amount of deduplicated data Applications that are not a good fit for Deplication Anything that has totally unique data Pictures Music Files Movies/Videos Encrypted DataFrom http://www.opendedup.org/whatisdedup

HTC가 DashWire라는 미국 모바일 클라우드 업체를 인수했습니다. http://news.inews24.com/php/news_view.php?g_serial=594346&g_menu=020800&rrf=nv iCloud로 애플이 모바일 시장을 다 뒤집어 놓은 상태에서 첫번째 타 업체의 움직임입니다. HTC는 Sense라는 서버 플랫폼을 가지고 있기는 하지만, Apple의 iCloud의 변화 속도와 서비스를 따라가기에는 Infra 투자나 신규 서비스 개발들이 쉽지 않은게 사실인데, HTC는 인수 대응 방식을 선택했습니다. 삼성전자나 LG 전자는 어떻게 대응을 할지도 궁금하네요.

클라우드 Security에 대한 글 하나 http://blogs.msdn.com/b/education/archive/2011/08/03/how-do-you-approach-cloud-security.aspx 네이트 사건도 있고, 점점 중요해지는 보안, 그러나 비용과 시간 때문에 맨날 경시 되는 보안 루머-Apple's rumored 'Replay' service a ways off http://news.cnet.com/8301-31001_3-20089094-261/apples-rumored-replay-service-a-ways-off/ 애플이 동영상 컨텐츠에 대한 클라우드 서비스를 시작하려한다는 루머입니다. 그 큰 데이타 센터 지어놓고, iCloud에서 Sync 만 제공하기에는 부족하고 몬가 꾸미고 있..

HTTPFS : Fuse를 이용한 HTTP 기반의 파일 시스템 구현 가능.

How to make Awesome Diagrams for your slides View more presentations from otikik

벤더 생활을 처음 시작할때 부터 알고 지내는 영업 대표 분이 계십니다. 지금도 제 멘토링을 해주시고, 항상 존경하고 있는 분입니다. 월요일 마다 월요 편지라는 것을 보내시는데, 항상 생각할 수 있는 시간과 주제를 주시는데 오늘 좋은 글이 있어서 하나 올려봅니다. 임승환 월요 편지 (7/25일자) 조그만 항구 도시에 사는 가난한 어부가 자신의 보트에서 늘어지게 낮잠을 잤다. 그때 그 곳을 지나던 사업가가 어부를 깨워 말을 걸었다. 사업가 : 하루에 몇 번이나 출어하시오? 어부 : 단 한 번. 나머지는 이렇게 쉬지요. 사업가 : 왜 두 번 이상 하지 않소? 그럼 세 배로 많은 고기를 잡을 수 있을게 아니오? 어부 : 그러면요? 사업가 : 그러면? 그러면 2년 뒤에는 모터보트를 두 척 살 수 있고, 3~4년 ..

처음에는 프로그래밍이 좋아서 개발자로 시작을 했었고, 나름 벤쳐에서 영업도 해봤고 CTO도 해보고, 프리도 해보고, 그러다가 외국회사에서 엔지니어,컨설턴트,프리세일즈를 거쳐서 아키텍트로 일을 하다가 지금은 프로젝트 메니져를 하고 있습니다. 구축 프로젝트라기 보다는 사업을 만들고 구축까지 End 2 End를 책임지는 과정인데.. 확실히 메니져에 입장이 되보니 생각할것이 훨씬 많아지는 것 같습니다. 그 중에서 가장 중요한 것은 개발팀과 사업부의 중간에서 사업의 당위성을 설득하고 기술과 비지니스 중간의 브릿지 역할을 하는 일입니다. 예전에 프리세일즈 경험이 있어서 요즘 들어 큰 도움이 되고 있습니다. 가장 중요한 것은 비지니스나 사업부 그리고 Executive는 개발이 어쩌고 저쩌고, 기술이 어쨌다는 것이 아..

Microsoft에 근무한지 약 1년이 좀 지났는데, 기대하지 않던 기회가 와서 회사를 다시 한번 옮기게 되었습니다. 좋은 패키지 제안 해주신 모社의 존경하는 임원분께 진심으로 죄송하게 생각합니다. 블로그를 통해서 다시 한번 감사드리고, 어떤 형태로든지 함께 일할 수 있는 기회가 오기를 기대해 봅니다. Microsoft의 지난 1년은 저에게 상당히 의미가 있었던 한해였습니다. 먼저 Java/Unix/Open source 기반의 제 기술 Background를 MS 진영의 기술까지 확장할 수 있었으며, 기술에 대한 편견을 버리고 모든 기술에 대해서 동등하게 바라볼 수 있는 식견을 가질 수 있었습니다. 아울러서 주로 임원 관련 미팅등을 통해서 전통적인 기술 지향적인 사고에서 비지니스를 바라볼 수 있는 능력과 ..

http://wiki.secondlife.com/wiki/Message_Queue_Evaluation_Notes RabitMQ가 Amazon SQS에 비해 40배 가량 빠름. AMQ나 RabitMQ를 클라우드에서 서비스하기 위해서는 1. SQS나 Azure Queue Service와의 호환성 문제 --> jCloud등 사용 2. Multitanent 문제 --> Pending Message가 장애를 발생시켜서 다른 업무나 사용자에게 방해를 줄 수 있다. 3. Global Scale Deployment --> DR과 Data Center간 Synchroization 이거 재미는 있겠는데.... 난이도가 무지 높겠다.. ROI가 쉽지 않겠어

오늘 KT가 소프트뱅크와 협력하여 VDI에 대한 서비스를 제공한다는 기사가 났습니다. 기술적으로 완성도는 타 클라우드에 비해서 높지는 않지만, 저전력 데이타 센터, 오픈소스 , 인재 혁신과 기술 내재화등 KT의 클라우드 전략과 추진 방향에는 박수를 보냅니다. 그중에서 오늘 화두가 되는 VDI (Virtual Desktop Infrastructure) 를 간략하게 정리해보고자 합니다 VDI 기술의 정의와 분류 VDI는 크게 두가지 종류가 있습니다. RDSH, RDVH RDSH (Remote Desktop Session Host) 이건 Windows Server를 인스톨해놓고 Session을 공유하는 방식입니다. 예전의 X-Terminal과 유사한 환경이라고 보면 됩니다. 각 사용자의 자원이 다른 사용자와 ..

지난주에, 또(?!) 워크샵을 다녀왔습니다. S전무님으로 부터, Management에 대한 몇가지 이야기를 듣게 되어서 노트해놓습니다. 사실 메니져, 특히 영업 메니져의 경우 역할에 대한 의문이 많았습니다 특히 Vendor의 경우, 경험상 보면, 얼굴 마담 역할의 지사장이나, 아니면 어떤 특수한(?) 능력을 통해서 해당 시장에서 매출을 쭉쭉 올려가시는 분들을 경험해봤습니다. 영업 메니져의 경우 아래 직원들을 푸쉬하고 엑셀 보고 받으면서 밀어 붙이는 정도로 생각했는데, 지난 워크샵에서 중요한 이야기를 하나 들었습니다. 가장 중요한 것은 "목표 선정" 대부분의 조직의 문제점은 목표의 부재, 비젼의 부재, 그리고 측정 방법에 대한 부재 입니다. 영업 목표를 $$를 하느냐도 중요하지만, 우리의 경쟁 상대는 누구..

http://libcloud.apache.org/ Public Cloud의 Management 기능들을 Abstract해놓은 Lib. OpenSource. CF. JCloud.

System Center 3'rd party management pack http://unofficialsystemcentercatalog.wordpress.com/2011/04/22/opsmgrcatalog/ RedHat Enterprise Linux Microsoft Free Xen Server ComTrade Fee-based Dell PowerEdge / PowerVault, DRAC and CMC Dell Free 아래는 Quest의 Management Pack http://blogs.inside.quest.com/management-extensions/scom/downloads/ 거의 다 되네... 승산 있겠다.

http://www.zeus.com/products/load-balancer 이걸로 되어 있음... 가격만 맞으면 써볼만 할거 같은데...

Amazon EC2의 내부 구조에 대한 고찰이 있는 글이 있어서 링크 http://openfoo.org/blog/amazon_ec2_underlying_architecture.html 1. Xen Server 쓰는 건 다 아는 사실이고 2. EBS를 iSCSI 기반 GNDB (http://docs.redhat.com/docs/en-US/Red_Hat_Enterprise_Linux/3/html/GFS_6.0_Administration_Guide/ch-gnbd.html) 를 쓴다는 게 참고할만한 내용 Elastic Block StoreThe characteristics of the Elastic Block Store (EBS) lead to the conclusion that it is probably a ..

Virtual Machine Management : OpenStack Nova + Glance (Image & Snapshot management) Configuration Manager : Chef + Crowbar Monitoring : TBD (System Center Operation Manager + Bridgeway) Orchestration : http://java-source.net/open-source/workflow-engines 이건 짜야 쓰겄다. Portal : Silverlight or HTML 5 or AJAX 추가 검토할 솔루션 Puppet Nagios : Monitoring 쪽에 검토 요망