원문 : http://www.isi.edu/~gideon/publications/JuveG-DataSharing.pdf
아마존에서 과학관련 HPC 분산 컴퓨팅 시에, 공유 스토리지 (NFS, Shared Storage)에 대한 성능 비교 및 Cost 비교를 해 놓은 문서 입니다. EBS나 Local Disk와 같은 스토리지가 아니라 공유 스토리지에만 한정합니다.
Amazon S3, Gluster, NFS, PVFS를 중심으로 비교했는데,
결론 적으로 GlusterFS(NUFA Configuration)이 성능도 높은편에 속하고 Cost도 저렴합니다.
그림 1. Cost 비교
그림 2. 성능 비교
저도 Gluster를 AWS에서 사용했는데, 무엇보다 AWS에 Gluster를 Deployment하기 위한 Best Practice 문서등이 잘 되어 있습니다.
참고하세요.
안녕하세요?
조대협입니다.
요즘 그야말로 정보의 홍수입니다. 특히 신기술이나 대용량 분산 아키텍쳐에 대한 글들은 많기도 하고 찾아서 정리하기도 힘들더군요. 그래서 저 같은 경우는 페이스북이나 트위터를 자주 이용합니다. 트위터에 올려놓으면 RT 타고 경험이 있으신 분들이 답변을 해주실때도 많고, 페이스북에서는 좋은 링크 자료들이 많이 나오거든요.
참 편한데, 같이 이야기할 수 있는 장이 있으면 어떨까? 하는 생각에 가볍게 그룹을 만들어봤습니다. 시작은 제가 알고 있던 고수분들을 초빙했습니다. BEA 출신, 오라클 출신, Microsoft출신, 자바 커뮤니티 멤버분들, 출판사분들 등등. 아마 서로 도움이 많이 되리라 생각됩니다.
기술적으로 서버에 대해서 토론 하고 싶은 내용이나, 개인적으로 저장해놓으신 스크랩, 북마크 내용들 공유해주시면 많은 도움이 될 것 같습니다.
URL은 http://www.facebook.com/groups/serverside
1. 당분간은 전문가분들만 모시겠습니다. 어느정도 서버나 대용량 기술에 대해서 논의할 수 있거나 최신 서버 기술을 공유하실 수 있는 분만 부탁드립니다.
2. 향후에 어느정도 정리되면 공개 그룹으로 오픈하겠습니다.
3. 회사에서 의사 결정자나 또는 기술 리더이신분들 환영합니다.
4. 향후에 정리되면 오프 모임 한번 가지도록 하겠습니다.
감사합니다. - 조대협
Remote Fx 드디어 WAN 지원
드디어 Remote Fx가 WAN환경을 지원합니다.
강력한 기능에도 불구하고, 네트워크 사용량이 문제였는데 Windows 8에서 지원하네요.
주요 기능을 발췌합니다.
The goal of the RemoteFX for WAN feature of Windows Server "8" Beta is to deliver a great user experience beyond the corporate network, whether the user is in a branch office, on a wireless device, or working from home over a WAN connection.
RemoteFX for WAN combines the RemoteFX Adaptive Graphics feature with new intelligent WAN aware transports. Both TCP and UDP protocols can now be used and will be chosen automatically, as well as automatic detection of network conditions to tune the encoding of content to the network.
RemoteFX Adaptive Graphics
RemoteFX in Windows Server "8" Beta dynamically adapts to changing network conditions and optimizes encoding based on the content being delivered. Windows Server "8" Beta RemoteFX adaptive graphics now uses multiple codecs that are optimized for the type of content being delivered. Using a typical web page as an example, the text, images, and video content are all encoded using codecs that are optimized for each type of content.
RemoteFX Media Remoting
Media consumption is becoming an integral part of the end user experience. Ranging from consuming Corporate training media content, lightweight content creation and authoring, to creating demos, and marketing materials. Media is also a part of online collaboration (Live meeting, conference calls etc) and recreational media consumption.
In Windows 7, efficient redirection of multimedia content was introduced. When a user attempts to play multimedia content through Windows Media Player in a remote session the content to be played back is intercepted. The intercepted content is then redirected to the client. The RDP client receives the compressed content, decodes the content and plays them back locally. This gives a very near to local experience to the end-user as the content is rendered on the client using client resources.
At the core of the RemoteFX Media Remoting feature is the integration of network detect, graphics profiles, and RemoteFX scenarios to enable a great media consumption experience over RDP. From an end user perspective there is no difference in experience between local playback and media playback over a remote session.
===========
요약해보자면
TCP/UDP를 사용하여 네트워크 상황에 맞는 Codec으로 인코딩하여 화면을 전송합니다. 화면내에 이미지,텍스트등에 대해서 각각의 특성에 맞게 인코딩해서 보낸다는 이야기 입니다.
Media Remoting도 추가 되었는데, 예를 들어 가상 데스크탑에서 동영상을 play 했을때, 기존에는 가상 데스크탑 화면에서 동영상을 decoding해서 play한 후, 그 화면을 Remote Fx에 캡취해서 네트워크로 전송하는 방식이었는데, 이번 버전에서는 가상 데스크탑에서는 play하지 않고 동영상을 클라이언트로 보내서 클라이언트 CPU를 이용하여 decoding 및 play를 하기 때문에 서버 자원을 줄일 수 있습니다.
GPU 가상화가 제대로 되는 VDI 솔루션은 현재 Remote Fx가 유일한데, 한번 테스트 해보고 싶네요.
업체별 개인 클라우드 서비스 동향 (Personal Cloud Service)
작년 애플의 iCloud의 등장과 함께, 모바일 분야에서 개인 클라우드 서비스가 불이 붙었다. 애플이 서비스를 시작한 후, 근래에 들어서 각 경쟁 업체들이 준비해왔던 서비스가 오픈되가면서 다시금 주목을 받기 시작한다. 각 서비스 업계의 동향들을 간략하게 정리하였다.
애플의 iCloud
애플은 대규모 투자와 함께, iCloud를 위한 데이타 센터 건립등을 끝 맞추고 iCloud 서비스를 작년에 런칭하였다. 그런데 시장의 반응은 런칭때와는 다르게 크게 뜨겁지 않다. iCloud는 개인 정보를 클라우드에 저장하고 사용자의 애플 기기간의 동기화를 제공하는 서비스적인 특징을 가지고 있다. 그러나 iCloud의 진정한 플랫폼적인 특성은 “Document” 서비스에 있는데, 이 “Document” 서비스는 일반적인 MS-WORD와 같은 문서로 생각할 수 있지만 그 특성은 조금 다르다. 이 Document 서비스는 애플만이 아니라 앱 개발자도 문서나 데이타를 저장할 수 있는 공간이다. 예를 들어서 노트앱을 만들었을때, 이 “Document”서비스를 이용하여, 노트 데이타를 iCloud에 저장함으로써 데이타의 유실을 방지하고, 자신의 기기간에 데이타의 동기화를 통해서 언제 어디서든지 같은 앱이면 같은 데이타를 보게 해준다. 기존의 에버노트와 같은 앱과 동일한 기능인데 그렇다면 무엇이 다르냐? 기존의 앱들은 클라우드 공간을 사용하기 위해서 클라우드 사용료를 앱 개발자 개인이 부담해야 했다. 그러나 애플의 전략은 다르다. 애플은 사용자에게 5GB의 무료 공간을 제공하고, 추가 공간을 사용자가 구매하도록 하는 방식을 취하여 클라우드 공간에 대한 사용 비용을 개발자에게서 개인으로 옮기고, 클라우드 공간에 대한 소유권은 개발자에서 애플로 옮김으로써, 개발자의 비용을 줄여서 개발자를 Lock In하고, 데이타를 애플에 저장함으로써 개인 사용자를 Lock In하는 전략을 취함으로써, 향후 단말의 변경을 막고, 신규 디바이스 (패드 등)에 대해서 애플의 Lock In을 유도하는 전략을 취하고 있다.
출시 이후에 iCloud가 크게 이슈화되지 못하는 점은 iCloud는 iOS 5.0에서 부터 지원되는데, 일반 사용자들은 단말 OS 업그레이드에 부담감을 가지고 있기 때문에, 단말이 노후되어 교체되는 주기가 통상 2년으로 봤을때, 짧게는 1년에서 2년후에 iOS 5.0이 보편화 되면서 개발자들이 iCloud 지원 앱을 만들어서 배포되면서 그 효과가 극대화 되리라 예상된다.
구글의 “구글 드라이브”
구글이 4월말에 그 동안 준비해왔던 개인 클라우드 스토리지 서비스를 오픈 했다. 구글의 개인 스토리지 서비스는 이미 그 유사한 서비스가 존재해왔다. 구글 “켈린더, 이메일, 주소록”등의 서비스도 일종의 개인 클라우드 서비스로 볼 수 있고, 이 서비스는 안드로이드 단말, 웹, PC간의 동기화를 지원하고 있다. 이에 더해서 개인 파일을 저장하고 동기화 할 수 있는 공간을 제공하는데 이것이 구글 드라이브이다.
구글 드라이브에서 주목해볼만한 점은 구글 드라이브는 “크롬 마켓 플레이스 (HTML 5.0 기반의 웹 기반 애플리케이션 마켓)”을 강력하게 지원한다는 것이다. 애플이 iCloud를 통해서 iOS기반의 모바일 생태계를 구축하려고 한다고 보면, 구글은 구글 드라이브를 통해서 전체적인 생태계를 모바일이나 PC에서 HTML 5.0기반의 웹으로 옮기려는 의도를 볼 수 있다. 구글 드라이브 연동 앱은 기본적으로 구글 드라이브 웹 UI와 연동이 되어야 하며 구글 크롬 마켓 플레이스에 등록되어야 한다. 또한 흥미로운 점중의 하나가 구글 docs와의 연동인데, 기존 구글 docs의 문서를 구글 드라이브를 통해서 PC에 Sync를 할 수 있다. 테스트해본 결과, 구글 docs의 문서가 MS-OFFICE의 문서 형태로 export될 것을 기대했으나, URL 형식으로 저장되어 구글 docs문서를 PC에서 클릭하면 웹 브라우져가 열려서 구글 docs 웹 애플리케이션에서 문서를 편집하도록 강제하고 있다. (즉 MS OFFICE 같은 거 쓰지 말고, 구글 docs를 웹에서 써라.)
전체적으로 구글 docs, 구글 드라이브는 “이제 PC 앱 쓰지 말고, 웹에서 모든 것을 해결해라..” 라는 메세지가 느껴진다.
또 하나 특이한 점은 구글 드라이브 역시 일반적인 개인 클라우드 스토리지 서비스 성격 뿐만 아니라 애플과 마찬가지로 플랫폼적인 특성을 강하게 가지고 있다. 이 스토리지를 이용해서 Third Party Application을 개발할 수 있다. 다른 점은 애플의 경우에는 iCloud 자체가 전면으로 나서지 않고 스토리지 플랫폼 형태로만 존재하는데, 구글의 경우 Third Party Application을 가급적이면 구글 드라이브의 웹 UI에 통합하도록 하여 구글 드라이브 자체의 노출을 늘리는 형태를 취한다.
법적인 부분에서도 흥미로운 점이 있는데, 구글의 “Terms of Service”를 보면, 구글 드라이브에 저장되는 컨텐츠에 대한 소유와 저작권은 사용자에게 있지만, 구글이 서비스 개선등을 목적으로 사용자 컨텐츠를 수정이나 복제 또는 재 배포를 허용하도록 하는 규정을 가지고 있다. 사용자 컨텐츠 자체를 판매하거나 가공해서 돈을 벌겠다는 것 보다는 사용자의 패턴과 컨텐츠 패턴을 분석하겠다는 의도로 해석되며, 이는 향후 서비스 개선에도 사용되겠지만 구글의 주요 사업 모델은 광고의 기본 데이타와 사용자 패턴 분석 데이타로 활용될 가능성이 높다.
HTC와 RIM
많이 약화되기는 했지만 그래도 아직 까지는 모바일에서 어느정도 마켓을 가지고는 있고, 제법 개인 클라우드 시장에서는 빠른 전환을 생각 까지는 했다. HTC의 경우 개인 클라우드 솔루션 회사인 Dashwire를 인수하였고, RIM 역시 NewBay라는 영국 회사를 인수했다. 두 회사 모두 통신회사를 대상으로 개인 클라우드 솔루션을 제공해왔고, 단순히 파일 스토리지 뿐만 아니라, SNS연동, 이메일 연동, PIMS와 같은 서비스를 보유하고 있기 때문에 포트폴리오로써는 상당히 높은 점수를 주고 싶다. 또한 파일 스토리지 솔루션을 보강하기 위해서 HTC의 경우에는 DropBox와의 연계를 통해서 무료 스토리지 공간을 제공하는 Co-branding 전략을 선택하였다.
적극적인 M&A에도 불구하고 개인 클라우드 시장에서는 큰 두각을 못 나타내고 있다. RIM의 경우 블랙베리 플랫폼 자체가 하향세이고, HTC의 경우에는 제품이 다각화가 못되고 삼성의 단말 제조 품질을 따라오지 못하는데 그 이유가 있지 않는가 한다.
LG 전자
5월1일 LG 전자가 개인 스토리지 서비스를 국내에 전격적으로 시범 오픈하였다. 소개자료도 읽어보고 인스톨해서 사용도 해봤으나, 급조한 티가 팍팍난다. 먼저 기능은 파일 업로드,다운로드, 폴더 구조 지원 정도의 기능에 파일 동기화 정도가 모두이다. Versioning이나 썸네일 생성, 휴지통,공유등의 확장 기능 제공은 전혀 없다. 다운 로드 URL을 보니 일본의 Amazon S3를 사용한다. 그냥 Amazon S3에 앞단에 UI하나 붙여놓고, 파일 싱크 기능을 덧 붙여놓은 수준이다.
서비스 소개에서는 RTC (Real Time enCoding - 실시간으로 단말의 인코더 타입과 화면 사이즈에 맞춰서 멀티 미디어 컨텐츠를 변환 및 스트리밍 해주는 기술)를 제공한다고 되어 있지만, 실제 서비스에서는 제공되지 않는다. 단순히 HTTP 다운로드를 이용하는 Progressive Download 만 지원된다.
빠른 시간내에 배포한것은 칭찬할만 하지만, 서비스적인 차별화가 전혀 없고, 아마존에만 의존하는 형태인데, 어떻게 ROI를 낼 수 있을지 심히 우려된다. 사용자 인터페이스의 완성도도 매우 낮다.
삼성전자
삼성은 개인 클라우드 서비스에 대해서 무수한 루머가 많다. 이 서비스는 갤럭시 S3가 나오면 어느정도 구체화가 되거나 아니면 다음 서비스 로드맵에 추가가 되겠지만, 일단 하나 확실한 것은 “서비스 포트폴리오”가 없다. 삼성은 아직도 핸드폰을 만드는 제조 회사이다. 구글이나 애플처럼 서비스 기업으로써의 혁신은 기대하기 어렵다.
TV, 핸드폰 등에 여러 서비스들이 이미 존재하고 있고, 앞으로 런칭 계획도 있지만, 애플처럼 하나의 서비스 플랫폼이라는 생각이 들지 않는 우후 죽순이다. Microsoft의 SkyDrive로 연동되는 서비스도 있고, CES에서는 All Share Play라는 컨텐츠 동기화 및 스트리밍 서비스를 들고 나왔다. 사업부마다 디바이스 마다 서비스 형태나 사용자 경험이 일관화 되어 보이지 않는다. “서비스 포트폴리오 메니져”가 있었다면 이러한 서비스에 대해서 로드맵등이 나올 수 있겠지만, 전형적인 Fast Follower 전략이다. 제조에 있어서는 최강자급이지만, 서비스에 있어서는 강하게 “?” 의문이 든다. 일단 5/3일 영국에서 갤럭시 S3가 발표된다니 기다려야 봐야 겠지만, 이제는 굴뚝 회사에서 반짝반짝한 아이디어가 가득한 서비스 회사로 변신할때가 되지 않았을까?
맺음말
개인 클라우드 스토리지 서비스는 사용자 입장에서는 상당히 메리트가 있는 서비스임에는 확실하다. 내 모든 디바이스 (PC를 포함)에서 파일이나 개인 자료들을 동기화 시킬 수 있으니까는, 그러나 반대로 이런 서비스를 제공하는 입장에서는 난감하다. 수익을 만들어내기가 어렵기 때문이다.
비지니스 모델에서 DropBox와 Box.NET의 경우 개인 파일 스토리지 서비스를 제공하고, 유료화 모델을 위해서 자체 수익을 창출하고 있다. 애플의 경우에는 iCloud를 통해서 개발자 생태계를 윤택하해서 앱 비지니스를 통한 수익 창출 및 개발자와 사용자를 iOS에 묶어 두는 효과를 톡톡하게 볼 수 있고, 구글은 광고 수익의 증대 효과를 이끌어 올 수 있다. 국내의 포탈 업계 역시 구글과 마찬가지로 광고 효과를 기대할 수 있고, 통신사들이 제공하는 서비스는 타 상품과 연계하여 복합 상품을 제공함으로써, 서비스 자체로써 수익을 창출할 수 있다.
문제는 단말 제조사들이다. 이러한 개인 클라우드 서비스는 워낙 대규모의 사용자에 대한 서비스를 제공해야 하며, 스토리지 공간을 어느정도는 무료로 제공해야 하기 때문에, 초기 투자 비용이 매우 높다. 또한 이러한 투자를 한다고 하더라도, 단말 판매량이 단기적으로 급격하게 올라갈 것이라는 보장이 없다. 더 이쁘고 싸게 만드는게 단기적인 단말 판매량에는 더 큰 영향을 줄 수 있을 것이다. 그러나 장기적인 관점에서 클라우드에 개인 컨텐츠가 저장이 되어 있다면, TV,PC,타블렛,모바일 등의 다른 디바이스에 대한 연계 구매 효과가 일어날 것이고, 디바이스의 교체 주기가 왔을때, 다른 브랜드로 옮겨 가는 것을 막는 효과가 있을 것이다. 애플이 바보가 아닌 이상 사용자에게 클라우드 용량을 그냥 줄 이유가 없지 않은가? 이 효과는 장기적으로 일어날 것이고, 1~2년 후에 후회하게 되는 사업자들이 생겨나지 않을까?
예전에 정리해놨던, IaaS 클라우드 (아마존 EC2와 유사한)에 대한 디자인
기본 아키텍쳐 Principal에서 부터, 데이타 센터 디자인, 하드웨어 및 네트워크 디자인
그리소 소프트웨어 디자인까지 커버합니다.
디자인에는 저작권이 있으며 상용 사용과 재사용에 대해서는 문의 바랍니다.
좋은 스위치는 iSCSI SAN의 핵심 부분이다. 그렇다, 어떤 기가비트 스위치도 iSCSI와 잘 어울리지만, 값싼 비관리형 제품에는
몇 가지 아주 중요한 기능들이 없다.
우선, 스위치는 넌블로킹(Non-blocking)이어야만 한다. 즉, 모든 포트에서 회선 속도의 입출력을 동시에 처리할 수 있어야 한다. 모든 스위치가 이렇게 할 수 있는 것이 아니며, 심지어 일부 엔터프라이즈급 스위치도 인접 포트(Adjacent Port) 그룹끼
리는 대역폭을 공유한다 (특히, 시스코 카탈리스트4500 시리즈의 구형 모델처럼 섀시 기반의 스위치,물론 그렇지 않은 모델도 많다).
둘째, 흐름 제어를 지원할 수 있어야 한다. 흐름제어란 수신 호스트가 송신 호스트에게 송신하는 데이터 양을 줄이라고 요청할 수 있게 해주는 2계층 이더넷 프로토콜이다. 이는 서버 혹은 SAN이 상대방이 수신할 수 있는 것보다 더 많은 데이터를
보내는 상황을 방지해준다. 이 기능이 없으면 엄청난 양의 비효율적인 TCP 재전송을 초래해서 전반적으로 열악한 성능을 야기한다.
셋째, 점보 프레이밍(Jumbo Framing)을 지원해야 한다. 보통 이더넷 프레임은 1,500바이트로 제한된다. 점보 프레이밍은 이 제한을 9,000바이트 로 확장시킨다. 회선을 통과해야 하는 프레임 개수 를 줄여줘서 약간 더 높은 회선 효율성과 더 적은
지연편차를 야기한다. 대부분의 최신 스위치는 이 기능을 지원하지만, 모두 그럴 수 있는 건 아니다.끝으로, VLAN을 지원하는 스위치를 확보하라.iSCSI 트래픽이 자체 VLAN에서만 흐르도록 분리하는 것이 좋다. 성능 상의 이유도 있지만, 가장 큰 이유는 승인 받지 않은 호스트가 SAN에 접속하지 못하게 하는 빠르고 쉬운 방법이기 때문이다.
=====
국내만 아니라, 해외에도 서비스 하는 플랫폼을 설계할때 고려해야 할 기술적인 사항을
인프라(하드웨어+데이타 센터) 관점과 소프트웨어 관점에서 간략하게 정리하였습니다
훝어 보기
- 인터페이스
기존의 Gmail이나, Google Docs와 상당히 유사하다. 일관된 인터페이스를 제공하는 것은 사용자 경험 관점에서 제대로 된 선택인듯
- 기능
기능적인 차이는 크게 없다. 검색이 강화된 것과 GDocs 연동 기능이 있는 것 정도
기본적으로 저장과 Sync 기능을 제공하고, GDocs와 연동하여 문서를 협업으로 작성할 수 있는 기능을 제공한다.
개인 클라우드 스토리지는 이미 Box나 DropBox같이 여러 서비스들이 강력한 기능을 제공하는 레드 오션이기 때문에 기능적으로 혁신적인 차별화는 어렵고, 기존 서비스와 연동 정도 및 사용자 경험이 관건인데,
G Drive는 아무래도 기존 서비스 연동과 함께, Android 플랫폼에 PreLoad되고, 기존 Gmail등 기존 서비스 사용자들을 Transition하면서 사용층을 급격하게 늘려 나갈 것 같다. (기능적인 차이가 아니라)
- 플랫폼 지원
PC와 안드로이드만 지원한다. 아직은... 향후 iPhone도 지원 예정이란다. WP7이나 WP8 지원 계획은 없는듯
타서비스와 비교 특징
-강화된 검색 기능
문서 파일 뿐만 아니라 스캔된 문서 파일까지 OCR 기술을 이용하여 내용을 인지할 수 있고, 이를 기반으로 검색을 지원한다.
타 서비스에 비해서 문서의 내용 기반으로 검색이 가능하며, 비 정형화된 스캔된 이미지까지 문서로 검색 가능하다.
-기존 서비스와 연동
기존의 Docs와 Gmail등과 타이트하게 연동이 되어 있다. Gmail에 GDrive 저장된 파일을 Attach하거나, G-Docs를 이용하여 GDrive에 저장된 문서를 편집할 수 있으며, 이 문서가 실시간으로 공유된 사용자들에게 업데이트 된다.
-3'rd Party 연동 기능 제공
OPEN API를 제공함으로써, 파트너나 일반 개발자들이 Google Drive를 개인 저장공간으로 사용할 수 있다.
단점
-단점으로 지적할 수 있는 부분은, 파일 업로드 크기 제한이 있다. 한 파일의 최대 크기를 10GB로 제한하고 있다. (Sugarsync는 무제한, 다른 클라우드 스토리지 서비스는 일반적으로 2G)
-멀티미디어 스트리밍이나 변환 기능이 없는 것은 아쉬움으로 남지만, 아마 3'rd Party 지원 기능을 통해서 다른 파트너가 만들지 않을까 싶다.
레퍼런스
구글 드라이브 소개 자료
http://googleblog.blogspot.com/2012/04/introducing-google-drive-yes-really.html
Google drive vs Sky Drive vs DropBox
http://www.geek.com/articles/geek-pick/google-drive-vs-skydrive-vs-dropbox-20120424/
Mashable Google Drive 분석
http://mashable.com/2012/04/24/google-drive-compared/
CNet Google Drive 분석
Google Drive Term of Service 분석
중국은 Great Firewall로 G drive 막아주시고
구글 드라이브에 올리면 "내 파일이 내게 아냐~~"
G Drive "Term of Services"를 분석한 글. http://www.techdirt.com/articles/20120424/17562518637/calm-down-internet-google-drives-terms-are-standard-countless-websites-including-gmail.shtml
Google Terms of License 전문 http://www.google.com/intl/en/policies/terms/
"컨텐츠 올리면 저작권들은 니꺼 맞는데... 구글에서 내부적으로 당신 컨텐츠 가지고 몰 하던지 상관하지 마시고, 다 좋은 서비스 만들기 위한거니까는 이해해라.." 이 정도 인데. republish나 public display를 허용한다. IP는 개인것이 맞는데, 재 퍼블리슁은 가능하다... 약간 애매한 조항
일단 내가 어떤 컨텐츠를 가지고 있는지, 무엇을 언제 어디서 올리고 사용하는지에 대해서는 수집이 가능하다는 말이기 때문에 구글에게 내 개인정보가 합법적으로 노출된다. 광고등에 이용하겠지만, 위치기반 서비스나 패턴 분석에 내 개인 정보가 사용될 수 있다.
이 구성은 Cassandra나 Riak과 같은 Dynamo 계열에 공통 적용 가능하다. 다른 것들도 마찬 가지일테지만.
1. RAID 5 사용 : NoSQL 클러스터는 Quorum 사용을 통해서 노드에 (서버) 대한 FAIL을 방지 하지만 디스크 장애 자체에 대해서는 보장이 불가능하다. 고로 비용 대비 적정한 RAID 5 사용이 권장
2. IO Scheduler : NOOP 사용. NOOP은 IO Scheduling을 다른 계층이 한다는 것을 전제 한다. 즉 중간에 RAID 구성이나 iSCSI 를 사용하는 경우를 전제한다. 테스트용이나 개발용으로 사용하면서 RAID 구성등을 하지 않는다면, NOOP을 사용할 필요가 없다.
3. ext4 또는 XFS 파일 시스템 사용 : ext3는 1 volume의 max 사이즈가 2 TB를 넘지 못한다. ext4의 경우 16TB, XFS는 무제한(64bit 경우)
4. Log File과 Data File 디렉토리 분리 : Cassandra는 Transaction Log와 Data Log 파일이 분리되어 있다.물리디스크도 분리해서 Disk IO를 최적화 해야 한다.
=== 2012.04.12 첨언 ===
RAID 구성은 많은 수의 노드를 가지는 경우, 디스크 FAIL을 노드 FAIL로 간주하고, 전체 클러스터의 성능을 높이기 위해서 RAID5를 사용하지 않고 Stripping으로 구성하는 것이 경제성이나 (RAID 5 parity 디스크 사용 안함), 성능 (Stripping이기 때문에, 전체 IO 성능 향상) 관점에서 유리하다.
|
