amazon cloud 12

배포 자동화 솔루션 Spinnaker - #1 소개

Spinnaker #1 - 소개 SpinnakerSpinnaker 는 넷플릭스에서 개발하여 오픈 소스화한 멀티 클라우드를 지원하는 Continuous Delivery Platform 이다. 구글 클라우드, 아마존, 마이크로소프트등 대부분의 메이져 클라우드를 지원하며, Kubernetes 나, OpenStack 과 같은 오픈소스 기반의 클라우드 또는 컨테이너 플랫폼을 동시에 지원한다.시나리오Spinnaker 의 특징은 멀티 클라우드 지원성뿐만 아니라, 오케스트레이션 파이프라인 구조를 지원한다 특징인데, 배포 단계는 여러개의 스텝이 복합적으로 수행되는 단계이기 때문에, 복잡한 워크 플로우에 대한 관리가 필요하다.하나의 배포 시나리오를 통해서 오케스트레이션 파이프라인에 대해서 이해해보도록 하자코드를 받아서 빌..

Amazon Elastic Load Balancer

Elastic Load Balancer 조대협ELB는 아마존에서 제공하는 일종의 L4와 같은 로드 밸런서이다. 내부적으로 VM위에서 동작하는 소프트웨어 로드밸런서이고, 아마존 환경에 맞춰서 최적화 되어 있다. Multiple zone supportELB는 기본적으로 multiple zone을 지원한다. ELB 생성시, ELB를 배포할 Amazon Availability Zone을 지정할 수 있다. 여러 개의 zone에 multiple ELB instance가 배포 되기 때문에 ELB 인스턴스는 기본적으로 ip 주소를 가지지 않는다. 대신 DNS 주소를 가지는데, 테스트를 해보면 알겠지만, ELB의 DNS 주소는 경우에 따라서 1개 이상의 주소를 리턴하게 된다.이는 multiple zone을 지원하기 위해..

Amazon Direct connect

AWS Direct Connect Memo 1G,10G 지원. 802.1Q를 이용하여 AWS 주요 거점과 VLAN으로 전용망으로 연결. VPC 간의 연결에도 유용하게 사용할 수 있음.주요 거점과 VLAN 연결이 어려운 경우 APN 사업자망을 통해서 VLAN 연결이 가능함 Direct Connect가 VPN보다 빠르다탄력성 – AWS Direct Connect를 사용하면 요구 사항에 맞게 연결 용량을 쉽게 확장할 수 있습니다. AWS Direct Connect는 1Gbps, 10Gbps로 연결하므로, 용량이 더 필요한 경우 쉽게 여러 개의 연결을 프로비저닝할 수 있습니다. 또한 인터넷을 통해 Amazon VPC에 대한 VPN 연결을 설정하는 대신 AWS Direct Connect를 사용하면 4Gbps 이상..

Amazon VPC (Virtual Private Cloud) 소개

Amazon VPC (Virtual Private Cloud)조대협 (http://bcho.tistory.com) VPC는 Virtual Private Cloud의 약자로 아마존 클라우드 내에서 private ip를 사용하는 일종의 가상 private network 망을 만들어줄 수 있게 해주는 서비스이다.이 서비스 전에는 EIP 이외에는 정적 서비스를 사용할 수 없었으며, 또한 10.0.x.x와 같은 private ip를 사용할 수 없었다. VPC 서비스와 함께, 내부 ip 대역을 사용할 수 있게 되었으며 조금 더 유연한 네트워크 관리가 가능하게 되었다. VPCVPC는 Amazon 콘솔에서 생성하면 되는데, VPC의 범위는 , 하나의 VPC는 하나의 Region내에서만 생성이 가능하다. 즉 VPC를 두..

Amazon의 설치 배포 자동화 솔루션 Opsworks

Amazon Opsworks 소개 시스템에 설치와, 애플리케이션을 자동화 배경 얼마전에, Amazon에서 새로운 클라우드 서비스인 Opsworks를 발표하였다. [출처:Amazon Opsworks 소개 페이지] 비단 클라우드 뿐만 아니라, 서버 시스템을 개발하다보면, 당면 하는 과제중의 하나가, 소프트웨어 설치와, 애플리케이션의 배포이다. 예전에야 큰 서버 한대에, WAS 하나 설치하고, DB를 다른 서버에 설치해서 사용했지만, 요즘 같은 시대에는 x86 서버 여러대에 WAS를 분산 배치하고, 여러 솔루션들 설치해서 사용하고, 시스템의 구조 역시 훨씬 더 복잡해 졌다. 그래서, 이러한 제품 설치를 자동화 하는 영역이 생겼는데, 이를 Configuration Management(이하 CM)이라고 한다. 이..

간단한 S3 Performance Test

스크립트 from boto.s3.connection import S3Connectionfrom boto.s3.key import Keyimport time startime=time.time() conn = S3Connection(XXX','XXX') bucket = conn.create_bucket('terry-s3-performance-test')for i in range(1,100):k = Key(bucket)k.key = "logfile%s" % ik.set_contents_from_filename('logfile origin')conn.close()endtime = time.time() print 'Elaped time %s'% (endtime-startime) 위의 스크립트를 멀티프로세스로 돌려..

아마존의 SSD의 NoSQL 서비스 Dynamo

Dynamo는 새롭게 소개된 AWS의 NoSQL서비스이다. Key-Value 형태로 대용량의 데이타를 저장할 수 있으며, 고속의 데이타 access를 제공한다. 데이타 모델 먼저 데이타 모델을 살펴보자, RDBMS의 일반적인 테이블 구조와 유사하지만, 조금 더 유연성을 가지고 있다. RDBMS와 똑같이 테이블이라는 개념을 가지고 있으며, 테이블은 테이블명과 각각의 ROW로 구성된다. 테이블은 Unique한 Primary Key를 가지고 있다. 이를 Key라고 정의한다. 테이블의 ROW에 해당하는 내용은 item이라고 부르는데, 각 item은 key에 의해서 구분된다. RDBMS와는 다르게, 각 ROW는 똑같은 Column을 갖는 것이 아니라, 각 row 마다 다른 column을 가질 수 있다 그래서, 각..

빅데이타 분석을 위한 Amazon의 새 서비스 - redshift와 data pipe line

몇일전 AWS에서 redshift 라는 이름의 새로운 서비스가 발표되었다.redshift는 aws 상에서 제공되는 dataware house 서비스이다.data warehour란, 데이타 분석 및 리포팅의 목적으로, 기업의 모든 데이타를 한곳에 모아서 쿼리에 최적화된 데이타 베이스 서비스를 제공한다.특징은, 많은 양의 데이타를 보관해야 하며, CUD (Create/Update/Delete)보다는 Select나 Join등에 최적화되어 있다. AWS의 redshift의 주요 특징을 보면내부 DB는 postgres로 구현되어 있으며 (실제 구현 제품은 http://www.paraccel.com/ 을 사용하였다.) , IO 성능 최적화에 많은 신경을 썼다.스토리지는 EBS를 사용하지 않고, 다수의 Local S..

Amazon EC2 소개 (개정)

아마존의 EC2 서비스는 VM 기반의 컴퓨팅 자원을 제공하는 서비스이다.클릭 몇 번으로 저기 바다 넘어있는 나라에 내 서버를 만들 수 있으며, 내가 사용한 만큼만 비용을 지불하면 된다.아마존 EC2에서 제공하는 VM은 성능과 특성에 따라 여러가지 타입을 가지고 있다. 일반적인 인스턴스 1세대 인스턴스(m1) : m1.* 이름으로 시작하며 아마존에서 일반적으로 제공하는 가상화된 VM 인스턴스 이다.2세대 인스턴스(m3) : 2012년에 발표한 인스턴스로 m3.* 로 시작하며, 기존에 비해서 50% 이상의 높은 CPU 성능을 가지고 있다.특수목적 인스턴스 고용량 메모리 인스턴스(m2) : m2.* 이름으로 시작하며 17,34,68 GB등 많은 용량의 메모리를 가지고 있는 인스턴스이다. (가상코어 역시 그만큼..

AWS SQS(Simple Queue Service) 소개

AWS SQS(Simple Queue Service) AWS SQS(Simple Queue Service)는 말 그대로, Simple 한 message queue 서비스 이다.전반적인 기능을 보면 message에 대한 send, receive 기능만 가능하다.대신 AWS 클라우드 환경에서 메세지의 복제를 통해서 장애 대비 능력에 촛점이 맞춰져 있다. JMS 처럼 XA 기반 트렌젝션 관리 능력이나, Error Queue에 대한 처리, auto retry와 같은 고급 기능도 없고RabbitMQ 처럼, routing,pub/sub 등의 다양한 message exchange pattern도 지원하지 않는다. 단순한 enqueue/dequeue 기능의 큐이다. 몇 가지 특성을 살펴보면 1. message 크기는 ..