조대협의 블로그

매우 기본적인 부분인데, 함정(?)이 있어서 메모해놓습니다. aws에서는 S3 버킷을 만들때 위와 같이 Region을 정할 수 있습니다.그런데 US Standard라는 Region이 있는데, 이는 실제 존재하는 region이 아닙니다. Oregon이나 Ireland와 같이 실제 S3가 배포될 region을 명시적으로 정하는 것이 좋습니다. (특히 미국의 경우..)EC2를 US West Oregon에서 사용하실거면, 반드시 S3도 같은 Region에 생성을 해야 속도가 빠릅니다. http://blog.takipi.com/2013/03/20/aws-olypmics-speed-testing-amazon-ec2-s3-across-regions/ 문서를 보면 region가 S3 속도가 나옵니다.

원본 : http://aws.typepad.com/aws/2012/03/amazon-s3-performance-tips-tricks-seattle-hiring-event.html 아마존 S3를 이용하는 시스템에 대한 성능 테스트를 할때, 성능이 Leanear 하게 증가하지 않는데, 그 원인을 보면 다음과 같은 원리가 작용한다. 원인 분석S3는 내부적으로 여러개의 파일을 저정하기 위해서 물리적으로 파일을 여러개의 디스크에 분할 저장하는데, 이 분할 하는 로직을 파일명을 가지고 해쉬를 사용한다. 그래서 파일명이 유사하게 되면, 같은 파티션(디스크)에 파일이 써지기 때문에, 하나의 파티션에 많은 물리적인 IO를 유발하고 결과적으로 성능이 떨어지게 되는 것이다. 원리S3는 파일명을 가지고 hashing을 하여 ..

Spring Maven 개발 환경 설정 ※주 : Maven과 Eclipse Juno 버전 이상이 설치된 것을 가정으로 함 Pre-quest이클립스 설치 : Juno 버전 이상 사용Maven 플러그인 설치 : Help > Eclipse Market Place에서 Maven Integration for Eclipse 설치 1. 이클립스 설정 일반 기업의 경우 방화벽이 있는 경우가 많기 때문에 반드시 Proxy 설정 확인하고 시작할것 ① eclipse에 proxy 설정 : Juno 버전 이상 Windows > Preference > Network 메뉴에서 Active Provider를 Mannual로 변경 한후, HTTP와 HTPS proxy entriy에 서버를 등록 ② Maven에서도 해줘야 함 : Jun..

빈 프로젝트 생성mvn archetype:generate -DarchetpeArtifacId=maven-archetype-quickstart -DarchetypeVersion=1.1 -DinteractiveMode=false -DgroupId=spring-tutorial -DartifactId=ch1_simple -Dversion=1.0-SNAPSHOT -Dpackage=bcho.spring.tutorial.ch1 groupId는 패키지명artifactId는 디렉토리명 참고 자료 : http://www.mkyong.com/spring3/spring-3-hello-world-example/http://androi.tistory.com/37

Spring forApache Hadoop Project #2(Hive Integration)Hive는 Apache 오픈 소스 프로젝트의 하나로, Hadoop 관련 프로젝트이다.HDFS에 저장된 데이타를 마치 RDMS의 SQL처럼 쿼리하기 위한 솔루션으로, 복잡한 데이타 쿼리 연산에 있어서, Hadoop과 함께 사용하면 매우 유용하게 이용할 수 있다.SHDP에서도 이 Hive를 지원한다. 크게 Hive의 기동과, HiveScript의 실행 그리고, Hive에서 제공하는 API를수행할 수 있도록 지원하며, Hadoop 지원과 마찬가지로, Tasklet을제공하여 Spring Batch와의 통합을 지원한다.Hive Server의 기동hive-server엘리먼트로 정의하며,con..

Spring for Apache Hadoop Project 얼마전에, Spring에서 Hadoop과 통합을 지원하는 프로젝트를 발표하였습니다. Hadoop 자체뿐만 아니라, Hadoop의 echo system인 Hive, Pig, Cascade등을 함께 지원하며, 기존 Spring의 Spring Batch(배치 작업 수행 및 워크 플로우 관리)와의 통합을 지원합니다. 이번 글에서는 Spring Data Apache Hadoop (이하 SHDP-Spring for Apache Hadoop Project)에 대해 설명한다 ( ※ Spring과 Hadoop에 대한 기본적인 이해가 선행되어야 한다. ) 전체적으로의 느낌은 Spring을 컨테이너의 개념으로 보고, Hadoop을 그 컨테이너 안에서 실행 시키는 것..

HMAC 개념 잡기 - http://nts_story.blog.me/50109958210HMAC 을 이용한 REST 보안 - http://www.thebuzzmedia.com/designing-a-secure-rest-api-without-oauth-authentication/HMAC 프로그래밍 언어별 구현 방법External linksOnline HMAC Calculator for dozens of underlying hashing algorithmsFIPS PUB 198, The Keyed-Hash Message Authentication CodePHP HMAC implementationPython HMAC implementationPerl HMAC implementationRuby HMAC impl..

http://www.bouncycastle.org/java.html Java 기반의 암호화 라이브러리

오늘은 개발자의 잉여력에 대한 이야기를 해보려고 합니다.잉여력이란... 남는 시간입니다. 근무시간도 좋고 집에서 쉬는 시간도 좋습니다.개발자라는 특성상, 모두는 아니지만 대부분은 적어도 기술에 대한 흥미를 가지고 새로운 것을 접하는 것을 좋아 하는 특성상, 남는 시간에는 새로운 기술을 접하고 공부하고, 때로는 새로운 것을 만들어내기도 합니다. 이런 잉여력의 산실이 오픈소스와 블로그등입니다.오픈소스는 누가 시켜서 하는 것도 아니고, 돈을 벌기 위해서도 아니고, 그냥 남는 시간에 재미있으니까는 하는일입니다.개발자는 꼭 몬가를 시키지 않아도 스스로 공부를 합니다. 왜 갑자기 이런 이야기를 하는가 하면, 국내 기업의 경우, 개발자의 잉여력을 발휘할 시간이 없습니다. 항상 바쁘기 때문이지요. 사실 문화적인 차이도..

블로그가 2012년 8월 기준으로 40만을 돌파했었습니다. 약 5년만이었던것 같은데.만 1년이 안된 2013년 3월에 벌써 50만을 넘었네요. 오늘 기준 51.2만명입니다. 오랜만에 포스팅 올리다가 카운터를 보니 깜짝 놀래서 자축겸 글 남겨 놉니다.