조대협의 블로그

  • HOME
  • TAGS
  • MEDIA
  • GUESTBOOK
  • ADMIN
  • WRITE

파티셔닝 1

Amazon 클라우드에서 S3 Read/Write 성능 높이는 방법-Partitioning

원본 : http://aws.typepad.com/aws/2012/03/amazon-s3-performance-tips-tricks-seattle-hiring-event.html 아마존 S3를 이용하는 시스템에 대한 성능 테스트를 할때, 성능이 Leanear 하게 증가하지 않는데, 그 원인을 보면 다음과 같은 원리가 작용한다. 원인 분석S3는 내부적으로 여러개의 파일을 저정하기 위해서 물리적으로 파일을 여러개의 디스크에 분할 저장하는데, 이 분할 하는 로직을 파일명을 가지고 해쉬를 사용한다. 그래서 파일명이 유사하게 되면, 같은 파티션(디스크)에 파일이 써지기 때문에, 하나의 파티션에 많은 물리적인 IO를 유발하고 결과적으로 성능이 떨어지게 되는 것이다. 원리S3는 파일명을 가지고 hashing을 하여 ..

클라우드 컴퓨팅 & NoSQL/Amazon Web Service 2013.03.20
이전
1
다음
더보기
프로필사진

실리콘밸리에서 살고 있는 평범한 엔지니어 입니다 이메일-bwcho75골뱅이지메일 닷컴. 아키텍처 디자인, 머신러닝 시스템, 빅데이터 설계, DEVOPS/SRE, 애자일 방법론,쿠버네티스,마이크로서비스, ChatGPT 생성형 AI , CTO 등에 대한 기술 멘토링과 강의 진행합니다. Linkedin : https://www.linkedin.com/in/terrycho75/

  • 분류 전체보기
    • 조대협의 소프트웨어 개발
    • IT 이야기
      • 트렌드
      • IT와 사람
    • 사는 이야기
      • 골프
      • 책
      • 일정 자료 관리 방법
      • 육아
    • 빅데이타 & 머신러닝
      • 통계학 이론
      • 스트리밍 데이타 처리
      • 머신러닝
      • R
      • Zepplin
      • Google BigQuery
      • 생성형 AI (ChatGPT etc)
      • Pytorch
      • Agentic coding
    • 비지니스
      • 비지니스와 세일즈
      • 스타트업
    • 클라우드 컴퓨팅 & NoSQL
      • Data Grid (IMDG)
      • Identity Management
      • Apache Httpd
      • IIS
      • NginX
      • NoSQL 일반
      • RabbitMq
      • Redis
      • MongoDB
      • Hadoop
      • HBase
      • Cassandra
      • CouchBase
      • Riak
      • IaaS 클라우드
      • PaaS 클라우드
      • SaaS
      • 개인 클라우드
      • google cloud
      • Azure
      • Amazon Web Service
      • 분산컴퓨팅&클라우드
      • VDI
      • 운영 & Devops
      • Vert.x & Node.js
      • M2M & IOT
      • 도커 & 쿠버네티스
    • 아키텍쳐
      • 머신러닝
      • BI
      • WEB 2.0
      • SCA
      • SOA
      • Enterprise 2.0
      • Domain Driven Design
      • EAI
      • 대용량 아키텍쳐
      • Security & IDM
      • 모바일
    • 성능과 튜닝
      • JVM
      • APM (AP 성능 측정)
      • 자바 성능팁
      • WAS 튜닝
    • ALM
      • 애자일
      • 배포(Deployment)
      • JIRA
      • 에세이
      • SCM/VCS
      • Build Automation (빌드..
      • Test Automation
      • Build Automation(이클립..
      • Task Management
    • 프로그래밍
      • 알고리즘
      • 안드로이드
      • Ruby
      • JavaScript
      • Python
      • Spring & Maven
      • LIBS
      • Hibernate(하이버네이트)
      • 프로그래밍팁
      • MVC
      • XML 관련
      • J2EE
      • Groovy
      • JSF & Oracle ADF Fac..
      • Visual Studio
      • C# & .NET
      • ASP.NET
      • Windows Phone7
      • 아두이노
      • Nest.js
    • 엔터프라이즈 솔루션
      • Wiki
      • 우분투
      • 포탈
      • Oracle BPEL
      • Oracle Service Bus (..
      • BEA Tuxedo
      • MS-SQL
      • SharePoint
      • BEA WebLogic
      • 빅데이타

Tag

Kubernetes, Tutorial, google, tensorflow, 딥러닝, node.js, 구글, 초보, 조대협, 쿠버네티스, 튜토리얼, 클라우드, Machine Learning, 텐서플로우, 머신러닝, 소개, 빅데이타, 클라우드 컴퓨팅, 강좌, cloud,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/10   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

  • 서버사이드 아키텍트 그룹
  • Dzone
  • InfoQ
  • 마틴파울러 옹
  • Craig Larman 홈페이지
  • 강대명님(Redis) 블로그
  • 수학공부닷컴(중학교수준)
  • Udacity
  • 커니의 안드로이드
  • 코드 스쿨
  • 랭귀지 튜토리얼
  • Code Academy
  • Coursera
  • 온라인강좌-Udemy
  • 데이타 과학 놀이터
  • 데이타 관련 튜토리얼

티스토리툴바