조대협의 블로그

  • HOME
  • TAGS
  • MEDIA
  • GUESTBOOK
  • ADMIN
  • WRITE
평범하게 살고 싶은 월급쟁이 기술적인 토론 환영합니다.같이 이야기 하고 싶으시면 부담 말고 연락주세요:이메일-bwcho75골뱅이지메일 닷컴.

2021/10 1

Apache Spark #1 - 아키텍쳐 및 기본 개념

Apache Spark의 개념 이해 #1 기본 동작 원리 및 아키텍처 조대협 (http://bcho.tistory.com) 아파치 스파크는 빅데이터 분석 프레임웍으로, 하둡의 단점을 보완하기 위해서 탄생하였다. 하둡을 대체하기 보다는 하둡 생태계를 보완하는 기술로 보면 되는데 실제로 기동할때 하둡의 기능들을 사용하게 된다. 하둡이 맵리듀스 방식으로 디스크(HDFS)에 저장된 파일 데이터를 기반으로 배치 분석을 진행한다면, 스파크는 디스크나 기타 다른 저장소(데이터 베이스등)에 저장된 데이터를 메모리로 올려서 분석하는 방식으로 배치 분석 뿐만 아니라, 스트리밍 데이터 양쪽 분석을 모두 지원한다. 기본 동작 원리 및 아키텍쳐 기본적인 동작 원리를 살펴 보면 다음과 같다. 스파크 클러스터의 구조는 크게 Mas..

클라우드 컴퓨팅 & NoSQL/Hadoop 2021.10.30
1
더보기
프로필사진

평범하게 살고 싶은 월급쟁이 기술적인 토론 환영합니다.같이 이야기 하고 싶으시면 부담 말고 연락주세요:이메일-bwcho75골뱅이지메일 닷컴.

  • 분류 전체보기
    • 조대협의 소프트웨어..
    • IT 이야기
      • 트렌드
      • IT와 사람
    • 사는 이야기
      • 골프
      • 책
      • 일정 자료 관리 방법
      • 육아
    • 비지니스
      • 비지니스와 세일즈
      • 스타트업
    • 빅데이타
      • 통계학 이론
      • 스트리밍 데이타 처리
      • 머신러닝
      • R
      • Zepplin
      • Google BigQuery
    • 클라우드 컴퓨팅 & No..
      • Data Grid (IMDG)
      • Identity Management
      • Apache Httpd
      • IIS
      • NginX
      • NoSQL 일반
      • RabbitMq
      • Redis
      • MongoDB
      • Hadoop
      • HBase
      • Cassandra
      • CouchBase
      • Riak
      • IaaS 클라우드
      • PaaS 클라우드
      • SaaS
      • 개인 클라우드
      • google cloud
      • Azure
      • Amazon Web Service
      • 분산컴퓨팅&클라우드
      • VDI
      • 운영 & Devops
      • Vert.x & Node.js
      • 도커 & 쿠버네티스
      • M2M & IOT
    • 아키텍쳐
      • 머신러닝
      • BI
      • WEB 2.0
      • SCA
      • SOA
      • Enterprise 2.0
      • Domain Driven Design
      • EAI
      • 대용량 아키텍쳐
      • Security & IDM
      • 모바일
    • 성능과 튜닝
      • JVM
      • APM (AP 성능 측정)
      • 자바 성능팁
      • WAS 튜닝
    • ALM
      • 애자일
      • 배포(Deployment)
      • JIRA
      • 에세이
      • SCM/VCS
      • Build Automation (빌..
      • Test Automation
      • Build Automation(이..
      • Task Management
    • 프로그래밍
      • 알고리즘
      • 안드로이드
      • Ruby
      • JavaScript
      • Python
      • Spring & Maven
      • LIBS
      • Hibernate(하이버네이..
      • 프로그래밍팁
      • MVC
      • XML 관련
      • J2EE
      • JSF & Oracle ADF Faces
      • Groovy
      • Visual Studio
      • C# & .NET
      • ASP.NET
      • Windows Phone7
      • 아두이노
    • 엔터프라이즈 솔루션
      • Wiki
      • 우분투
      • 포탈
      • Oracle BPEL
      • Oracle Service Bus (..
      • BEA Tuxedo
      • MS-SQL
      • SharePoint
      • BEA WebLogic
      • 빅데이타

Tag

빅데이타, Machine Learning, 딥러닝, 머신러닝, 강좌, 클라우드 컴퓨팅, 텐서플로우, 초보, 쿠버네티스, Tutorial, Kubernetes, 소개, node.js, google, 클라우드, 구글, cloud, tensorflow, 튜토리얼, 조대협,

최근글과 인기글

  • 최근글
  • 인기글
  • 쿠버네티스의 HPA/VPA 오토스케일링을 위한 모니터링 아키텍처 2022.03.25 17:13
  • 도커 컨테이너 파일 포맷 및 Image Pull Time 2022.01.25 17:23
  • Apache Spark #1 - 아키텍쳐 및 기본 개념 2021.10.30 05:41
  • XGBoost 개념 이해 2019.09.17 23:31
  • 오픈소스 모니터링툴 - Prometheus #1 기본 개념과 구조 2020.01.09 00:19
  • 쿠버네티스 패키지 매니저 Helm #2-1. Chart 2019.06.09 19:51

최근댓글

  • [승인대기]

    김찬욱

  • [승인대기]

    ryangjm

  • 오래 전 포스팅 된 글이지만 지금 봐도 충분히 많⋯

    👮‍♀️🖥️

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

  • 2022/03
  • 2022/01
  • 2021/10
  • 2021/09
  • 2021/05

Calendar

«   2021/10   »
일 월 화 수 목 금 토
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31            

방문자수Total

11,056,447

  • Today : 238
  • Yesterday : 3,288

Copyright © Kakao Corp. All rights reserved.

  • 서버사이드 아키텍트 그룹
  • Dzone
  • InfoQ
  • 마틴파울러 옹
  • Craig Larman 홈페이지
  • 강대명님(Redis) 블로그
  • 수학공부닷컴(중학교수준)
  • Udacity
  • 커니의 안드로이드
  • 코드 스쿨
  • 랭귀지 튜토리얼
  • Code Academy
  • Coursera
  • 온라인강좌-Udemy
  • 데이타 과학 놀이터
  • 데이타 관련 튜토리얼