Fluentd + Bigquery + Jupyter를 이용한 초간단 BI 구축하기
조대협
얼마전에 빅데이타의 전문가로 유명한 김형준님이 "Presto + Zeppelin을 이용한 초간단 BI 구축 사례"라는 발표 자료를 보았다. http://www.slideshare.net/babokim/presto-zeppelin-bi 오픈 소스 기술들을 조합하여, 초간단하게 빅데이타 분석 플랫폼을 만든 사례 인데, 상당히 실용적이기도 하고, 좋은 조합인것 같아서, 마침 구글 빅쿼리에 대한 자료를 정리하던중 비슷한 시나리오로 BI 대쉬 보드를 만들어보았다.
Fluentd를 이용해서 실시간으로 데이타를 수집하고, 이를 빅쿼리에 저장한 다음에 iPython nodebook (aka Jupyter)로 대쉬보드를 만드는 예제이다. 일부 제품에 대한 지식이 없었음에도 불구하고 실제 설정은 대략 2시간 정도 걸렸다.
아래 이제 예제는 정상적으로 작동 하지 않습니다. 트위터에서 JSON 스키마를 변경했는데, 거기에 맞는 빅쿼리 JSON 스키마를 구하기가 어렵네요. (만들자니 귀찮고). 참고로만 사용하세요
Fluentd 설치
예제는 Google Cloud에서 Ubuntu Linux 14.x VM에서 Fluentd를 이용하여 Twitter에서 데이타를 읽은 후, 빅쿼리에 데이타를 로딩하는 시나리오이다.
VM 생성
Fluentd를 설치할 VM을 생성해보자. 구글 클라우드 콘솔에서 아래 그림과 같이 VM을 생성할때, “Identity and API access” 부분에 “Allow full access to all Cloud APIs”를 선택한다. 이를 선택해서 이 VM이 모든 구글 클라우드 API에 대한 접근 권한 (BigQuery 포함)을 가지도록 한다.
tdagent 설치
생성한 VM에 fluentd의 로그 수집 에이전트인 tdagent를 설치한다.
tdagent는 OS나, 또는 같은 OS라도 OS 버전별로 설치 방법이 다르기 때문에, 버전별 설치 방법은 http://www.fluentd.org를 참고하기 바란다.
여기서는 Ubuntu 14.x를 기준으로 진행을 하였다.
다음 명령어를 실행하면 tdagent가 설치된다.
% curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-trusty-td-agent2.sh | sh
설치한 후 에이전트를 실행해서 확인해보자. 다음 명령으로 agent를 실행한 후에,
% sudo /etc/init.d/td-agent restart
실행이 끝난 후에 다음 명령으로 설치를 확인한다.
% sudo /etc/init.d/td-agent status
참고 (tdagent 관련 명령어) tdagent 기동 - $sudo /etc/init.d/td-agent start |
트위터 Input 설정하기
tdagent 에이전트 설치가 끝났으면 fluentd를 이용해서 트위터 피드를 읽어드리도록 해보자.
트위터 API 키 받기
트위터 피드는 트위터에서 제공하는 OPEN API를 통해서 읽어드린다. 그래서 이 OPEN API에 접근하기 위해서는 OPEN API키가 필요하다.
OPEN API 키는 https://apps.twitter.com/ 에 접속하고 Create New App 메뉴를 이용하면 새로운 앱을 등록할 수 있고, 여기에 Fluentd 앱을 정의해서 정보를 넣어주고 Key and secrect을 생성해주면 다음과 같이 키가 생성된 것을 웹에서 확인할 수 있다.
여기서 필요한 키값은 Consumer Key, Consumer Secret, Access Token, Access Token Secret 4가지가 필요하다.
트위터 플러그인 설치하기
API 접근을 위한 API Key를 모두 얻었으면 이제 fluentd에서 트위터 피드를 읽기 위한 트위터 플러그인을 설치해보자.
트위터 API는 libssl에 대한 의존성이 있기 때문에, libssl를 먼저 설치한다.
%sudo apt-get install build-essential libssl-dev
다음 트위터 플러그인이 사용하는 eventmachine 플러그인과, 트위터 플러그인을 설치한다.
% sudo td-agent-gem install eventmachine
% sudo td-agent-gem install fluent-plugin-twitter
설정하기
플러그인 설치가 끝났으면 설정을 해보자. 설정 파일은 /etc/td-agent/td-agent.conf 에 있다.
이 파일을 다음과 같이 편집하자.
<source> type twitter consumer_key {앞서 트위터 콘솔에서 받은 Consumer Key} consumer_secret {앞서 트위터 콘솔에서 받은 Consumer secret} oauth_token {앞서 트위터 콘솔에서 받은 Access token} oauth_token_secret {앞서 트위터 콘솔에서 받은 Access token secret} tag input.twitter.sampling # Required timeline sampling # Required (tracking or sampling or location or userstream) keyword galaxy,game # 검색어 output_format nest # Optional (nest or flat or simple[default]) </source> <match input.twitter.sampling> type stdout </match> |
이 설정 파일은 keyword에 등록된 “galaxy”와 “game” 이라는 키워드를 찾아서, 읽어드린후 <match input.twitter.sampling> 에 의해서, 읽어드린 내용을 stdout으로 출력해주는 설정이다.
테스트
설정이 끝났으면 확인을 해보자
% sudo /etc/init.d/td-agent restart
명령어를 수행하여, td-agent를 리스타트 해서 새로운 config 파일이 반영되도록 하고
% tail -f /var/log/td-agent/td-agent.log
를 통해서 stdout으로 올라오는 로그를 확인하자. 제대로 데이타가 수집되는 것을 확인했으면 다음 명령어를 이용해서, td-agent를 정지 시키자.
% sudo /etc/init.d/td-agent stop
빅쿼리로 저장하기
twitter로 부터 피드를 읽어드리는 플러그인이 정상적으로 작동함을 확인하였으면, 이번에는 읽어드린 데이타를 빅쿼리로 저장해보자.
빅쿼리 플러그인 설치 및 테이블 생성
빅쿼리로 데이타를 쓰기 위해서 빅쿼리 플러그인을 설치한다.
% sudo td-agent-gem install fluent-plugin-bigquery
다음으로 빅쿼리 프로젝트에서 트위터 데이타를 저장할 데이타셋과 테이블을 생성한다.
데이타 셋 이름은 편의상 “twitter”라고 하고, 테이블은 “ timeline”이라고 하고 생성을 하겠다.
테이블의 스키마는 트위터 피드에 대한 데이타 구조를 빅쿼리 스키마로 만들어놓은 스키마가 이미 https://gist.github.com/Salinger/ef39b81ad2c48516b596
에 있기 때문에, 이 스키마 파일을 읽어서 빅쿼리 콘솔에서 아래 그림과 같이 Schema 부분에 Copy & Paste를 해서 붙이면 테이블이 생성된다.
설정하기
테이블이 생성이 되었으면 fluentd 설정 파일을 수정하여 트위터 피드를 이 테이블에 저장하도록 설정한다.
<source> consumer_secret {앞서 트위터 콘솔에서 받은 Consumer secret} oauth_token {앞서 트위터 콘솔에서 받은 Access token} oauth_token_secret {앞서 트위터 콘솔에서 받은 Access token secret} tag input.twitter.sampling # Required |
기존 설정 파일에서 <match input.twitter.sampling> 부분을 빅쿼리로 변경하였다. <store>에서 type을 bigquery로 변경하였다.
중요한 필드들을 살펴보면
buffer_type, buffer_path : fluentd는 트위터에서 읽어드리는 데이타를 건건이 bigquery에 저장하는게 아니라 일정 단위로 모아서 bigquery에 저장한다. 그래서 buffer를 사용하는데, buffer를 파일을 이용하고, 이 파일의 위치를 지정해주었다.
auth_method, project,dataset,table : 데이타를 저장한 bigquery의 project,dataset,table 명을 정한다. 그리고 auth_method를 통해서 인증 방법을 설정하는데, 일반적으로는 service account에 대한 json 파일을 사용하는데, 여기서는 구글 클라우드내에 VM을 생성하였고, 앞에서 VM 생성시에 Bigquery에 대한 접근 권한을 이미 주었기 때문에, 인증 방식을 compute_engine으로 설정하면 된다.
flush_interval 은 어떤 주기로 버퍼된 데이타를 bigquery로 저장할것인지를 정한다. 여기서는 1초 단위로 저장하도록 하였다.
그리고 중요한것중 하나가 schema_path 인데, 저장하고자 하는 bigquery 테이블의 스키마이다. 앞에서 테이블 생성에서 사용한 https://gist.github.com/Salinger/ef39b81ad2c48516b596 에서 다운 받았던 *.json으로 정의된 스키마 파일의 경로를 지정해주면 된다.
실행하기
모든 설정이 끝났으면
%sudo /etc/init.d/td-agent restart
명령을 이용해서 tdagent를 재기동하자.
그리고 빅쿼리 콘솔에서 “select count(*) from 테이블명” 명령을 사용하면 아래와 같이 카운트 수가 매번 올라가면서 데이타가 저장되는 것을 확인할 수 있다.
Datalab으로 대쉬보드 만들기
datalab은 오픈소스 iPython note의 구글 클라우드 버전이다. 자동으로 구글 클라우드 내의 앱앤진 내에 설치해주고, 구글 클라우드의 빅데이타 인프라 (빅쿼리등)과 손쉽게 연동되며, 구글 차트를 내장하고 있어서 그래프도 손쉽게 그려줄 수 있다.
데이타랩 준비하기
데이타랩을 사용하기 위해서는 https://datalab.cloud.google.com/ 에 접속하고, 로그인을 하면 다음과 같이 프로젝트를 선택하는 화면이 나온다.
만약에 아직 데이타랩을 설치 하지 않았으면 가운데 Deploy 버튼만 활성화가 된다. Deploy 버튼을 누르면 자동으로 데이타랩이 설치된다. 설치가 끝나면 Start 버튼이 활성화 된다. Start 버튼을 누르면 데이타 랩으로 들어갈 수 있다.
새로운 노트 만들기
다음은 데이타랩의 초기화면이다.
우리는 여기서, 새로운 노트를 만들어서 앞서 빅쿼리로 읽어드린 데이타를 lang(언어)별로 그룹핑을 해서 카운트하는 쿼리를 실행하고, 그 결과를 그래프로 만들것이다.
위의 초기화면에서 “+Notebook” 버튼을 눌려서 새로운 노트북을 만들어보자
노트화면이 로딩되었으면 상단의 메뉴를 보자
+Add code와, +Add Markdown 버튼을 볼 수 있는데, Add Code는 파이썬이나 SQL과 같은 프로그래밍 언어를 정의하고 실행할 수 있는 공간이고, +Add Markdown은 일반적인 텍스트나 이미지를 통해서 간단한 글을 쓸 수 있는 공간을 만들어준다.
이렇게 코드써가면서 직접 실행해보고 그 결과를 확인하면서 그에 대한 내용을 설명하는 내용을 Markdown으로 작성하는 것과 같이 마치 노트에 계산을 해나가는 것처럼 써 나가기 때문에 이런 류의 프로그램을 노트북이라고 한다. (유사한 프로그램으로는 zeppelin 등이 있다 https://zeppelin.apache.org/)
쿼리 실행하기
그러면 Add code를 통해서 코드 섹션을 추가하고 SQL 문장을 추가해보자. 다음은 빅쿼리 트위터 테이블에서 lang 별로 그룹핑을 해서 카운트를 하는 SQL 문장이다.
이 문장을 실행하려면 노트북 상단의 “Run” 버튼을 누르면 된다.
다음과 같이 결과가 쿼리 바로 아래에 출력되는 것을 볼 수 있다.
그래프 그리기
다음으로 결과로 그래프를 그려보자
다음과 같이 두개의 코드 블럭을 추가하자
첫번째 코드 블럭에는 SQL 문장을 수행하는데 이때 --module twitter라고 정의를 해주면 결과가 twitter라는 모듈에 저장이 된다.
두번째 코드 블럭은 그래프를 그리기 위해서 chart 명령어를 이용하고 차트 타입은 pie로, 그래프의 x,y 축은 lang과, lang_count로 지정하고, 데이타 소스는 --date를 이용해서 앞의 쿼리 결과를 저장한 twitter로 지정한다.
다음으로 Run 버튼을 이용해서 쿼리를 수행해보면 다음과 같은 결과 화면을 얻을 수 있다.
지금까지 간략하게 Fluentd를 통해서 데이타를 수집하고 빅쿼리에 저장한 후, 데이타랩을 통해서 분석 및 리포팅을 하는 간단한 시나리오를 살펴보았다. fluentd나 데이타랩에 대한 사전적인 지식이 없었는데, 필자의 경우 이를 만드는데 대략 2시간의 시간이 소요되었다. 2시간의 시간으로 수 PB급의 빅데이타를 수집할 수 있고 분석할 수 있는 시스템을 구축할 수 있었다. 예전 같으면 하둡과 스팍 인스톨과 몇시간이 걸렸는데, 요즘 드는 생각은 빅데이타에 대한 접근 장벽이 많이 무너졌다고나 할까.
참고 자료
'빅데이타 & 머신러닝 > Google BigQuery' 카테고리의 다른 글
| 빅쿼리 대쉬 보드를 위한 오픈소스 메타 베이스 (3) | 2018.01.31 |
|---|---|
| 빅데이타 수집을 위한 데이타 수집 솔루션 Embulk 소개 (1) | 2016.07.31 |
| 빅쿼리-#3 데이타 구조와 접근(공유) (3) | 2016.06.18 |
| 구글 빅데이타 플랫폼 빅쿼리 아키텍쳐 소개 (0) | 2016.06.16 |
| 구글 빅데이타 플랫폼 빅쿼리(BIGQUERY)에 소개 (0) | 2016.06.15 |