블로그 이미지
평범하게 살고 싶은 월급쟁이 기술적인 토론 환영합니다.같이 이야기 하고 싶으시면 부담 말고 연락주세요:이메일-bwcho75골뱅이지메일 닷컴. 조대협


Archive»


 
 

파이어베이스 애널러틱스를 이용한 모바일 데이타 분석

#2-분석 지표와 대쉬 보드 이해하기


조대협 (http://bcho.tistory.com)


파이어베이스 애널러틱스로 지표를 수집하게 되면, 몬가 아름다워(?) 보이는 대쉬 보드와 그래프들을 볼 수 있다. 그러나 정작 각 그래프의 항목과 수치가 무엇을 의미하는지를 이해하지 못한다면 무용 지물이나 다름없다.


비단 파이어베이스 애널러틱스 뿐 아니라, 일반적인 데이타 분석에서도 많이 겪는 실수중에 하나인데, 이번에는 파이어베이스 애널러틱스에 의해서 분석되어 리포트로 제공되는 각종 지표와 이와 연관된 이벤트들에 대해서 알아보도록 한다.

대쉬 보드

파이어베이스 애널러틱스를 사용하게 되면 리포트는 대쉬보드를 통하여 출력되게 된다. 대쉬 보드는 대략 아래와 같이 생겼는데, 각 항목을 살펴보도록 하자



출처 https://support.google.com/firebase/answer/6317517?hl=en&ref_topic=6317489

기준 시간

분석 지표에 대한 이해를 하기 위해서는 먼저 기준 시간에 대한 이해를 할 필요가 있다. 파이어베이스 애널러틱스 콘솔의 우측 상단의 보면 분석 기간을 선택할 수 있다. 분석 기간은 오늘, 어제, 이번주, 지난 7일, 지난 30일 등 미리 정해진 기간이나 Custom을 이용하여, 기간을 정의할 수 있다.


1. Active User (활성 사용자수)

가장 처음에 나오는 지표는 활성 사용자 수 이다. 가장 많이 보는 지표중의 하나인데, 일,월,주별 방문자 수 이다.


  • Monthly Active User (MAU:월별 활성 사용자 수)
    그래프의 X축의 날짜에서 부터 부터 전 30일까지의 앱을 사용한 총 일일 사용자 수.

  • Weekly Active User (WAU:주별 활성 사용자 수)
    그래프의 X축의 날짜에서 부터 전 7일 까지 앱을 사용한 총 일일 사용자의 수

  • Daily Active User (DAU : 주별 활성 사용자 수)
    그래프의 X축 날짜의 앱을 사용한 일일 사용자의 수


위의 그래프를 보면 WAU와 DAU는 수평을 그리고 있는데, 반하여 MAU가 올라가고 있음을 볼 수 있다. 이 그래프는 파이어베이스 애널러틱스를 설치한지 얼마 되지 않는 기간에 뽑은 리포트인데, DAU는 일정하기 때문에, MAU는 누적되서 그래프가 상승 곡선을 띄게 되는 것이다.

예를 들어 8월1일에 설치했다고 했을때, 8월2일의 MAU는 7월3일~8월2일 DAU의 합이 되는데, 8월 1일에 설치를 했기 때문에 7월3일~7월30일까지의 데이타는 없다. 8월 30일의 MAU는 8월1일~8월30일까지 합이고, 8월1~30일까지는 데이타가 있기 때문에 누적되서 상승 곡선을 그리게 된다.

2. Average Revenue (평균 수익)

다음 지표는 수익 지표이다. 크게 ARPU와 ARPPU로 표현되는데 그 내용은 다음과 같다.

  • ARPU (Average revenue per User)
    사용자별 수익률로, 전체 수익을 전체 사용자 수로 나눠서 계산한다.

  • ARPPU (Average revenue per purchased user)
    유료 사용자별 수익률로, 전체수익을 비용을 지불한 사용자로 나눠서 계산한다.

전체 서비스가 유료가 아닌 이상, 커머스의 경우 일부 사용자만 물건을 구매하거나, 게임이나 서비스 앱인 경우에는 일부 사용자만 인앱구매등을 통해서 비용을 지불하기 때문에 다른 두개의 지표가 나온다.

ARPU는 서비스에서 사용자가 증가하는 당 수익률이 어떻게 올라가는지를 알 수 있고, ARPPU는 유료 사용자당 얼마의 금액을 사용하는지를 이해할 수 있다.


이 지표는 파이어베이스 애널러틱스에서  ecommerce_purchase (쇼핑몰 이벤트 중, 구매 이벤트)와 in_app_purchase (일반 이벤트중 인앱 구매) 이벤트에 의해서 추적되기 때문에, ARPU와 ARPPU를 구하고 싶으면, 상품구매나 인앱 구매가 발생하였을때, 위의 이벤트를 통해서 파이어베이스 애널러틱스에 이벤트를 로깅해줘야 한다.  


3. first_open attribution (앱실행 빈도)

다음 지표는 첫 앱 실행을 추적하는 지표이다.

기준 시간 기간 동안 인스톨 또는 재 인스톨이 된후, 처음으로 앱이 실행된 횟수를 추적하는 지표이다.

이 지표는 다양한 의미를 가지고 있는데, 앱 다운로드가 캠페인등을 통해서 많이 일어났다고 하더라도, 앱을 한번도 실행을 해보지 않고 삭제하는 경우도 많기 때문에, 앱 다운로드 대비, 얼마나 많은 사용자가 실제로 앱을 실행했는 가를 추적할 수 있다.

앱 다운로드 횟수는 구글 플레이 스토어나 애플 앱스토어의 사용자 콘솔에서 그 값을 추적할 수 있다.


또한 “NETWORK SETTING”에서 광고 서비스 네트워크를 연동할 수 있는데, 광고 네트워크를 연동하게 되면 앱의 설치가 사용자가 앱스토어에서 그냥 자발적으로 설치를 한것인지 아니면 광고 네트워크의 특정 광고 캠페인을 통해서 인입된 사용자인지를 판단할 수 있다.



<그림 광고 네트워크를 연동하는 화면 >


이를 통해서, 광고 마케팅의 효율과, 성과를 측정하여 효율적인 광고 집행이 가능하다.

앱 첫실행을 기록하는 first_open 이벤트는 개발자가 별도로 코드 상에 정의하지 않더라도 자동으로 로깅 된다.

아래 예제를 보자, 광고 네트워크를 통하지 않고, 앱을 처음 사용한 것이 150K 정도 되고, 다음은 구글을 통해서 들어온 비중이 38K  정도가 된다.



맨뒤에, LTV 라는 수치가 있는데, LTV는 Life Time Value의 약자로 사용자가 앱을 설치 한 후, 초기 120일 동안에 일으킨 매출의 수의 총합이다. 매출은 ARPU와 같이   ecommerce_purchase (쇼핑몰 이벤트 중, 구매 이벤트)와 in_app_purchase (일반 이벤트중 인앱 구매) 이벤트에 의해서 추적된다.

이를 통해서 광고 네트워크별로 얼마만큼의 사용자가 들어오고, 유입된 사용자가 발생 시킨 매출을 추적하여 광고의 효율을 측정할 수 있다.


여기서 포스트백 (PostBack)이라는 기능을 잠깐 짚고 넘어갈 필요가 있는데, 쇼핑몰에서 광고 네트워크를 통해서 광고를 집행하고 있다고 하자, 사용자가 호텔 예약을 하고 싶어하는 니즈를 파악하고 사용자에게 호텔 예약 광고를 계속 내보냈다. 광고를 통해서 사용자는 호텔을 예약했다고 하자. 그렇다면 이제 더이상 해당 사용자에게 호텔 광고가 계속 나가면 안된다. (이미 팔았기 때문에) 이를 막기 위해서 광고 네트워크에 해당 물건을 사용자가 구매했으니, 더 이상 같은 광고를 내보내지 말라고 알려줘야 한다. 이를 포스트 백(Postback)이라고 한다. 파이어베이스 애널러틱스에서 포스트백을 설정하는 방법은 https://support.google.com/firebase/answer/6317518?hl=en&utm_id=ad#postbacks 를 참고하기 바란다.

4. Retention cohort (사용자 잔존율 코호트 분석)

다음 지표는 사용자 잔존율을 코호트 분석을 통해서 분석해낸 결과로, 사용자가 처음 앱을 사용한 후 얼마나 많은 사용자가 지속적으로 남아 있느냐를 나타내는 중요한 지표이다. 주 단위 잔존율을 기준으로 통계를 잡아주는데, 잔존 사용자가 많을 수록, 그래프가 더 진하게 표시 되는데, 다음 예제를 보면, 7월17일~7월23일에 가입한 사용자는 총 19481명으로 첫주에는 100% 사용자가 잔존하였으나, 1주 후에는 23.5%만 남았고, 2 주후에는 12.2%만 남았다가 5주후에는 6.4%만 남았다.

7월31~8월6일에 가입한 사용자의 경우 1주차에 23.7%가 남아 있어서 다른 주 대비 잔존율이 높아서 조금 더 진한 색깔이 그래프로 표현되었다.



5. User engagement (사용자 활동 지표)

사용자 활동 지표란, 사용자들이 기간동안 얼마나 앱을 사용했느냐에 대한 기간과 횟수등을 표현하는 지표들이다. 아래 그래프 예제로 설명하면




  • Daily engagement (총 사용시간)
    통계 기간 (기준 시간 기간) 동안 모든 사용자들이 앱을 사용한 총 시간의 합이다. 위의 예에서는 1년 34일 14시간을 사용한것으로 집게 되었다.

  • Daily engagement per user (사용자당 평균 사용 시간)
    통계 기간중, 사용자 1인당 평균 사용시간이다. Daily engagement를 그 기간 동안 총 활성 사용자 수로 나눈 값이다.

  • Session per user (사용자당 평균 세션 수 )
    사용자당 평균 세션 수 인데, 세션은 사용자가 기간동안 앱을 사용한 횟수로 보면 되다. 위의 예제에서는 사용자당 평균 3.7 회 정도 사용하였다.

  • Avg. session duration (사용자당 평균 세션 길이)
    사용자당 세션의 길이로, 한번 사용할때 평균 얼마 정도의 시간을 사용하느냐인데, 여기서는 사용자당 한번 사용에 7분 8초 정도를 사용한것으로 집게 되었다.


이런 통계 분석에서 주의할점은 이는 어디까지나 평균 값일 뿐이다. 특정 사용자는 기간동안 평균값이 3.7회가 넘는 10회 20회를 사용할 수 도 있고, 어떤 사용자 층은 한번 밖에 사용하지 않을 수 도 있다. 일반적으로 모바일 서비스 앱은 그 사용횟수나 사용 시간에 대한 분포가 특정 사용자군 (헤비유저)에게 몰리는 경향이 있기 때문에, 이러한 평균 지표보다는 정규 분포형의 지표를 따라서 분석하는 것이 조금 더 정확한데, 이를 위해서는 파이어베이스 애널러틱스의 지표만으로는 불가능하고, 원본 데이타를 기반으로 분석을 할 필요가 있다. 이를 위해서 원본 데이타를 빅쿼리에 저장한 후 분석하는 것이 좋은데, 이 방법은 나중에 다시 설명하도록 하겠다.

6. In-App purchase (인앱 구매)

이 지표는 인앱 구매에 대한 지표로, in_app_purchase 이벤트에 의해서 수집된 정보를 기반으로 통계를 계산한다. 총 얼마 만큼의 사용자가, 인앱 구매를 했는지를 출력하고, 이를 통해서 발생된 매출을 출력한다.

아울러 아래 그림과 같이 최고 매출을 일으킨 인앱 구매 상품들을 구매 횟수와 총 매출액을 통계로 표시해준다.



아래의 “VIEW IN-APP PURCHASE DETAILS” 탭을 클릭하면, 모든 인앱 상품의 매출 정보와 판매 추이,  사용자 연령대별 매출 발생 비중등 자세한 정보를 볼 수 있다.


<그림. 인앱 구매 이벤트 집게 화면에서 상세 화면중 성별 및 연령 별 구매 비율 >


7. App version (앱 버전)

통계 기간 동안 모든 사용자가 사용한 앱 버전에 대한 통계를 보여준다. 상위 3개의 버전을 보여주고, 나머지는 Others로 묶어서 통계로 보여준다.


앱 버전 역시 모바일 서비스에서 매우 중요한 지표중의 하나인데, 신기능이나 신규 컨텐츠가 올라가더라도 버전이 옛날 버전이 많이 깔려 있을 경우 신규 기능이나 컨텐츠가 동작하지 않을 수 도 있기 때문에, 얼마나 사용자들이 새 버전으로 업데이트했는지 추적하는 것이 중요한 지표가 되며, 아울러 경우에 따라서 예전 버전이 많을 경우에는 강제 업데이트를 해야 하는 경우도 있기 때문에, 앱 버전에 대한 추적 역시 매우 중요한 지표로 작용하낟.

8. Devices (디바이스)

통계 기간동안에 사용자가 앱을 사용하는데 사용한 주요 디바이스명과, OS 버전에 대한 통계이다.

디바이스명은 테스트 환경을 만들때 사용자들이 주로 어떤 디바이스를 사용하는지를 알면 테스트 디바이스를 준비하기가 편리하기 때문이고, OS version의 경우, 낮은 버전의 OS에서는 특정 SDK나 기능이 작동하지 않을 수 있기 때문에 앱 개발시 어느 OS 버전 부터 지원을 해야 할지, 그리고 사용 빈도가 낮은 OS는 언제 지원을 중단할 수 있을지등을 결정할 수 있는 지표로 활용이 가능하다.


9. Location(위치)

이해는 쉽지만 가장 중요한 지표중의 하나이다. 해당 기간동안 주로 어느 국가에서 앱이 많이 사용되었는 가를 리포팅 해주는 지표이다.


국내나 특정 국가 한정 서비스인 경우가 아닌 글로벌 서비스인 경우 서비스가 어느 나라에서 인기가 있는 가에 따라서, 그 나라에 맞도록 앱을 현지화 하거나, 앱에 대한 마케팅 자원등을 선택과 집중할 수 있다.

10. Demographics (데모그래픽 정보)

데모 그래픽 정보는 사용자의 연령과 성별등을 나타내는 정보이다.

이를 통하여 앱 사용자가 누구인지를 파악할 수 있고, 이를 기반으로 앱 서비스를 타케팅할 수 있는 대상을 식별하여, 제공할 컨텐츠, 마케팅 캠페인 대상등을 정할 수 있다.  



11. Interest (사용자 흥미)

마지막으로 이 앱 서비스를 사용하는 사용자가 어떤 흥미를 가지고 있는지를 분석 해주는 기능인데,

이러한 모바일 분석 플랫폼을 무료로 제공하는 서비스 제공자는 구글뿐아니라 야후, 트위터와 같이 광고를 통해서 수익을 창출하는 경우가 많다. 이러한 사업자등은 자사의 서비스에서 사용자들이 어떤 서비스나 어떤 컨텐츠를 선호 하는지를 분석한 후에, 이를 기반으로 모바일 데이타 분석 플랫폼을 사용하는 앱 개발사들의 사용자들이 어떤 컨텐츠나 서비스를 선호하는지를 추적 분석해주는데, 이것이 Interest 분석이다.


위의 그림과 같이 이 앱을 사용하는 사용자들은 TV나 온라인 비디오에 관심이 많은 사용자들이 7.6%, 그리고 음악에 관심이 있는 사용자들이 6.7%, 카메라나 전자 제품에 관심 있는 사용자들이 3.6% 정도이다.

이를 통해서 앱 사용자들을 대상으로 한 타겟 광고나 서비스 개선등에 활용할 수 있다.


지금까지 간략하게나마 파이어베이스 애널러틱스 대쉬보드의 주요 지표에 대해서 설명하였다.

여기에 나오는 지표들은 파이어베이스뿐 아니라 일반적인 모바일 앱 서비스 분석 지표로도 사용되는 만큼, 잘 이해해놓으면 모바일 서비스 빅데이타 분석에 유용하게 활용할 수 있다.


다음 글에서는 파이어베이스 애널러틱스의 주요 이벤트들에 대해서 설명하도록 하겠다.


린스타트업 - #3 성장 엔진 이론

비지니스/스타트업 | 2015.05.07 01:28 | Posted by 조대협

성장엔진


린 스타트업에서는 성장 엔진이라는 개념을 사용하는데, 이 성장 엔진이란, 린 스타트업에 따르면 "회사가 지속적으로 성장을 달성하는데 쓰는 메커니즘이다. "

린스타트업에서 성장엔진을 다음과 같은 변수로 정의하고 있다.

기본적으로 스타트업의 성장은 사용자가 늘어남을 전재로 하되, 사용자가 늘어나는 것 뿐만 아닌 비지니스 모델에 따라서 다음과 같은 지표를 추가 지표로 사용한다.


1. 재방문율 : 복합 비율로 측정


대부분의 서비스들에 해당하는 지표로, 기존 사용자의 재 방문율이다.

일반적으로는 액티브 사용자를 사용하지만, 린스타트업 프레임웍에서는 "복합 비율"이라는 성장 변수를 사용한다. 

재방문율 성장 엔진의 기본 개념은 신규 고객 유치율 > 가입 해지율 이 넘는지를 살펴본다. 가입 해지율은 명시적으로 계약을 해지 않더라도 서비스를 더 이상 방문하지 않는 고객의 비율을 의미한다. (일주일 동안 한번도 로그인 하지 않은 사용자등)

즉, 매주 10%의 고객이 증가하는데, 매주 가입 해지율이 10% 이상이면 이 회사의 사용자 수는 늘어나고 있지만 실제로는 성장하지 않고 있는 것이다.

복합 비율의 계산은 

(자연 성장율) - (가입 해지율) 

이다. 즉 전체 사용자 증가율에서 해지율을 빼보면, 서비스가 성장하고 있는지 여부를 판단할 수 있다.


2. 바이럴 성장 엔진


입소문이 아닌 서비스를 사용하는 사용자가 신규 사용자를 유치하게 되는 방식

- 핫메일의 보내는 메일 끝에, 핫메일 링크를 달아서 가입을 유도 한다던가

- 페이팔을 써서 친구한테 돈을 보내면, 받는 친구가 페이팔을 가입해야 한다던가.


이렇게 기존 사용자층이 서비스 사용을 통해서 신규 사용자를 확보하는 메커니즘을 바이럴 성장 엔진이라고 한다.

바이럴 성장엔진은 "바이럴 계수" 라는 것으로 측정하는데, 계산식은 다음과 같다.

(기존 고객 1명당 신규 고객 유치율)

즉, 10명의 고객중 1명만 1명의 신규 고객을 유치했으면 바이럴 계수는 0.1이 된다.

10명의 고객이 100명의 신규 고객을 유치했으면 계수는 10이된다.


이 바이럴 계수가 1 이상이면 한명의 고객이 한명 이상의 신규 고객을 가지고 온다는 개념으로, 바이럴 성장엔진에 의존하는 회사는 이 바이럴 계수를 높이는데 초점을 둬야 한다.

이렇게 바이럴 계수를 높이는 전략으로는 친구를 추천하면 추가 용량을 주는 것과 같은 드롭 박스의 전략등을 들 수 있다.

 

3. 유료화 성장엔진


유료화 성장엔진은 , 계산 방법은 

(고객당 수익:LTV-Life time value 또는 고객당 잠재가치 ) - (고객당 신규 유치비용:CPA-Cost per aquisition )

유료 서비스가 아니더라도, 광고등을 통해서 수익을 창출하는 서비스의 경우에도, 고객당 발생 가능한 광고 수익이 "고객당 수익" 개념이 된다.

페이스북과 같은 SNS 서비스가 있다고 가정하자 이 서비스에 신규 고객을 유치하기 위해서  들어 10억의 돈으로 100만명의 사용자를 모집했다고 하자 , 인당 고객 유치 비용은 1000원이고, 이 한명의 고객이 평생 광고를 보면서 발생할 수 있는 수익은 8만원이라고 할 때, 수익률은 8만원 - 1000원 = 79000원이다.

유료화 성장엔진을 사용하는 기업은, 이 LTV-CPA의 차이를 꾸준히 늘려나가는 것이 필요하다. 

※ 주) 마치 ROI(Return of investment) 개념 같은데. 게임과 같은 서비스가 적절한 모델일듯.



선택과 집중


기술적으로는 두개 이상의 성장 엔진을 사용할 수 있기는 한데, 책의 저자의 말에 따르면 성공한 스타트업은 하나의 성장 엔진에 집중한 경우가 많다고 한다.

하나의 성장엔진에 집중하고 회사의 모든것을 그 성장엔진이 돌아가는데 필요한 방향으로 특화한다. 세 엔진을 모두 선택하게 되면 복잡해지고 집중하기 어렵기 때문에 운영이 어렵다.


성장 엔진 부분은 세번을 읽고 도저히 이해가 안되서 글로 재정리하면서 다시 이해중인데, 결론적으로 보면, 회사의 성장을 이끄는 지표가 무엇인지를 조금 더 구체적으로 정의해주고, 기존의 허수 지표를 피할 수 있는 조금 더 효과적인 지표를 3가지 성장엔진 모델을 통해서 제시해주고 있다. 특히 스타트업의 서비스를 DAU나 MAU 등과 같은 액티브 사용자 계수으로만 측정하는 경우가 많은데  이보다는 복합 비율과 같은 

린 스타트업의 프로세스 개요

일단 현재 이해한것 까지 중간 정리, 린스타트업은 도요타의 린 방법론을 기반으로 IMVU CTO인 에릭리스가 정리한 스타트업의 프로세스이다.

기본적으로 스타트업의 제품 및 서비스 개발의 행위를 학습으로 정의하고 있으며, 빠르게 최소한의 기능을 가지고 있는 서비스를 빠르게 개발하여 시장에 릴리즈한 후 고객의 반응을 수치화한 데이타를 기반으로, 판단하여 이를 기반으로, 제품의 개발 방향이 맞는지를 학습하여 끊임없이 서비스를 수정/개발해 나가는 프로세스이다.

전체적인 프로세스를 도식화 하자면 다음과 같다.


※ 이 그림은 일반적으로 소개되는 린스타트업의 프로세스가 아니라, 본인이 이해하고 내용을 가감한 프로세스이다.

 



가설과 구현


먼저 가설을 세우고, 이 가설(아이디어)를 기반으로 서비스를 개발한다. 이때, MVP (Minimum Viable Product)이라는 개념을 사용하는데, 컨셉을 구현하기위한 최소한의 기능만을 가지고 있는 제품(또는 서비스)를 정의한다.

일반적으로 고객은 자신이 무엇을 원하는지를 잘 모른다. 소프트웨어 개발에서 요구 사항 분석이 실패하는 이유중의 대부분이 고객이 요구 사항을 제대로 정의하지 못하기 때문이다. 왜냐? 고객도 무엇을 원하는지를 모르기 때문에, 그렇지만, 고객은 자기가 좋아하는 것과 좋아 하지 않는 것에 대한 구별할 수 있는 능력은 있다. 그래서, MVP를 가지고 고객에게 제시하면 그때 부터 고객은 그 제품이 좋은지 나쁜지에 대해서 이야기할 수 있고, 그 피드백을 기반으로 제품을 개선할 수 있다.

제품이 개선될것을 전제로 하기 때문에, 커다른 덩치 큰 제품을 만들지 않는다. 다 만든 다음에, 나중에 그 방향을 바꾸게 되면, 다 만드는데도 많은 시간이 소요될뿐더러 만든 다음에, 전체 기능을 폐기 하게 되면 그 비능이 크기 때문이다.

MVP 부터 시작해서 고객의 피드백과 반응을 통해서 제품의 방향을 유연하게 설정하면서 고객이 만족할만한 제품을 진화적으로 만들어 나간다.


지표의 정의와 측정


고객의 피드백과 반응을 수집하고 이를 제품에 반영하려면, 이를 수치화 즉 지표화할 필요가 있다. 지표화를 하기 위해서는 무엇을 지표화 해야할지를 결정해야 한다.

서비스 기능 추가 개선후, 가입자 수가 증가 했는지? 아니면 서비스 사용 시간이 늘어났는지? , 어떤 작업을 했으면 그것이 어떤 효과를 나타내는지를 정량적으로 수치화해야 한다.

일반적으로 스타트업이 실패하는 이유중의 하나가, 이 정량화를 기반으로한 측정을 하지 않거나, 적절하지 않은 지표를 정했기 때문인 경우가 많다. 이를 허수지표라고 하는데, 이 허수 지표에 대해서는 뒤에서 다시 언급하도록 한다.


1) AB 테스트

지표 측정 방식에서 효과적으로 활용할 수 있는 추가적인 기법중의 하나가 AB 테스트이다. AB테스트는 같은 서비스를 두개의 고객군을 나눠서 A고객과 B고객에 서로 다른 기능을 제공하여 그 피드백을 살펴보는 방식이다.

신규 기능을 개발했을때,  새로운 기능을 무조건 운영 시스템에 반영을 하는 것이 아니라, 일부고객군에게만 적용한 후에, 그에 대한 반응을 정량적으로 측정한 후, 반응이 좋은 경우에만 그 기능을 운영시스템에 전체 반영하는 기법인데, AB 테스트를 위해서는 먼저, 여러개의 고객군에 서비스를 차등 제공할 수 있는 개인화 기능이 제공되어야 하며, 또한 기능 구현시 마다 배포를 할 수 있는 자동 배포 (Continues Delivery : aka. CD) 프레임웍이 준비되어야 한다.

그리고, 각 테스트 표본집단 별로 신규 기능에 대한 고객 반응을 측정할 수 있는 리포팅 시스템 개발이 전제되어야 한다.

자동화나 리포팅 시스템은 이러한 AB 테스트를 효율적으로 할 수 있는 도구에 불과하다. 무엇보다 중요한것은 AB 테스트를 위한 표본 집단의 선출 방식과, 고객의 반응을 어떤 지표로 정의할 것인가가, 가장 중요하다.


 2) 빅데이타 분석

린 스타트업 프레임웍에서 가장 중요한것은 가설에 대한 테스트 결과를 지표를 통해서 분석해야 하는 것인데, 이를 위해서는 데이타 분석이 필요하다.

단순히 정형화된 데이타를 수집해서 간단한 리포트만을 뽑아내는 것이 아니라, 방문로그,체류 시간, 광고 집행 시기, 마케팅 시기등 다양한 소스에서 오는 데이타에 대한 상관 관계 분석을 통해서 지표를 재정의 및 발전 시켜 나가야 하는데, 이를 위해서는 향후 분석과 데이타에 숨어있는 상관 관계 분석을 위해서 가급적 많은 데이타를 저장할 필요가 있다. 이런 많은 데이타를 정재되지 않은 상태로 저장하기 위해서는 큰 데이타 저장소가 필요한데, 이러한 개념은 과거의 데이타 웨어 하우스와 유사한 data lake 라는 곳에 데이타를 모으고, R등의 데이타 분석 언어를 이용하여 데이타에서 지표를 산출해내고, 이를 리포팅 시스템을 통해서 뽑아낼 수 있다. (이구조에 대해서는 이전 포스트 http://bcho.tistory.com/984 를 참고하기 바란다.)

결과적으로, data lake 나 리포팅등 지표를 확인할 수 있는 통계 시스템이 필요한데, 기존과 데이타의 양이 틀리기 때문에, 빅데이타 기반의 분석 시스템은 린 스타트업 프레임웍에서 대단히 필요한 부분이 된다.

그렇다고 스타트업에서 Spark,Hadoop, DW와 같은 고급 기술을 기반으로 대규모 분석 시스템을 만들 수 는 없는 노릇이고, 가급적이면 처음에는 구글 애널러틱스나, 클라우스 SaaS또는 PaaS형태의 데이타 분석 시스템을 이용하여, 유효 지표를 뽑아내서 사용하는 것이 더 바람직하다.


결국은 학습의 반복


린 스타트업의 핵심 프레임웍은 학습이다. 가설을 세우고 가설을 테스트하고 검증한후, 가설이 틀린 부분을 수정해나가면서 고객의 needs를 알아가는 학습의 과정이며, 회사의 비지니스 모델이 무엇이 적절하고, 어떤 기능이나 서비스가 핵심인지를 계속해서 배워나가는 학습의 반복이다.

새로운 이벤트, 새로운 기술을 넣는 것이 아니라, 이러한 지루한 반복을 통한 학습과 개선을 통해서 서비스(제품)을 개선해나가고 가치를 부여하는 과정이 스타트업이 아닌가 싶다.

※ 린 스타트업 책에서는 제품 개발에 대해서의 학습을 강조했지만, 인사나, 팀 문화, 재무 까지 스타트업에서는 학습의 반복이 아닐까 한다. 처음부터 모든 부분을 알거나 해당 분야에 대한 전문가를 영입해서 사업을 시작할 수 없는 만큼, 스타트업 기업이 성장해감에 따라 회사 경영에 대한 부분도 계속해서 학습하면서 만들어 나가야 한다.

다만, 이 학습은 계속 되고 학습에 따라 회사가 발전해나가야 하지, 이 학습이 목표와 방향성을 잃고 학습이 정체되는 순간, 스타트업은 퇴락의 길을 걷지 않을까?

 

혁신 회계와 지표


앞서 설명한 지표에 대해서는 조금 더 깊게 생각해볼 필요가 있다.


혁신 회계                              


린스타트업에서는 혁신회계라는 재미있는 개념을 소개하는데, 전통적인 기업이 매출과 손익이라는 금전적인 지표를 회계의 지표로 삼는데 반해서, 린 스타트업의 혁시 회계에서는 금전적인 지표 보다는 서비스 성장을 판단할 수 있는 지표를 회계의 지표로 삼는다.

이는 아마도, 스타트업의 모델이 대부분 성장 후에, 상장, 매각, 유료화등의 다양한 출구 전략을 선택하기 때문에, 출구 전략전 사업을 확장을 주요 지표로 하기 때문이 아닌가 싶다. 실제로 대부분의 서비스 기반의 스타트업은 가입자수나 액티브 사용자 수 또는 LTV (Life time value : 사용자당 평생 기대 수익)등을 기반으로 가치를 평가 받아서 투자를 받거나 상장을 하는 모델이기 때문에, 이러한 혁신 회계 지표가 오히려 적절하지 않은가 한다.


지표의 개념이 없는 스타트업


많지는 않지만, 가끔 스타트업의 시스템 구조를 진단 해주다보면, 이런 혁신 지표를 정의하지 않고 경영을 하는 경우가 많은데, 초반에는 그럴 수 있다고 치더라도, 이는 위험한 방식이 아닌가 싶다.

지표에 대한 개념이 없이 수~수십억의 마케팅 비용을 집행하면서, 마케팅을 통한 사용자 유입률이나 사용시간 증가분을 측정하지 않는 등이 대표적인 예인데이는 투자 대비 효과에 분석 준비 없이 비용을 집행하기 때문에, 잘못하면 효과없이 소중한 비용만 낭비하는 결과를 일으킬 수 있다.

앞에서도 설명하였듯이, 린 스타트업 프레임웍에서는 아이디어가 제품화/서비스화 된 결과에 대한 측정을 할 수 있는 유효 지표를 정의하는 것이 선행되어야 한다.


허수 지표에 대해서


그러면 이러한 지표 정의에 있어서 가장 경계해야할것이 허수 지표인데, 예를 들어서 설명하자 A사의 서비스의 가입자수가 꾸준히 늘어나고, 1억 이상의 가입자를 가지고 있다고 할때, 이 서비스가 성공적인 서비스일까? 지표상으로 봤을때는 그럴 수 있다.

그러나 몇가지 현실적인 가정을 만들어보자, A사는 핸드폰을 만드는 회사이고, 음악을 들려주는 앱을 단말이 판매 될때 이 서비스를 프리로드하였다. 그리고, 핸드폰을 초기화할때 이 서비스가 자동으로 가입되도록 하였다. 그렇다면 이 서비스를 실제로 사용하지 않지만 가입한 사용자 수는 많아지게 되고, 가입자 지표는 많지만 서비스가 실제로 사용되지 않기 때문에, 이 지표를 기반으로 1억 이상의 가입자를 처리할 수 있는 시스템을 확장하는 등의 비용이 투자될 수 있고, 또한 사업이 잘된다는 착각에 빠질 수 있다. 가입자 수 보다는 사용자의 재방문율 또는 주별 사용시간등을 측정하는 것이 오히려 현실적일 수 있다.

또 다른 허수 지표의 예를 들어보자, 스마트폰 유료앱을 판매하는 서비스라고 할때, 판매되는 라이센스 수 만 측정하면 될까? 끼어 팔기나 정치적인 원인에 의해서 라이센스가 판매되는 경우는 비지니스에서 흔한 케이스이다. 1000만 라이센스가 판매되었다고 하더라도, 그중에 실제로 사용되는 라이센스가 100만이라면, 이 사업이 제대로 가고 있다고 할 수 있을까? 제대로된 지표는 판매된 라이센스가 아니라 사용되고 있는 (액티베이션된) 라이센스이다.

이 밖에도 잘못된 지표를 양산 하는 경우는 많다. 광고나 이벤트로 인해서 반짝 가입자수가 늘었다가 사용자가 사용하지 않는 서비스등도 그러한 예에 속할 수 있다.

이렇게 일반적으로 생각할 수 있는 가입자 수, 라이센스 판매량등을 지표로 삼아서 사업을 꾸려나갈 수 있지만 실제로 사업에서 유효하 지표가 무엇인지를 제대로 판단하여 정의하고, 이를 기반으로 사업의 방향을 정해야 한다.

이렇게 사업의 진정한 가치와 동떨어지고, 잘못된 판단을 유발할 수 있는 지표를 허수 지표하고 한다.


결론


지금까지나마 간략하게 린 스타트업으 대략적인 프로세스에 대해서 살펴보았고, 그 중에서 가장 중요한 지표(혁신회계)에 대해서 살펴보았다. 무엇보다 중요한 것은 스타트업 서비스에 새로운 가설을 기반으로 한 서비스나 기능을 추가했을 때 이를 측정할 수 있는 지표를 정의하고 측정하는 것이 중요하며, 특히 이 지표 정의시, 스타트업의 성장을 제대로 측정할 수 있는 유효 지표를 정의하고 허수 지표를 제거하는 것이 중요하다.