증분 분석 소개

국가 수준 측정항목

Polaris에서 증분 데이터를 분석할 때, 결과를 생성하는 데 사용 되는 계층적 미디어 혼합 모델(MMM)은 지표합계가 앱 수준 및 국가 수준에서 모델에 입력된 앱 이벤트 데이터와 항상 일치하도록 보장하며 일부 아주 작은 반올림 오류를 제외한다는 것을 이해하는 것이 중요합니다.

예를 들어, MMP에서 가져오거나 사용자 지정 불러오기로 업로드한 앱 이벤트 데이터가 전체 앱에서 1일 차 수익에 총 $1,000를 반영한 ​​경우 Polaris는 앱 수준에서 증분 1일 수익으로 총 약 $1,000를 표시합니다. 마찬가지로 앱 이벤트 입력이 미국 내 1일 차 수익에 총 $500를 반영하는 경우 Polaris는 미국 전역의 1일 차 수익에 총 $500를 표시합니다. 모델의 목적은 각각의 증분에 따라 미국에서 실행되는 각 채널, 캠페인 및 소스 앱(퍼블리셔 앱)에 적절한 비율로 $500를 할당하는 것입니다.

기본 및 증분 측정항목

Polaris는 기본 및 증분 2가지 지표를 제공합니다. 증분 지표는 접두사 "Inc."로 구분됩니다. 다른 모든 지표는 기본 지표로 간주됩니다. 기본 지표는 일반적으로 라스트 터치 어트리뷰션 데이터를 반영하도록 구성됩니다. 증분 지표는 MMM의 출력을 반영합니다. 증분 지표는 비즈니스 영향 측면에서 라스트 터치 지표와 동일하게 해석되어야 합니다. 7일차 ROAS는 코호트 7일차(설치 후 7일)의 광고 투자수익입니다. 증분 7일 ROAS는 코호트 7일의 증분 광고 투자 수익입니다.

차이점은 두 측정 방법론의 차이점에 있습니다. 라스트 터치 어트리뷰션은 측정 부정확성, 편향 및 한계로 나타나는 설계 결함으로 인해 부담을 받습니다. 라스트 터치는 신규 사용자 및 수익을 포함하는 모든 다운 스트림 가치에 대한 획득 크레딧을 설치 전에 마지막으로 게재된 광고에 할당함으로써 이전 광고, 브랜딩 활동, 계절성, 인앱 프로모션 및 오가닉 리프트를 비롯한 기타 어트리뷰션 요인을 무시합니다.

Polaris에서 증분 해석하기

증분 지표는 어떻게 해석되어야 할까요?

증분 7일 ROAS와 같은 증분 지표를 해석할 때 모든 중복 효과를 통합한다는 점을 인식하는 것이 중요합니다. 중복 효과에는 오가닉 리프트 뿐만 아니라 미디어와 다른 미디어 간의 상호 작용이 포함되며 긍정적일 수도 있고 부정적일 수도 있습니다. 긍정적인 상호 작용에는 관련 미디어 간의 시너지 효과 또는 바이럴성 또는 인기(종종 k-팩터라고도 함)를 기반으로 하는 오가닉 리프트 수요에 대한 지속적 혜택이 포함됩니다. 반면에 부정적인 상호작용에는 비 증분 미디어 중첩 및 오가닉 리프트의 자기잠식이 포함됩니다.

증분 지표는 모델에서 어떻게 얻어질까요?

증분 측정항목을 특정 유형의 가정 분석으로 구성하여 해석하는 것이 가장 쉬운 경우가 있습니다. 특정 미디어 세그먼트에서 마케팅이 중단되면 어떻게 될까요? 이것이 본질적으로 Polaris가 훈련된 계량 경제학 모델에서 각 증분 지표를 추론하는 방법입니다. 예를 들어, Polaris가 특정 캠페인에 대해 1일차 수익에 $100를 보고하는 경우 해당 캠페인에서 마케팅이 중단되면 1일차 수익에 $100가 손실될 것이라고 예측하는 계량 경제학 모델로 해석될 수 있습니다. 물론 캠페인을 일시 중지하면 긍정적이고 부정적인 상호 작용도 손실 되므로 진정한 net 증분이 제대로 반영됩니다.

증분 지표가 잘못된 것 같으면 어떻게 할까요?

첫째, 매우 부정확하지만 그 자체로 매우 확실한 라스트 터치에서 훨씬 더 정확한 미디어 믹스 모델링 기술을 사용하지만 자체 불확실성(수량화 할 수 있음) 정신적 도전이 될 수 있는 큰 도약이지만 우리MetricWorks가 도와드립니다.

신뢰구간과 방향성

Polaris가 생성하는 신뢰 구간은 95% 구간입니다. 즉, 모델은 실제 증분 지표 값이 하한과 상한 사이에 있다고 95% 확신합니다. 큰 신뢰 구간은 Polaris가 덜 확실하지만 방향이 여전히 정확할 가능성이 높은 지표를 나타냅니다. 예를 들어 MMM에서 채널의 7일 ROAS가 라스트 터치보다 5배 더 크다고 생각하지만 신뢰 구간이 넓다면 증분 지표를 방향으로 해석해야 합니다. 다시 말해, 정확히 5배는 아닐 수도 있지만 대부분의 신뢰 구간이 라스트 터치 지표보다 훨씬 높기 때문에 상당히 클 가능성이 높습니다. 요컨대, 신뢰 구간이 넓을수록 모델의 정확성은 떨어지고 귀하의 해석 방향성은 높아집니다.

증분 지표 기반으로 마케팅 프로세스를 실행할 때 한번에 진행하는 대신 최적화를 점진적으로 확장하는 것이 좋습니다. 이를 통해 불확실한 증분 지표를 방향성으로 활용하는 동시에 모델에 귀중한 정보를 제공하여 증분 가정이 필요한 경우 일시 중지 없이 빠르게 대응하고 업데이트할 수 있도록 합니다. 예를 들어, 마케팅 프로세스에서 7일째의 매우 높은 증분 ROAS로 인해 예산이 5배 증가했다고 가정할 때, 시간이 지남에 따라 점차적으로 증가하게 됩니다. 이 모델은 국가 수준에서 상관 관계가 있는 성능 향상을 기대하기 때문에, 2주간의 예산 증가 후에 중단된다면, 빠르게 조정될 것입니다. 이 시점에서 모델은 훨씬 더 작은 (더 확실한) 신뢰 구간으로 라스트 터치 5배가 아닌 3일의 증분 7 ROAS를 예측할 수 있으므로, 앞으로 나아가면 방향성이 적고 진실(Ground Truth)로 해석할 수 있습니다.

진실(Ground Truth)에 대한 증분 실험

증분 실험을 사용하여 기본 정보를 설정하고 MMM 보정을 실행하는 것은 항상 가치가 있지만 특히 증분 지표가 기대치를 충족하지 못하는 경우, 한번의 실험으로도 모델 정확도, 더 중요 하게는 신뢰에 즉각적이고 막대한 이점을 제공할 수 있습니다. 종종 마케터는 실험에서 배운 확실한 실측 증분값이 예상했던 것과 상당히 다르다는 사실에 놀라곤 합니다. 또한 보정 후 신뢰 구간은 특히 처치 국가에서 자연적으로 작아지지만 가끔 다수 국가에서 더 작아 지므로 증분 해석이 방향에서 진실로 광범위하게 이동할 수 있습니다.

실험으로 인해 모델 보정이 발생하면 실험이 시작되기 몇 개월 전이라도 과거 증분 지표가 업데이트될 수 있습니다. 보정하는 동안 모델은 베이지안 사전 방식을 통해 진실과 그 진실의 기간(실험 기간)만 알려주기 때문입니다. 모델은 이 정보를 기반으로 그 진실이 얼마나 뒤떨어져 있는지를 자유롭게 결정할 수 있습니다. 업데이트 되는 모든 과거 증분 지표는 교정 전보다 훨씬 정확합니다.

충돌하는 증분 지표

Polaris는 각 지표에 대해 완전히 독립적인 모델을 학습합니다. 따라서 설치에 대한 모델, 3일차 수익에 대한 별도의 모델, 7일차 수익에 대한 완전히 별도의 모델 등이 있습니다. 각 모델은 독립 적이기 때문에 증분 지표는 때때로 현실과 반대되는 것처럼 보일 수 있습니다. 예를 들어 증분 설치는 없지만 7일 차 수익이 있는 채널을 볼 수 있습니다. 어떻게 가능 할까요?

증분 지표와 같은 모델링 된 데이터의 신뢰 구간 및 방향 해석에 있습니다. 증분 설치가 0이라는 것이 항상 0을 의미하는 것은 아니라는 점을 이해하는 것이 중요합니다(증분 실험이 실행되지 않은 경우). 모델은 채널이 증분 설치에 크게 기여하지 않는다는 것을 알 수 있지만 일부는 있을 수 있습니다. 마찬가지로 7일 차 수익 기여도가 약간 증가할 수 있지만 신뢰 구간이 넓을 수 있습니다.

설치 모델을 먼저 학습시킨 다음 설치 모델의 출력을 기반으로 7일 차 수익 모델을 학습할 수 있지만, 이렇게 하면 후자의 모델이 기대를 위반하지 않도록 제한할 수 있습니다(논리적으로 채널은 설치가 없는 경우 수익), 추정치 위에 추정치를 기반으로 합니다. 즉, 증분 출력이 더 합리적으로 보일 수 있지만 설치 모델이 사실이라는 잠재적으로 심각한 가정을 할 수 있습니다. 설치 모델이 좋지 않다면 어떻게 될까요? 7일 차 수익 모델을 기반으로 하면 두 모델을 독립적으로 학습하는 것보다 훨씬 더 부정확해 질 수 있습니다.

먼저 설치 모델을 학습한 다음 설치 모델의 출력을 기반으로 7일차 수익 모델을 학습할 수 있지만, 이를 통해 후자의 모델을 제한하여 추정치를 위반하지 않도록 할 수 있습니다. 논리적으로 채널은 설치가 없으면 수익을 얻을 수 없기 때문에 추정치를 기반으로 합니다. 즉, 증분 출력이 더 합리적으로 보일 수 있지만 설치 모델이 사실이라는 잠재적으로 심각한 가정을 할 수 있습니다. 설치 모델이 좋지 않다면 어떻게 될까요? 7일 차 수익 모델을 기반으로 하면 두 모델을 독립적으로 학습하는 것보다 훨씬 더 부정확해 질 수 있습니다.

모델링되지 않은 성과 요소

모델링 프로세스는 완전히 자동화되어 각 모델을 최적화 함으로써 다양한 품질 기준에 걸쳐 고유한 데이터 세트에서 최상의 성능을 발휘합니다. 때때로 Polaris는 모든 성과 요소에 대한 입력 데이터를 가지고 있습니다. 예를 들어, 브랜드 마케팅을 실행 중이거나 앱 성능에 큰 영향을 미치지만 아직 관련 데이터를 Polaris로 가져올 수 없는 대규모 제품 업데이트를 추진하고 있을 수 있습니다.

대부분의 경우 Polaris는 모델링 되지 않은 성과 요소(입력 데이터에서 누락된 요소, 따라서 알지 못하는 요소)를 적절하게 감지하고 오가닉 리프트에 성과을 할당합니다. 아주 드물게 모델 적합성을 수정하기 위해 수동으로 수행해야 하는 모델 구성 조정이 있습니다. 이는 일반적으로 시간의 관점에서 입력 데이터가 거의 없을 때 발생합니다. 모델링 시간이 길어질수록 모델은 자신이 알고 있는 마케팅 소스가 과거 불가사의한 성과 변동과 상관 관계가 없다는 것을 알 수 있고 국가 전체의 추세라고 가정하기 때문입니다. 이러한 상황은 드물지만, 문제가 있는 경우 고객 성공 관리자에게 문의하십시오.

업데이트 날짜: 20/09/2022