실험 결과 실행가능성

실험을 실행하는 궁극적인 목표는 비즈니스 가치로 이어지는 활동을 알고자 하는 것이므로 실제 실측 증분 통찰력을 행동으로 전환하는 방법을 이해하는 것이 중요합니다. 이 주제에서 기억해야 할 핵심은 실험 결과가 증분 지표를 출력하는 계량경제학 모델에 자동으로 입력된다는 것입니다. 따라서 일반 마케팅 프로세스에서 API뿐만 아니라 Analytics 및 기타 화면의 Polaris 대시보드에서 사용할 수 있는 증분 메트릭을 활용하기만 하면 됩니다.

실험이 완료된 후 계량경제학 모델을 새로 고치면 실측 결과를 사용하여 조정합니다. 이 프로세스를 통해 실험이 실행된 날짜에 처리된 트래픽에 대한 증분 지표가 정확하고 100% 확실해 집니다. 또한 처치되지 않은 캠페인 및 국가에 대해서도 모델의 나머지 부분에서 정확성과 확실성을 크게 높이는 데 도움이 됩니다.

증분가이드에서 사례를 들었듯이, 라스트 터치 MMP에서 제공하는 라스트 터치 3일차 ROAS와 Polaris가 제공하는 증분 3일차 ROAS 사이에 상당한 불일치가 아주 중요한 캠페인에서 확인되었다고 가정해 보겠습니다. 대규모 예산 감소(3일차 ROAS 증분성은 낮지만 라스트 터치는 과대평가된 것 같음)를 초래하는 지표의 증분 버전 만을 기반으로 마케팅 프로세스를 수행하기 전에 진실을 찾기 위한 실험을 실행 하기로 결정합니다.

실험이 끝나면 처치가 역전됩니다. 3일차 수익을 포함한 모든 코호트 지표에 대한 3일차 ROAS가 실측증분값이 3일 후 도출됩니다. Polaris의 Analytics 화면을 방문하여 캠페인에 대한 3일차 ROAS가 실험 결과를 반영하도록 업데이트 되었음을 확인할 수 있습니다. 계량경제학 모델의 방향은 정확하지만 약간의 차이가 발생합니다. 라스트 터치 어트리뷰션은 캠페인을 훨씬 과대 평가했고 실험으로 검증된 증분 3일차 ROAS는 마케팅 프로세스에서 신뢰감있게 활용되며 캠페인 예산은 크게 줄어들 수 있음을 볼 수 있습니다.

요약하자면, 실험 보정된 계량경제학 모델에서 도출 되고 Polaris 대시보드 및 API에 표시 되는 증분 지표는 라스트 터치 지표가 동일한 프로세스에서 활용되는 것과 같은 동일한 방식으로 마케팅 활동의 주요 영향으로 활용되어야 합니다. 유일한 차이점은 라스트 터치 어트리뷰션이 증분을 측정하도록 설계되지 않았다는 것입니다. 또한 얼마나 불확실한지에 대한 정보를 제공하지 않으며 일반적으로 결과를 검증할 방법을 제공하지 않습니다. Polaris는 개인 정보 보호에 중점인 방식으로만 증분을 측정하고 불확실성을 정량화하며 실험을 통해 검증과 보정결과 모두를 제공합니다.

업데이트 날짜: 30/11/2022