실험 방법론
MetricWorks가 선호하는 증분 실험 방법론에 대하여 간략하게 설명드립니다. 데이터 과학에 대한 설명의 목적은 여러분에게 수준높은 직관을 제공하기 위한 것입니다. 기존 방식: 무작위 비교시행(RCT) 증분 실험을 설계하는 방법에는 여러 가지가 있습니다만 역사상 가장 보편적으로 인기를 누리고 있는 방법은 증분 테스트라고 불리우는 무작위 비교시행(Randomized Controlled Trials)입니다. 이 방법은 개인 정보 보호 중심 환경에서는 호환되지 않는 단점이 있습니다. 실험에 앞서 많은 수의 장치 ID를 알고 있어야 대조그룹과 처치그룹으로 무작위로 나눌 수 있고 처지그룹에만 광고가 게재되기 때문입니다. 새로운 방식: 개인 정보 보호와 호환되는 통제집단합성법(SCM) MetricWorks는 다른 분야에서 널리 활용되며 iOS 14의 ATT/SKAdNetwork를 포함한 플랫폼 변경에 영향을 받지 않는 개인 정보 보호 호환 방법을 채택했습니다. 이 기술은인기 많음실험 결과 분석
실험 결과 액세스 실행된 실험의 결과를 해석하는 방법을 이해하는 것은 증분 데이터를 신뢰하는 데 중요합니다. 실험 화면에서 행 오른쪽에 있는 결과(Results) 버튼을 클릭하면 완료된 실험에 대한 실험 결과 화면에 접근할 수 있습니다. 완료(Completed) 상태에 있는 모든 실험은 편집(Edit) 버튼으로 대체됩니다. 그래프 해석 실험 결과 화면의 왼쪽 사이드바에 실험에 대한 정보가 표시됩니다. 기본 상단 영역에는 현재 보고 있는 지표를 변경할 수 있는 드롭 다운 화살표가 있습니다. 그 아래에는 두 개의 선 그래프가 있습니다. 두 그래프 모두에서 처치 날짜(실험에 지정된 작업이 실행된 날짜)는 수직으로 회색 점선으로 표시됩니다. 실제 vs인기 많음실험 결과 실행가능성
실험을 실행하는 궁극적인 목표는 비즈니스 가치로 이어지는 활동을 알고자 하는 것이므로 실제 실측 증분 통찰력을 행동으로 전환하는 방법을 이해하는 것이 중요합니다. 이 주제에서 기억해야 할 핵심은 실험 결과가 증분 지표를 출력하는 계량경제학 모델에 자동으로 입력된다는 것입니다. 따라서 일반 마케팅 프로세스에서 API뿐만 아니라 Analytics 및 기타 화면의 Polaris 대시보드에서 사용할 수 있는 증분 메트릭을 활용하기만 하면 됩니다. 실험이 완료된 후 계량경제학 모델을 새로 고치면 실측 결과를 사용하여 조정합니다. 이 프로세스를 통해 실험이 실행된 날짜에 처리된 트래픽에 대한 증분 지표가 정확하고 100% 확실해 집니다. 또한 처치되지 않은 캠페인 및 국가에 대해서도 모델의 나머지 부분에서 정확성과 확실성을 크게 높이는 데 도움이 됩니다. 증분가이드에서 사례를 들었듯이, 라스트 터치 MMP에서 제공하는 라스트 터치 3일차 ROAS와 Polaris가 제공하는 증분 3일부 독자통계적 실험 평가 고려 사항
자동으로 생성된 실험의 경우 통계적 고려 사항은 Ratio, Score 및 Risk 열의 실험 화면에서 수치화 됩니다. Ratio 열은 위험도 비율입니다. 가장 높은 비율을 맨 위에 순위 지정하는 테이블의 기본 정렬 순서입니다. Score 열은 실험을 수행하여 얻을 수 있는 예상 정보 획득 점수를 나타내고 Risk 열은 실험 수행의 예상 위험을 나타냅니다. Score 열은 두 가지 요소를 기반으로 계산됩니다. 첫째, 계량 경제학 모델이 실험에서 설명한 트래픽의 성능에 대해 불확실한 경우 경험적 진실을 찾아 더 많은 정보를 얻을 수 있습니다. 계량경제학적 모형이 확실한 경우에는 그 반대입니다. 둘째, 실험에 설명된 트래픽의 총 성과가 앱의 평균과 거리가 멀다는 것을 확인했다소수 독자실험 평가 및 우선 순위 지정
실험 요건 사항 실험을 평가할 때 다음 사항들을 고려해야 합니다. 총 예산에서 차지하는 점유율: 총 예산 중 극히 적은 부분을 채널에 지출하는 경우 일시 중지하면 감지하기 어려운 영향을 미칠 수 있습니다. 국가 수준 성과량: 처치 국가의 설치 또는 수익률이 매우 낮은 경우 트래픽을 일시 중지해도 해당 매트릭스에 측정 가능한 영향이 없을 것입니다. 실험 중 일상업무: 가능한 많은 잠재적 교란 변수를 제어하기 위해 실험 중에 "일상 업무"를 유지할 수 있도록 보장합니다. 1주간의 실험기간: 2~3일 단축 또는 연장 가능성이 있지만 업무 중단 및 혼란 변수의 가능성을 최소화하면서 통상 1주일이면 충분한 결과를 얻을 수 있습니다. 평가 고려 사항 Polaris에서 실험을 평가할 때, 주된 동기는 각 실험의 영향을 이해하여 실험의 우선 순위를 매기는 것입니다. 우선 순위 지정방법에는 통계적 평가와 사업적 평가의 두 가지 주요 고려 사항이 있습니다. 실소수 독자비즈니스 실험 평가 고려 사항
비즈니스 관점은 통계적 관점만큼 중요하고 종종 더 중요합니다. 실험을 평가할 때 전략적 및 전술적 수준 모두에서 비즈니스에 대한 트래픽의 중요성을 고려하십시오. 목표는 두 가지 유형의 비즈니스 위험을 평가하는 것입니다. 일시 중지로 트래픽을 처치할 위험 첫 번째 위험은 두 가지 지표를 검사하여 평가할 수 있습니다. 지출/ 트래픽 사용자 수 증분 간의 불일치가 높은 경우 마케팅 프로세스는 어떤 버전의 지표를 신뢰 하는지에 따라 매우 다른 조치를 지시 하므로 강력한 증거 없이 둘 중 하나를 믿을 위험성이 높아집니다. 잠재적으로 영향을 미칠 수 있는 결정을 내리기 전에 실험을 통해 실제 증분성을 확보하면 증분 지표에 대한 확실한 증거를 얻을 수 있으므로 적절한 조치를 취해야 합니다. 그러나 지출이 적다면 큰 차이가 있더라도 비소수 독자