실험 방법론
MetricWorks가 선호하는 증분 실험 방법론에 대하여 간략하게 설명드립니다. 데이터 과학에 대한 설명의 목적은 여러분에게 수준높은 직관을 제공하기 위한 것입니다.
증분 실험을 설계하는 방법에는 여러 가지가 있습니다만 역사상 가장 보편적으로 인기를 누리고 있는 방법은 증분 테스트라고 불리우는 무작위 비교시행(Randomized Controlled Trials)입니다. 이 방법은 개인 정보 보호 중심 환경에서는 호환되지 않는 단점이 있습니다. 실험에 앞서 많은 수의 장치 ID를 알고 있어야 대조그룹과 처치그룹으로 무작위로 나눌 수 있고 처지그룹에만 광고가 게재되기 때문입니다.
MetricWorks는 다른 분야에서 널리 활용되며 iOS 14의 ATT/SKAdNetwork를 포함한 플랫폼 변경에 영향을 받지 않는 개인 정보 보호 호환 방법을 채택했습니다. 이 기술은 통제집단합성법(Synthetic Control Method)이라고 합니다. Polaris는 하나의 국가, 즉 처치국가에만 영향을 미치는 실험을 자동으로 설계하고 검증하는 것을 제안합니다.
유효성 검증단계에서 Polaris는 일반적으로 처치국가와 밀접하게 일치하는 처치국가 이외의 국가의 가중 평균인 합성대조그룹(Synthetic Control Group)에 적합합니다. 이 아이디어는 합성 제어를 사용하여 보통 일시 중지를 통한 처치가 일어나지 않았더라면 어떤 일이 일어났을 지를 예측하는 것입니다. 각 지표에는 자체 합성 제어 기능을 가지고 있습니다. 지표에 대해 밀접하게 일치하는 제어를 식별할 수 없는 경우 실험이 취소되고 처치국가가 실험에 대해 유효하지 않은 것으로 플래그가 지정됩니다.
이 방법론은 실험에 의해 발견된 모든 증분영향이 다른 요인이 아닌 처치에 의해 직접 발생했음을 확인하지만, 실험 중에 발생하는 특별한 사건이 처치 및 대조국가 모두에 영향을 미치는 경우에만 작동합니다. 예를 들어 모바일 앱 버그가 처치국가의 사용자에게만 밀리면 국가 수준의 성과가 떨어질 수 있지만 다른 국가에는 영향을 미치지 않아 제어할 수 없으므로 감소는 처치로 오인 될 수도 있습니다. 모바일 앱 버그가 전 세계적으로 밀리면 합성 제어는 성능타격을 예상할 수 있을 것입니다.
각 잠재적 실험은 플라시보 테스트를 통해 추가로 검증됩니다. 이 프로세스는 데이터 세트에 대한 모의 실험의 연장으로서 실험을 실행하기 전에 어떠한 처치도 발생하지 않았음을 의미합니다. 무작위 국가 및 무작위 처치 날짜를 대상으로 모의실험을 함으로써 아직 처치된 것이 없기 때문에 "플라시보 테스트"에서 통계적으로 유의미한 영향이 발견되지 않을 경우 향후 실험이 유효하다는 것을 보장할 수 있습니다. 이 과정은 또한 통계적 유의성에 필요한 실험의 최소 기간을 추정하는 데 사용됩니다.
일단 실험이 예약되고 실행되면, 처치의 증분 영향(일반적으로 트래픽 일시 중단을 통해)은 합성대조군이 설정한 기대치에서 처치 국가의 실제 성과를 빼서 계산할 수 있습니다. 대부분의 경우 일시 중지로 인해 처치국가에서 지표가 감소합니다. 지표가 합성제어의 기대치 아래로 감소하면 일시 중지가 발생하지 않는 평행우주에 대한 트래픽 일시 중지로 인해 손실된 증분을 나타냅니다.
이러한 진리 실측 결과는 실험에서 처리되지 않은 데이터의 양을 포함하여 전체 미디어 믹스에 걸쳐 모든 증분 지표를 출력하는 데 사용 되는 모델을 보정하는 데 자동으로 사용됩니다. 따라서 실험의 두가지 목적은 1) 특정 국가의 일부 트래픽에 대한 증분 지표의 정확도를 100%로 높이고 2) 다른 모든 트래픽에 대한 증분 지표의 정확도를 100% 미만으로 크게 늘리는 것입니다.
Polaris 보정은 가장 큰 영향에서 가장 낮은 영향의 순서로 MMM의 정확도를 향상 시킵니다.
처치국가에서 처리된 트래픽에 대한 100% 정확도를 향상 시킵니다.
처치국가에서 처리되지 않은 트래픽에 대한 정확도를 크게 개선합니다.
각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가에서 처치된 트래픽에 대한 정확도에 대한 영향은 낮습니다.
각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가의 미 처치된 트래픽에 대한 정확도에 대한 영향은 더 낮습니다.
MetricWorks는 베이지안 모델을 적용하여 개선합니다. 처치국가에서 처리된 트래픽에 대해 매우 강한 사전정보를 부여하고 미처치 국가에서 처리된 트래픽에 대해 약한 사전정보를 할당합니다. 본질적으로, MMM은 오가닉 리프트 수요 및 마케팅 증분을 포함하여 전체 성과에 영향을 미칠 수 있는 요인에 해당하는 많은 알려지지 않은 변수를 풀어 해결합니다. 실측 결과를 기반으로 사전정보를 주입함으로써 한 채널의 증분과 같은 미지의 변수를 알려진 값으로 대체하여 모델이 나머지 미지의 변수를 정확하게 계산하기 쉽게 합니다.
기존 방식: 무작위 비교시행(RCT)
증분 실험을 설계하는 방법에는 여러 가지가 있습니다만 역사상 가장 보편적으로 인기를 누리고 있는 방법은 증분 테스트라고 불리우는 무작위 비교시행(Randomized Controlled Trials)입니다. 이 방법은 개인 정보 보호 중심 환경에서는 호환되지 않는 단점이 있습니다. 실험에 앞서 많은 수의 장치 ID를 알고 있어야 대조그룹과 처치그룹으로 무작위로 나눌 수 있고 처지그룹에만 광고가 게재되기 때문입니다.
새로운 방식: 개인 정보 보호와 호환되는 통제집단합성법(SCM)
MetricWorks는 다른 분야에서 널리 활용되며 iOS 14의 ATT/SKAdNetwork를 포함한 플랫폼 변경에 영향을 받지 않는 개인 정보 보호 호환 방법을 채택했습니다. 이 기술은 통제집단합성법(Synthetic Control Method)이라고 합니다. Polaris는 하나의 국가, 즉 처치국가에만 영향을 미치는 실험을 자동으로 설계하고 검증하는 것을 제안합니다.
피팅 및 검증 제어
유효성 검증단계에서 Polaris는 일반적으로 처치국가와 밀접하게 일치하는 처치국가 이외의 국가의 가중 평균인 합성대조그룹(Synthetic Control Group)에 적합합니다. 이 아이디어는 합성 제어를 사용하여 보통 일시 중지를 통한 처치가 일어나지 않았더라면 어떤 일이 일어났을 지를 예측하는 것입니다. 각 지표에는 자체 합성 제어 기능을 가지고 있습니다. 지표에 대해 밀접하게 일치하는 제어를 식별할 수 없는 경우 실험이 취소되고 처치국가가 실험에 대해 유효하지 않은 것으로 플래그가 지정됩니다.
이 방법론은 실험에 의해 발견된 모든 증분영향이 다른 요인이 아닌 처치에 의해 직접 발생했음을 확인하지만, 실험 중에 발생하는 특별한 사건이 처치 및 대조국가 모두에 영향을 미치는 경우에만 작동합니다. 예를 들어 모바일 앱 버그가 처치국가의 사용자에게만 밀리면 국가 수준의 성과가 떨어질 수 있지만 다른 국가에는 영향을 미치지 않아 제어할 수 없으므로 감소는 처치로 오인 될 수도 있습니다. 모바일 앱 버그가 전 세계적으로 밀리면 합성 제어는 성능타격을 예상할 수 있을 것입니다.
각 잠재적 실험은 플라시보 테스트를 통해 추가로 검증됩니다. 이 프로세스는 데이터 세트에 대한 모의 실험의 연장으로서 실험을 실행하기 전에 어떠한 처치도 발생하지 않았음을 의미합니다. 무작위 국가 및 무작위 처치 날짜를 대상으로 모의실험을 함으로써 아직 처치된 것이 없기 때문에 "플라시보 테스트"에서 통계적으로 유의미한 영향이 발견되지 않을 경우 향후 실험이 유효하다는 것을 보장할 수 있습니다. 이 과정은 또한 통계적 유의성에 필요한 실험의 최소 기간을 추정하는 데 사용됩니다.
결과 계산
일단 실험이 예약되고 실행되면, 처치의 증분 영향(일반적으로 트래픽 일시 중단을 통해)은 합성대조군이 설정한 기대치에서 처치 국가의 실제 성과를 빼서 계산할 수 있습니다. 대부분의 경우 일시 중지로 인해 처치국가에서 지표가 감소합니다. 지표가 합성제어의 기대치 아래로 감소하면 일시 중지가 발생하지 않는 평행우주에 대한 트래픽 일시 중지로 인해 손실된 증분을 나타냅니다.
MMM 보정
이러한 진리 실측 결과는 실험에서 처리되지 않은 데이터의 양을 포함하여 전체 미디어 믹스에 걸쳐 모든 증분 지표를 출력하는 데 사용 되는 모델을 보정하는 데 자동으로 사용됩니다. 따라서 실험의 두가지 목적은 1) 특정 국가의 일부 트래픽에 대한 증분 지표의 정확도를 100%로 높이고 2) 다른 모든 트래픽에 대한 증분 지표의 정확도를 100% 미만으로 크게 늘리는 것입니다.
Polaris 보정은 가장 큰 영향에서 가장 낮은 영향의 순서로 MMM의 정확도를 향상 시킵니다.
처치국가에서 처리된 트래픽에 대한 100% 정확도를 향상 시킵니다.
처치국가에서 처리되지 않은 트래픽에 대한 정확도를 크게 개선합니다.
각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가에서 처치된 트래픽에 대한 정확도에 대한 영향은 낮습니다.
각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가의 미 처치된 트래픽에 대한 정확도에 대한 영향은 더 낮습니다.
MetricWorks는 베이지안 모델을 적용하여 개선합니다. 처치국가에서 처리된 트래픽에 대해 매우 강한 사전정보를 부여하고 미처치 국가에서 처리된 트래픽에 대해 약한 사전정보를 할당합니다. 본질적으로, MMM은 오가닉 리프트 수요 및 마케팅 증분을 포함하여 전체 성과에 영향을 미칠 수 있는 요인에 해당하는 많은 알려지지 않은 변수를 풀어 해결합니다. 실측 결과를 기반으로 사전정보를 주입함으로써 한 채널의 증분과 같은 미지의 변수를 알려진 값으로 대체하여 모델이 나머지 미지의 변수를 정확하게 계산하기 쉽게 합니다.
업데이트 날짜: 02/11/2022
감사합니다!