> ## Knowledge Base Index
> Fetch the complete knowledge base index at: https://help.metric.works/sitemap.xml
> Use this file to discover available pages before exploring further.
> Pure-Markdown content can be obtained by appending a '.md' suffix to the content URLs listed in the sitemap (without the trailing slash).

# 실험 방법론

MetricWorks가 선호하는 증분 실험 방법론에 대하여 간략하게 설명드립니다. 데이터 과학에 대한 설명의 목적은 여러분에게 수준높은 직관을 제공하기 위한 것입니다.
 
# 기존 방식: 무작위 비교시행(RCT)

증분 실험을 설계하는 방법에는 여러 가지가 있습니다만 역사상 가장 보편적으로 인기를 누리고 있는 방법은 증분 테스트라고 불리우는 무작위 비교시행(Randomized Controlled Trials)입니다. 이 방법은 개인 정보 보호 중심 환경에서는 호환되지 않는 단점이 있습니다. 실험에 앞서 많은 수의 장치 ID를 알고 있어야 대조그룹과 처치그룹으로 무작위로 나눌 수 있고 처지그룹에만 광고가 게재되기 때문입니다. 
 
# 새로운 방식: 개인 정보 보호와 호환되는 통제집단합성법(SCM)

MetricWorks는 다른 분야에서 널리 활용되며 iOS 14의 ATT/SKAdNetwork를 포함한 플랫폼 변경에 영향을 받지 않는 개인 정보 보호 호환 방법을 채택했습니다. 이 기술은 통제집단합성법(Synthetic Control Method)이라고 합니다.  Polaris는 하나의 국가, 즉 처치국가에만 영향을 미치는 실험을 자동으로 설계하고 검증하는 것을 제안합니다.
 
## 피팅 및 검증 제어
 
유효성 검증단계에서 Polaris는 일반적으로 처치국가와 밀접하게 일치하는 처치국가 이외의 국가의 가중 평균인 합성대조그룹(Synthetic Control Group)에 적합합니다. 이 아이디어는 합성 제어를 사용하여 보통 일시 중지를 통한 처치가 일어나지 않았더라면 어떤 일이 일어났을 지를 예측하는 것입니다. 각 지표에는 자체 합성 제어 기능을 가지고 있습니다. 지표에 대해 밀접하게 일치하는 제어를 식별할 수 없는 경우 실험이 취소되고 처치국가가 실험에 대해 유효하지 않은 것으로 플래그가 지정됩니다.

이 방법론은 실험에 의해 발견된 모든 증분영향이 다른 요인이 아닌 처치에 의해 직접 발생했음을 확인하지만, 실험 중에 발생하는 특별한 사건이 처치 및 대조국가 모두에 영향을 미치는 경우에만 작동합니다. 예를 들어 모바일 앱 버그가 처치국가의 사용자에게만 밀리면 국가 수준의 성과가 떨어질 수 있지만 다른 국가에는 영향을 미치지 않아 제어할 수 없으므로 감소는 처치로 오인 될 수도 있습니다. 모바일 앱 버그가 전 세계적으로 밀리면 합성 제어는 성능타격을 예상할 수 있을 것입니다. 

각 잠재적 실험은 플라시보 테스트를 통해 추가로 검증됩니다. 이 프로세스는 데이터 세트에 대한 모의 실험의 연장으로서 실험을 실행하기 전에 어떠한 처치도 발생하지 않았음을 의미합니다. 무작위 국가 및 무작위 처치 날짜를 대상으로 모의실험을 함으로써 아직 처치된 것이 없기 때문에 "플라시보 테스트"에서 통계적으로 유의미한 영향이 발견되지 않을 경우 향후 실험이 유효하다는 것을 보장할 수 있습니다. 이 과정은 또한 통계적 유의성에 필요한 실험의 최소 기간을 추정하는 데 사용됩니다.

## 결과 계산

일단 실험이 예약되고 실행되면, 처치의 증분 영향(일반적으로 트래픽 일시 중단을 통해)은 합성대조군이 설정한 기대치에서 처치 국가의 실제 성과를 빼서 계산할 수 있습니다. 대부분의 경우 일시 중지로 인해 처치국가에서 지표가 감소합니다. 지표가 합성제어의 기대치 아래로 감소하면 일시 중지가 발생하지 않는 평행우주에 대한 트래픽 일시 중지로 인해 손실된 증분을 나타냅니다.
 
## MMM 보정

이러한 진리 실측 결과는 실험에서 처리되지 않은 데이터의 양을 포함하여 전체 미디어 믹스에 걸쳐 모든 증분 지표를  출력하는 데 사용 되는 모델을 보정하는 데 자동으로 사용됩니다. 따라서 실험의 두가지 목적은 1) 특정 국가의 일부 트래픽에 대한 증분 지표의 정확도를 100%로 높이고 2) 다른 모든 트래픽에 대한 증분 지표의 정확도를 100% 미만으로 크게 늘리는 것입니다.
Polaris 보정은 가장 큰 영향에서 가장 낮은 영향의 순서로 MMM의 정확도를 향상 시킵니다.
 
1.     처치국가에서 처리된 트래픽에 대한 100% 정확도를 향상 시킵니다.
2.    처치국가에서 처리되지 않은 트래픽에 대한 정확도를 크게 개선합니다.
3.    각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가에서 처치된 트래픽에 대한 정확도에 대한 영향은 낮습니다.
4.    각 국가가 처치국가와 얼마나 유사한지에 기반 하여 잠재적으로 크지만 일반적으로 미처치 국가의 미 처치된 트래픽에 대한 정확도에 대한 영향은 더 낮습니다.

 
MetricWorks는 베이지안 모델을 적용하여 개선합니다. 처치국가에서 처리된 트래픽에 대해 매우 강한 사전정보를 부여하고 미처치 국가에서 처리된 트래픽에 대해 약한 사전정보를 할당합니다. 본질적으로, MMM은 오가닉 리프트 수요 및 마케팅 증분을 포함하여 전체 성과에 영향을 미칠 수 있는 요인에 해당하는 많은 알려지지 않은 변수를 풀어 해결합니다. 실측 결과를 기반으로 사전정보를 주입함으로써 한 채널의 증분과 같은 미지의 변수를 알려진 값으로 대체하여 모델이 나머지 미지의 변수를 정확하게 계산하기 쉽게 합니다.