실험 결과 액세스

실행된 실험의 결과를 해석하는 방법을 이해하는 것은 증분 데이터를 신뢰하는 데 중요합니다. 실험 화면에서 행 오른쪽에 있는 결과(Results) 버튼을 클릭하면 완료된 실험에 대한 실험 결과 화면에 접근할 수 있습니다. 완료(Completed) 상태에 있는 모든 실험은 편집(Edit) 버튼으로 대체됩니다.

그래프 해석

실험 결과 화면의 왼쪽 사이드바에 실험에 대한 정보가 표시됩니다. 기본 상단 영역에는 현재 보고 있는 지표를 변경할 수 있는 드롭 다운 화살표가 있습니다. 그 아래에는 두 개의 선 그래프가 있습니다. 두 그래프 모두에서 처치 날짜(실험에 지정된 작업이 실행된 날짜)는 수직으로 회색 점선으로 표시됩니다.

실제 vs 합성 제어

첫 번째 그래프는 시간 경과에 따라 완료된 실험의 3가지 주요 속성을 보여 줍니다.

파란 실선 - 실험에서 처치된 국가(전체적으로)에서 선택한 지표의 실제 값
금색 실선 - 합성 대조군의 예측값
금색 점선 - 95% 신뢰 구간의 상한 및 하한을 의미합니다. 합성 대조군이 처치하는 실험국가의 실제 값에 대한 근사치로 오차의 한계로 해석될 수 있습니다.

전처리 기간

회색 수직 점선은 처치 날짜와 실험 시작을 나타냅니다. 왼쪽 영역은 전처리 기간입니다. 방법론에서 언급했듯이 파란 실선과 금색 실선은 해당 기간에 매우 가깝습니다. 그렇지 않으면 실험이 거부 되었을 것입니다.

후처리 기간

회색 수직 점선 오른쪽 영역은 전처리 기간 또는 실험이 진행되었던 기간입니다. 이 기간 동안 파란 실선은 실험국가에서 선택한 지표의 실제 값을 나타내고 금색 실선은 처리가 발생하지 않은 예상 값을 나타냅니다.

따라서 해당 기간의 줄 간 차이는 처치로 인한 실험 국가내 증분의 변화를 나타냅니다. 증분이 존재할 경우 파란색 선이 금색 실선 아래로 떨어질 것으로 예상됩니다.

차이점

두 번째 그래프는 편의상 파란 실선과 금색 실선의 차이를 보여주므로(파란실선 빼기 금색실선) 첫 번째 그래프에 표시된 동일한 데이터를 보는 또 다른 방법일 뿐입니다. 따라서 전처리 기간에는 선이 0 부근에 있어야 합니다. 즉, 실제 값과 제어 값이 매우 가깝다는 의미입니다. 후처리 후 기간의 값이 0 보다 작으면 선택한 지표의 증분을 나타냅니다.

통계적 유의성

p-값은 화면 상단에 있습니다. 결과가 0.05(p-값이 0.05보다 작거나 같으면 통계적으로 유의한 것으로 간주됨)의 알파(Alpha)를 기준으로 결과가 통계적으로 유의한 경우 녹색이고 그렇지 않은 경우 빨간색입니다. 결과가 통계적으로 유의하지 않은 경우 처치의 영향은 크지 않습니다. 그 이유는 대체로 다음 중 하나 이상에 해당합니다.

처치국가의 실제 값과 처치 후 기간의 합성 대조군에 의해 예측된 값의 차이가 충분하지 않았습니다.
합성 대조군은 예측에 확신이 없었기 때문에 신뢰 구간이 넓었습니다.
실험국가의 실제 값이 너무 낮아 통계적 유의성을 감지하기 어려웠습니다.

통계적 유의성은 데이터가 아니라 영향 또는 증분을 나타냅니다. p-값이 높다고 해서 데이터가 충분하지 않거나 실험 기간이 충분하지 않다는 의미는 아닙니다. 발견된 증분성이 통계적으로 유의하지 않았다는 의미일 뿐입니다. 또한 p-값이 높다고 해서 결과가 폐기되는 것은 아닙니다. 우리는 여전히 p-값이 낮은 결과와 동일한 방식으로 이를 기록하고 사용합니다.

타이밍 결과

실측 증분 결과는 사용 가능한 지표에 대해서만 계산 되며, 새 입력 데이터를 Polaris로 가져올 때만 사용 가능합니다. 예를 들어 실험이 완료된 다음 날 새 입력 데이터를 가져온다고 가정하면 설치를 포함하는 코호트 0일 지표에 대해서만 결과를 사용할 수 있습니다. 매일 새 데이터를 가져온다고 가정할 경우 1일차 지표는 다음 날에 제공됩니다.

업데이트 날짜: 31/08/2022