> ## Knowledge Base Index
> Fetch the complete knowledge base index at: https://help.metric.works/sitemap.xml
> Use this file to discover available pages before exploring further.
> Pure-Markdown content can be obtained by appending a '.md' suffix to the content URLs listed in the sitemap (without the trailing slash).

# 실험 결과 분석

# 실험 결과 액세스

실행된 실험의 결과를 해석하는 방법을 이해하는 것은 증분 데이터를 신뢰하는 데 중요합니다. 실험 화면에서 행 오른쪽에 있는 결과(Results) 버튼을 클릭하면 완료된 실험에 대한 실험 결과 화면에 접근할 수 있습니다. 완료(Completed) 상태에 있는 모든 실험은 편집(Edit) 버튼으로 대체됩니다.
 
![](https://storage.crisp.chat/users/helpdesk/website/e7f7cacc53e9c800/a9ff0a3e-a409-42d9-a5b3-f655ab_1s3zx4y.png)

---
 
# 그래프 해석

실험 결과 화면의 왼쪽 사이드바에 실험에 대한 정보가 표시됩니다. 기본 상단 영역에는 현재 보고 있는 지표를 변경할 수 있는 드롭 다운 화살표가 있습니다. 그 아래에는 두 개의 선 그래프가 있습니다. 두 그래프 모두에서 처치 날짜(실험에 지정된 작업이 실행된 날짜)는 수직으로 회색 점선으로 표시됩니다.
 

## 실제 vs 합성 제어

![](https://storage.crisp.chat/users/helpdesk/website/f0975e095b238800/dd9ef313-c0ad-4823-bc87-71ebd2_w5oohq.png)

첫 번째 그래프는 시간 경과에 따라 완료된 실험의 3가지 주요 속성을 보여 줍니다.

* 파란 실선 - 실험에서 처치된 국가(전체적으로)에서 선택한 지표의 실제 값
* 금색 실선 - 합성 대조군의 예측값
* 금색 점선 - 95% 신뢰 구간의 상한 및 하한을 의미합니다. 합성 대조군이 처치하는 실험국가의 실제 값에 대한 근사치로 오차의 한계로 해석될 수 있습니다.

### 전처리 기간

회색 수직 점선은 처치 날짜와 실험 시작을 나타냅니다. 왼쪽 영역은 전처리 기간입니다. 방법론에서 언급했듯이 파란 실선과 금색 실선은 해당 기간에 매우 가깝습니다. 그렇지 않으면 실험이 거부 되었을 것입니다.
 
### 후처리 기간

회색 수직 점선 오른쪽 영역은 전처리 기간 또는 실험이 진행되었던 기간입니다. 이 기간 동안 파란 실선은 실험국가에서 선택한 지표의 실제 값을 나타내고 금색 실선은 처리가 발생하지 않은 예상 값을 나타냅니다.

따라서 해당 기간의 줄 간 차이는 처치로 인한 실험 국가내 증분의 변화를 나타냅니다. 증분이 존재할 경우 파란색 선이 금색 실선 아래로 떨어질 것으로 예상됩니다.

### 차이점

두 번째 그래프는 편의상 파란 실선과 금색 실선의 차이를 보여주므로(파란실선 빼기 금색실선) 첫 번째 그래프에 표시된 동일한 데이터를 보는 또 다른 방법일 뿐입니다. 따라서 전처리 기간에는 선이 0 부근에 있어야 합니다. 즉, 실제 값과 제어 값이 매우 가깝다는 의미입니다. 후처리 후 기간의 값이  0 보다 작으면 선택한 지표의 증분을 나타냅니다.

![](https://storage.crisp.chat/users/helpdesk/website/f635d3a7661fb800/6ef28451-51c7-40b7-8a39-d1ebd4_1tpwnn9.png)

---

# 통계적 유의성

p-값은 화면 상단에 있습니다. 결과가 0.05(p-값이 0.05보다 작거나 같으면 통계적으로 유의한 것으로 간주됨)의 알파(Alpha)를 기준으로 결과가 통계적으로 유의한 경우 녹색이고 그렇지 않은 경우 빨간색입니다. 결과가 통계적으로 유의하지 않은 경우 처치의 영향은 크지 않습니다. 그 이유는 대체로 다음 중 하나 이상에 해당합니다.

1. 처치국가의 실제 값과 처치 후 기간의 합성 대조군에 의해 예측된 값의 차이가 충분하지 않았습니다.
2. 합성 대조군은 예측에 확신이 없었기 때문에 신뢰 구간이 넓었습니다.
3. 실험국가의 실제 값이 너무 낮아 통계적 유의성을 감지하기 어려웠습니다.

|| 통계적 유의성은 데이터가 아니라 영향 또는 증분을 나타냅니다. p-값이 높다고 해서 데이터가 충분하지 않거나 실험 기간이 충분하지 않다는 의미는 아닙니다. 발견된 증분성이 통계적으로 유의하지 않았다는 의미일 뿐입니다. 또한 p-값이 높다고 해서 결과가 폐기되는 것은 아닙니다. 우리는 여전히 p-값이 낮은 결과와 동일한 방식으로 이를 기록하고 사용합니다.

# 타이밍 결과

실측 증분 결과는 사용 가능한 지표에 대해서만 계산 되며, 새 입력 데이터를 Polaris로 가져올 때만 사용 가능합니다. 예를 들어 실험이 완료된 다음 날 새 입력 데이터를 가져온다고 가정하면 설치를 포함하는 코호트 0일 지표에 대해서만 결과를 사용할 수 있습니다. 매일 새 데이터를 가져온다고 가정할 경우 1일차 지표는 다음 날에 제공됩니다.