통계적 실험 평가 고려 사항

자동으로 생성된 실험의 경우 통계적 고려 사항은 Ratio, Score 및 Risk 열의 실험 화면에서 수치화 됩니다. Ratio 열은 위험도 비율입니다. 가장 높은 비율을 맨 위에 순위 지정하는 테이블의 기본 정렬 순서입니다. Score 열은 실험을 수행하여 얻을 수 있는 예상 정보 획득 점수를 나타내고 Risk 열은 실험 수행의 예상 위험을 나타냅니다.



Score 열은 두 가지 요소를 기반으로 계산됩니다. 첫째, 계량 경제학 모델이 실험에서 설명한 트래픽의 성능에 대해 불확실한 경우 경험적 진실을 찾아 더 많은 정보를 얻을 수 있습니다. 계량경제학적 모형이 확실한 경우에는 그 반대입니다.

둘째, 실험에 설명된 트래픽의 총 성과가 앱의 평균과 거리가 멀다는 것을 확인했다면, 즉 앱이 이상치 임을 의미하며, 진실을 발견함으로써 더 많은 정보를 얻을 수 있습니다. 이 경우 집계 성과가 앱 평균에 가까울 경우 그 반대도 마찬가지입니다.

총 성과 값은 각 지표의 규모를 정규화하고 지출로 나누어 계산합니다. 이 공식은 동일한 가중치의 각 지표를 고려하기 때문에 비즈니스에 대한 각 지표의 다양한 중요성을 고려하지 않습니다. 따라서 정보 획득 점수는 통계적 측정으로만 해석되어야 합니다.

업데이트 날짜: 26/09/2022