비즈니스 실험 평가 고려 사항

비즈니스 관점은 통계적 관점만큼 중요하고 종종 더 중요합니다. 실험을 평가할 때 전략적 및 전술적 수준 모두에서 비즈니스에 대한 트래픽의 중요성을 고려하십시오.

목표는 두 가지 유형의 비즈니스 위험을 평가하는 것입니다.

특정 트래픽의 증분 지표를 믿을 위험
일시 중지로 트래픽을 처치할 위험

첫 번째 위험은 두 가지 지표를 검사하여 평가할 수 있습니다.

특정 트래픽의 마지막 터치 어트리뷰션과 증분 지표간의 불일치
지출/ 트래픽 사용자 수

증분 간의 불일치가 높은 경우 마케팅 프로세스는 어떤 버전의 지표를 신뢰 하는지에 따라 매우 다른 조치를 지시 하므로 강력한 증거 없이 둘 중 하나를 믿을 위험성이 높아집니다. 잠재적으로 영향을 미칠 수 있는 결정을 내리기 전에 실험을 통해 실제 증분성을 확보하면 증분 지표에 대한 확실한 증거를 얻을 수 있으므로 적절한 조치를 취해야 합니다.

그러나 지출이 적다면 큰 차이가 있더라도 비즈니스에 미치는 위험은 거의 없습니다. 일반적으로 우선 순위가 낮은 국가에서 중요하지 않은 채널의 실제 증분을 이해하는 것은 넉넉한 예산이 할당된 아주 중요한 채널만큼 가치가 없습니다.

실험에서 트래픽을 처치하는 위험을 이해하는 것도 중요합니다. 예를 들어, 트래픽이 전략적으로 중요하여 중단이 비즈니스를 위태롭게 할 수 있는 경우 실험은 실행 후보로서 최소한 일시적으로 제거되어야 합니다. 또한 채널의 특성을 고려해야 합니다. 점점 줄어들고 있는 광고 네트워크는 여전히 중단을 잘 처리하지 못하는 레거시 알고리즘을 사용합니다. 통계 및 비즈니스 고려 사항의 균형을 유지하기 위해 마케팅팀과 데이터 과학 팀 간의 협업이 필요한 경우가 많습니다.

업데이트 날짜: 31/08/2022