AB Test (핵심 요소, 규칙)

해당 글은 인프런 변성윤님의  PM을 위한 데이터 리터러시 강의를 기반으로 작성되었습니다.

 

AB 테스트의 핵심 요소 

: 실험 타겟, 지표, 실험 기간, 통계, 실험 플랫폼

 

1. 실험 타겟

 

 - 실험군 : 특정 조작을 진행한 집단. → 새로운 기능 or 화면을 보는 집단.

 - 대조군 : 조작이 없는 집단.  → 기존 화면.

 

2. 지표

* 아래 2개의 질문처럼 뚜렷한 목적을 기반으로 한 지표 설정이 필요.

 - 어떤 지표를 개선하고 싶은가?

 - 어떤 지표의 변화를 알고 싶은가?

 

3. 실험 기간

 

 - 유의미함이 검증될 수 있는 기간.

 - 계절성, 연휴, 프로모션 등 내외부 요소의 영향을 고려.

 

4. 통계

 

 - 빈도주의(Frequentist) 접근 → 다르다, 다르지 않다를 검정하는 방법으로 일반적인 검정 방법.

 - 베이지안 접근 → '얼마나' 다른지를 통계적으로 예측.

 

 * 빈도주의 접근을 할 때는 2가지의 가설을 통해 입증.

 - 귀무 가설 (Null Hypothesis, H0) : 차이가 없다(증명하려는 가설과 반대의 내용).

 - 대립 가설 (Alternative Hypothesis, H1) : 차이가 있다(증명하려는 가설).

 

 * 통계적으로 얼마나 유의미한지를 설명하기 위해서는 P(robability) Value 사용.

 - P value : 귀무 가설이 참이라고 할 때, 관찰한 결과가 우연히 발생할 확률.

 - P value가 5% 미만이면 귀무가설이 기각 → 두 집단의 차이가 있다.

 

 * 결과 분석 시, 2가지 효과 유의

 - 초두 효과 (Primacy effect) : 최초엔 반응하지 않고 시간이 지남에 반응.

 - 신기 효과 (Novelty effect) : 최초에 신기해서 사용 (안정화에 시간 소요).

 

5. 실험 플랫폼

 

- 무료 솔루션 : Firebase AB Testing (App)

- 유료 솔루션 : Amplitude Experiment, Mixpanel Experiment, VWO, Hackle

 

AB 테스트의 규칙

1. 실험의 목표가 무엇이고, 무슨 지표가 중요한지 정의.

2. 실험 전, 멘탈 시뮬레이션하기 → 잘 되었을 때는 어떻게? 잘 되지 않을 때는 어떻게?

3. 실험의 임팩트 여부 확인하기.

4. 타겟 고객 정의하기.

5. 필요한 표본 크기, 최소 탐지 기간 추정하기.

 - 링크에서 필요한 탐지 기간을 추정할 수 있다. 

 

VWO 최소 탐지기간 계산

 

1. Average number of daily visitors who will participate in the test → 방문자에서 테스트에 참여하는 사람들의 평균 수

 2. Estimated existing conversion rate → 확인하고자 하는 전환율

 3. Minimum improvement in conversion rate you want to detect → 확인하고 싶은 최소한의 차이

 4. Number of variations/combinations → A와 B군이 얼마나 나뉘어져 있는지

 

VWO가 탐지한 최소 시간

 

5. 실험군과 대조군을 무조건 반반으로 설정하지 않기 → 5~10%씩 점진적 배포 가능

6. 실험 기록 & 분석 자동화 잘 하기

7. 통계적 유의성에 따른 객관적 판단하기 → AB Test Calculator (링크)

A/B-Test Calculator - Power & Significance - ABTestGuide.com

AB Test P value 도출을 위한 Input

 

 

* AB 테스트를 진행하는 동안 확증 편향과 인지 편향(선택 편향, 기준점 편향, 노력 정당화) 등을 를 고려하자.

 - 확증 편향 : 자신의 선입견에 기반한 선택.

 - 선택 편향 : 표본 선택 시, 치우치게 표본 선택.

 - 기준점 편향 : 1가지 특성, 정보에 많이 의존하는 경우.

 - 노력 정당화 : 자신이 많은 노력을 가치 잇게 생각하는 경우.