• 376 ~ 387p 함정 전까지

Tips

7가지 코드 - 닐 메타, 아디티야 아가쉐, 파스 디트로자 지음

A/B 테스트

요약

• 실험코드(테스트 코드)를 직접 개발하지 않더라도 PM이면 이를 설계하고 데이터 검토를 한 뒤 업무파악을 할 수 있어야 한다.
• A/B 테스트를 통해 두가지 케이스의 제품 변수가 어떤 성과를 나타내는지 비교할 수 있다. 사용자 그룹 하나에 기능의 첫 번째 형태를, 그리고 또 다른 그룹에 변형된 두 번째 형태를 보여준다.
• A/B 테스트의 대표적인 사례로 ‘버튼의 폰트, 색상, 크기, 그 외 기타 기능을 바꾸는 것이 버튼 클릭 횟수를 증가 시킬까?’ 같은 질문을 해결하기 위해 사용한다.
• A/B 테스트 결과가 믿을 만한 것인지 확실하게 하기 위해서는 통계적 유의성 검정을 해야 한다. 이에 기본은 기각하려는 귀무가설을 세우는 것이다. 귀무가설은 가장 비관적인 관점이다.
  귀무가설을 기각할 수 있을지 아라내기 위해선 전체 인구에 적용되었는지 확인 해야 한다. 전체인구에 미칠 영향을 추산 하기 위해서 CI(신뢰구간)Confidence Interval를 구할 수 있다.
• A/B 테스트는 일반적으로 단계시행을 하고 있다. 사용자중 1%에 B 제품을 제공하고 10%, 20% 점차 증가 하면서 데이터를 수집 한다. 또한 빅테크 기업에서는 상요자에게 99%까지만 제공하고 나머지는 기능을 제공하지 않는 홀드백 그룹으로 남긴다.

교훈 및 적용

• 국내 A/B 테스트 사례를 찾아봐야 겠다. 또한 전체 인구로 테스트를 한다는 개념이 아직 이해가 되지 않아 이부분에 대해 좀더 공부 해야겠다.