• 388 ~ 401p 21장 끝까지

Tips

7가지 코드 - 닐 메타, 아디티야 아가쉐, 파스 디트로자 지음

A/B 테스트의 오점들

요약

• A/B 테스트는 절대 맹목적으로 믿으면 안된다. 지표가 곧 법은 아니기 때문이다.
  A/B 테스트는 객관적이라는 장점이 있으나, 디자인처럼 주관적인 요소를 설명하지는 못한다. 또한 지표를 단기적으로 측정하여 제품을 개선하는 것은 장기적으로 비즈니스에 실질적인 도움이 되지 않을 수 있다.
• A/B 테스트에 대해 동의여부를 묻는 다면, 이는 한쪽의 성향이 치우치는 테스트가 될 수 있다. 이를 해결하기 위해 베타테스터 중에서 임의로 선택된 부분집합에 기능을 제공하는 것이다.
• 주요 테크 기업들이 신규제품을 크게 발표 하면 이는 A/B 테스트를 진행 할 수 없다. 또한 하드웨어도 A/B 테스트를 진행 할 수 없으며, 보통 도그푸딩 이라고 불리는 내부 테스트를 의존한다.
• 체리피킹이란 우연히 주장을 뒷받침 해주는 조각 몇 개를 골라 전체 데이터가 유리하게 적용되는 것 처럼 보이게 하는 전술이다. 회사에 유리한 데이터만 고르는것. 옳지 않다.
• 성공 지표에 도움이 되었을 때 손해를 볼 수 있는 지표인 반대지표(Countermetrics)도 같이 봐야 한다.
• 신규효과는 기능의 변화에서 일시적으로 지표가 튀는 현상을 말한다. 이렇게 튀는 이유는 기능의 변화가 뛰어나서일 수 있으나 사용자는 그냥 새로운 버튼이라 눌러본 결과 일 수 있다.
  한편 학습효과는 처음에는 지표가 낮으나 사용자의 학습으로 점점 데이터가 오르는 현상이다.

교훈 및 적용

• A/B 테스트를 진행 하면서 해당 지표의 이유를 분석 할 수 있어야 한다. 공부하자.