A/B Testing

– 전체 디자인에서 한가지 요소에 대한 두가지 이상의 버전을 시험, 더 나은것을 판별하는 기법
– 무작위비교연구(Randomized-controlled trial) 를 인터넷 마케팅에 적용한것.
– 기존의 웹 뿐만 아니라, 모바일앱, 게임등의 분야에서 활용.
– 웹 마케팅에서 전환율을 높이기 위해서 가장 많이 사용하는 방식

왜 사용하는가?
– 보다 정확한 인과관계의 파악을 위해서, 가정을 두고 확인하는 작업
– 예를 들어, 사이트를 개편했는데 방문객의 구매율이 20%가 늘었다. 개편한 이유 때문일까? 경쟁사 사이트가 닫아서 일까? 등등
어떤 현상에 대한 원인이 정확하지 않을때 “사이트의 개편으로 인해서 방문객의 구매율이 증가하였다”는
가정을 두고 사용자를 A 와 B 의 두 그룹으로 나누어서 한 그룹에는 개편이전의 사이트를 다른 그룹에는 개편후 사이트를 보여주면서 테스트함으로써 가정을 확인한다.

* 임의적 할당(random assignment)
– 두 집단, A/B 로 임의적으로 나눠야한다.
– 임의적이어야 하는 이유는 특정 기준을 가지고 나누게 되면 해당 기준이 범용적이지 않게 된다.
예를들어, 초등학생과 아닌 사람을 두 집단으로 테스트를 하게 된다면 해당 결과가 과연 전체 사용자를 대변한다고 할수 있는가? 때문에 임의적으로 집단을 분할해야 한다.

테스트 방법 및 순서

1. 목표 및 가정 설정하기
   목표를 정해야 한다.
   예) 어떤 형태의 버튼이 회원가입을 더 유도할것인가? , 어떤 형태의 상품정보가 더 구매로 이끌게 되는가?

   1. 무엇을 테스트 할것인가?
      목표에 따라 달라지는데, 목표(가정)을 검증하기 위해서 무엇을 테스트 할것인지 설정한다.
      예) 빨간색 회원가입 버튼 vs. 파란색 회원가입 버튼
      모든 A/B 테스트는 유일해야하고 확실해야 한다:
      – 행동을 부르는 워딩이나 크기, 컬러 위치
      – 헤드라인 또는 상품 설명
      – 폼의 길이와 타입
      – 웹 사이트 레이아웃과 스타일
      – 가격과 프로모션 제공
      – 랜딩 및 상품 페이ㅣㅈ의 이미지들
      – 한 페이지의 테스트의 양(적은지 많은지)

2. 테스트 방식 정하기
   툴에 따라서 약간 다르긴 하지만, 대부분 2가지 방식중 하나로 선택한다.

3. 전환 목표(Conversion goal) 지정하기
   어떤식으로 테스트의 결과를 측정할지를 지정, A/B 테스트의 결과 기준
   예를 들면, 회원가입의 경우 회원가입 버튼을 누르는 지에 대한 클릭 카운트로 결과기준을 설정
   혹은 특정 페이지로의 진입이나 재방문률 등의 지표로 지정하는데, 전환목표의 지정은 어떤 요소를 테스트하는지에 따라 다르다.

장점

– 적은 이용, 빠르고 빈번하게 수행가능하고, 리스크가 적다

단점
– 유효 시간의 문제, 특정 기간내의 결과가 언제까지 유효할 것인가?
– 혁신의 폭이 좁다. 둘중 하나
– 더 나은것은 찾을수 있지만, 그걸 왜 선택했는지 근본적인 이유 알수 없다.
– 포커스 그룹 인터뷰 같은 심층 인터뷰처럼 근본적인 이유 찾기 어렵다.

단점 보완

최적안을 두고 계속 실험하기 : 탐험하기(Exploration)
– 현재의 최적 결과를 찾아 냈더라도 시간이 지남에따라 계속 변할수 있기 때문에 최적결과외의 다른 안을 가지고 계속 테스트하면서 변화를 추적하는 것이 중요하다.

최적안 몰아주기 : 뽑아먹기(exploitation)
– 최적안을 찾았으면 최적안으로 사용자를 몰아야 이익을 극대화 할수 있다.
– 실험을 오래 자주 할수록 전체 사용자 중에서 최적안이 아닌 것에 노출되는 사용자가 많기 떄문에 이익이 줄어들수 있다.

탐험과 뽑아먹기는 분배의 문제

사용의 예
– 웹 사이트에서 개편에서 활용
– 모바일 앱이나 게임에서의 활용
– 가입이나 구매 버튼의 위치, 색상, 문구 등을 바꿔보기
– 이메일 메시지나 푸시 메시지의 제목/본문을 바꿔보기
– 회원 가입 양식, 주문 양식 등에서 각종 필드의 순서나 필수여부 등 바꿔보기
– 사이트 네비게이션 UI 구성이나 레이블 바꿔보기
– 상품 배치나 종류 바꿔보기
– 아이템 드랍률이 적절한가
– 스테이지별 난이도가 적절하게 증가하는가
– 특정 인던의 난이도가 지나치게 쉬운가
– 레벨 디자인의 특정 요소가 플레이어로 하여금 기대한 행동을 하도록 잘 유도하는가
– 몹이 리스폰되는 장소나 간격이 적절한가
– 몬스터 AI가 지나치게 똑똑한가
– 플레이어 실력 평가 및 매치매이킹 알고리즘이 적절한가
– 새로 기획한 유료 아이템의 성능이 지나치게 좋지는 않은가

의문점
– 결과에 대한 검증은 어떻게 할 것인가?

References
– A/B Testing 에 대한 기초적인 정보들
– A-B Testing 의 단점과 개선안
– The Ultimate Guide to A/B Testing