[코드스테이츠 PMB 14기] 패스오더 A/B 테스트를 진행해보자, 근데 이제 기대효과를 곁들인

https://yek-key.tistory.com/31?category=1078898 

[코드스테이츠 PMB 14기] 첫인상은 3초 만에 결정된다 - 패스오더 랜딩페이지 분석

 지난 글에 이어서...

---

 

지난 글에서는 패스오더 랜딩페이지의 개선점으로 총 3가지를 꼽았다. 이번 글에서는 개선점 중 2번 째인, 혜택 계산하기 기능 강조하기 A/B테스트 진행 방법을 계획하고자 한다. 

 

AB테스트 가설을 먼저 세워볼까?
혜택계산하기 기능을 랜딩페이지에 추가한다면 상담신청 전환율이 올라갈 것이다.

5층 구조 프레임워크는 목표, 문제, 솔루션, 결과, 근거 총 5단계 계층 구조를 통해 가설을 견고하게 만드는 사고 방식이다. ^[각주:1]A/B 테스트 시작 전 튼튼한 가설을 세우기 위해 5단계에 따라가보았다. 

 

- 목표 : 상담 신청 수를 늘려야한다.

패스오더의 매출은 가맹점 수와 비례하게 증가한다. 현재 랜딩페이지에서도 가맹점을 늘리기 위한  '상담' 단계로 전환에 집중하고 있다. 

하여 현재 AB테스트의 목표를 상담 수 늘리기로 정하였다. 

- 문제/기회 : 랜딩페이지내에서 상담 신청하는 비율이 낮다. 

(내부 정보는 확인을 할 수 없기에..) 평균적으로 광고를 보고 회원가입이 이루어지는 비율이 2.3%라고 한다. ^[각주:2]상담 신청 역시 개인정보를 등록하고 서비스에 대한 내용을 제공받는 다는 점에서 회원가입과 동일하다고 보아, 현재 전환율을 2.3%로 가정하였다.

 

사업 목표 상 전환율을 4%로 증가가 필요하여 현재의 문제를 '상담 신청 전환이 낮다'로 정의하였다.

 

- 솔루션 : 패스오더 도입을 통해 얻을 수 있는 혜택을 더 강조한다. 

랜딩페이지를 통해 고객들이 사업 운영에 있어 높은 비용으로 문제를 겪고 있음을 통계로 보여주고 있다. 이러한 점을 참조하여 고객의 가장 큰 문제는 인건비 등 다양한 비용으로 인한 불편함이라고 파악하였다. 

고객의 문제를 해결하기 위해 패스오더가 해결하는 문제와 혜택을 강조하는 단계가 필요하다는 솔루션을 제시하였다. 

 

- 예상 결과 :  실제금액 계산하기 참여율 증가 / 상담신청 증가

고객들이 효과보는 실제금액 계산하기 기능을 쉽게 발견할 수 있어, 계산해보기 참여율이 증가할 것으로 예상된다. 

 

- 근거 : 예상 혜택에 대한 기대로 상담 신청 증가

또한 구체적인 이득 금액에 대한 기대로 상담 신청도 함께 증가할 것으로 생각된다.

 

=> 혜택 계산하기 기능을 랜딩페이지에 추가한다면 상담신청 전환율이 올라갈 것이다

 

AB테스트 실행하기
가설을 바탕으로 

 

가설	혜택 계산하기 기능을 랜딩페이지에 추가한다면 상담신청 전환율이 올라갈 것이다
목표	상담신청 전환율 1.6%상승 (목표 전환율 4%)
기간	2022.09.26~2022.10.11 (16일간)
대상	랜딩페이지 방문자 전체 대상
측정지표	실제금액 계산 참여율, 상담 신청 전환율, 페이지 이탈율, 세션 체류 시간
A (실험군)	혜택 계산 강조 랜딩페이지 방문자 1600명
B (대조군)	기존 랜딩페이지 방문자 1600명
스케쥴	09.19~09.23 : A/B 테스트 세팅, 랜딩페이지 QA, 테스트 대상 분류 09.26~10.11 : A/B 테스트 세팅, 랜딩페이지 정상 작동 확인 10.12~10.14 : p-value 검증, 가설 검증, 지표 검토

 

에반밀러 계산기로 살펴본 적정 샘플 사이즈

 A/B 테스트 진행을 위해 총 몇 명의 모수를 모아야할까? 이를 확인하기 이해 퍼블리의 아티클을 참조하여 에반 밀러 계산기로 필요 모수를 구해보았다. 

현재 전환율 2.4%에서 4%로 증가를 목표로 테스트를 할 때 각 각 최소 1,568명이 참여해야지 이를 유의성 있는 결과라고 판단할 수 있다. 

 

약 3,200명의 모수를 모으기 위해 하루 페이지 방문가를 200명으로 가정하여 16일간 테스트 진행하는 것으로 스케쥴을 잡았다. 

 

 

 

테스트가 끝난 후 전환율 4%를 달성했을 때 이를 유의미하다고 할 수 있을까? 

몽키서베이의 p-value 계산기를 통해 p값이 0.0044 (4.4%)으로 계산되어 통계적으로 유의미함을 증명하였다. 

 

 

 

---

 

1.   아마존, 쿠팡의 AB 테스트 성공 방정식, 가설의 5층 구조와 설정 프레임워크 https://dewberry9.github.io/conditions-for-an-effective-ab-test-hypothesis?utm_source=share_link&utm_medium=referral  [본문으로]
2. Sign Up Conversion Rate https://www.klipfolio.com/metrics/marketing/sign-up-rate  [본문으로]