4 day 2024.01.18.

08. 서비스 기획 업무 A~Z 알아보기

29. AB Test Case study

- goodui.org

1) Airbnb A/B 테스트 사례

    1-1) 성공 사례: 유저 별점 노출 (2019년 9월 23일)

        - 실험군: 별 개수 채우기 및 댓글

        - 대조군: 별점 숫자로 표기, 리뷰 개수, 별점/리뷰의 색상 차이

        - 결과: 유저들의 명확한 판단과 판매자의 서비스 개선에 도움을 줌

 

    1-2) 실패 사례: 업체의 가용일정 노출 (2020년 9월 3일)

        - 실험군: 체크인/체크아웃 일정 및 게스트 인원

        - 대조군: 업체 가용일정 노출

        - 결과: 소비자의 편의성 제공을 위해 업체 예약 가능 일정을 사전에 노출했으나, 유저들의 예약 일정이 광범위하므로 사용율 저조

 

    1-3) 성공 사례: 예약하기 버튼 상단으로 이동 (2020년 8월 10일)

        - 실험군: 디자인적으로 애매하지만, 예약하기 버튼을 금액 위로 올림 및 세부 항목별 설명 버튼 범위 넓힘

        - 대조군: 안정적으로 모든 예약 내용 확인 후, 맨하단 '예약하기' 버튼

        - 결과: 예약하기 버튼을 상단으로 옮겨 더 높은 효율을 발휘함

 

2) 네덜란드 이커머스 bol.com A/B 테스트 사례

 

    2-1) 성공 사례: 유저 별점과 별점에 참여한 유저 수 노출 (2020년 9월 23일)

        - 실험군: 별점, 별점 개수 표시

        - 대조군: 리뷰 수 추가하여 별점, 별점 개수와 함께 표시

        - 결과: 유저 별점과 별점에 참여한 유저 수를 함께 노출하는 것이 더 높은 효율을 발휘함. 이 외국의 성공 사례를 국내 서비스에 적용하면 비용과 기간을 절약할 수 있음.

 

3) Amazon A/B 테스트 사례

 

    3-1) 실패 사례: 정기결제를 기본 선택값으로 변경 (2020년 2월 24일)

        - 실험군: 정기결제를 '기본 선택값'으로 설정

        - 결과: 일반결제 영향 및 정기결제 영향력 확인 → 트레이드 오프 현상 또는 유저의 불편함으로 실패

 

    3-2) 실패 사례: Buy Now 버튼 제거 (2020년 5월 4일)

        - 실험군: Buy Now/Add to Cart 버튼

        - 대조군: Add to Cart 버튼만

        - 결과: 수익이 우수하더라도, 유저의 불편함이 발생하면 실패

 

    3-3) 성공 사례: 보증 내용 아이콘 추가 (날짜 미제시)

        - 실험: 가격 바로 앞과 옵션 선택 전에, 3가지 보증 아이콘(안전한 결제 / 환불규정 / 아마존 배송 특징) 추가

        - 결과: 유저 인터뷰 및 시장조사를 통해 어느 위치에 무엇을 추가할지 고려하여 성공

 

4) Netflix A/B 테스트 사례

 

    4-1) 성공 사례: 이메일 입력 필드 최앞단 배치 (2020년 2월 18일)

        - 실험: 이메일만 기재해도 가입 진행

        - 대조군: 가입 버튼

        - 결과: 가입 전환율 향상

 

    4-2) 실패 사례: 비밀번호 및 이메일 발송 opt-out 체크박스 추가 (2020년 3월 31일)

        - 실험: 이메일 가입은 성공했으나, 이메일+비밀번호를 첫 이미지에 넣을 경우 부담

        - 결과: 추가 실험(2) 응용에서 낮은 전환율로 실패, 기존안으로 회귀

 

5) Booking.com A/B 테스트 사례

 

    5-1) 성공 사례: 예약 날짜 설정 date picker 자동 노출 (2019년 3월 6일)

        - 실험군: 장소, 날짜 수기 입력, 인원

        - 대조군: 디자인적으로 복잡하지만, 날짜를 클릭해서 데이터 입력

        - 결과: 높은 검색 전환율을 보여 유지됨

 

6) 세계 최대의 핸드메이드 커머스 플랫폼 Etsy A/B 테스트 사례

 

    6-1) 성공 사례: 상세 배송 타임라인 제공 (2020년 11월 24일)

        - 실험: 핸드메이드 제품으로 배송이 느린 문제점을 해결하기 위해 배송 관련 정보를 노출 (주문 날짜에 따른 배송일 날짜 기재)

        - 결과: 국내 사례 적용하여 배송일 & 남은 시간을 추가한 '쿠팡' 예를 들며, 실험군이 더 좋은 효율을 보여 주어 채택됨

 

    6-2) 성공 사례: 상품 페이지에서 구매 수량 표기 (2020년 9월 10일)

        - 실험: 수량 버튼 추가

        - 결과: 유저의 수량 접근성을 높여서 복수 구매를 유도, 실험 성공하여 100% 적용됨

 

 

 

-      모르는 단어

-      ARPPU (Average Revenue Per Paid User): 결제 사용자 당 평균 수익 (총 수익 / 결제 사용자)

-      AOV (Average Oder Value): 고객이 한 번의 구매로 지불하는 평균 금액 (전체 주문액  / 전체 주문수)

-      ABS (Average Basket Size): 고객이 한 번에 구매하는 평균 상품 수