A/B 테스트(에이콘 검색마케팅 웹 분석 시리즈)

◈ 이 책에서 다루는 내용 ◈

◆ 과학적 방법을 사용한 종합 대조 실험을 통해 가설 평가
◆ 주요 메트릭 및 전반적인 평가 기준 정의
◆ 결과의 신뢰도를 검증하고, 실험자들에게 위배된 가정에 대한 경고 제공
◆ 실험 결과의 빠른 해석과 반복 실험
◆ 주요 사업목표를 보호하기 위한 가드레일 구축
◆ 실험의 한계 비용을 0에 가깝게 낮추는 확장 가능한 플랫폼 구축
◆ 이월 효과, 트위먼의 법칙, 심슨의 역설, 네트워크 상호작용과 같은 흔한 실수 피하기
◆ 일반적인 가정 위반을 포함해 통계 문제 처리 이해

◈ 이 책의 구성 ◈

1부는 배경에 상관없이 모든 사람이 읽을 수 있도록 설계됐으며, 총 4장으로 구성돼 있다.
1장에서는 온라인 종합 대조 실험 실행의 이점을 간략히 설명하고 실험 용어를 소개한다.
2장에서는 예를 들어 엔드-투-엔드로 실험을 실행하는 과정을 살펴본다.
3장에서는 일반적인 함정 및 실험 신뢰도 구축 방법을 설명한다.
4장에서는 실험 플랫폼을 구축하고 온라인 실험을 확장하기 위해 필요한 사항을 개략적으로 설명한다.
2부에서 5부까지는 필요에 따라 모든 사람이 이용할 수 있지만, 각 장은 특정 청중에 초점을 두고 작성됐다. 2부에는 조직 지표와 같은 펀더멘털에 관한 5개의 장들이 포함돼 있다. 2부에서는 특히 리더와 임원 모두에게 권장되는 내용을 다룬다.
3부의 2개 장은 리더, 데이터 과학자, 엔지니어, 분석가, 제품 관리자들이 온라인 종합 대조 실험을 보완하는 기법을 소개한다. 이 기법은 자원 및 시간을 투자할 때, 유용한 지침으로 사용될 수 있을 것이다.
4부는 실험 플랫폼 구축에 중점을 두고 엔지니어를 대상으로 설명한다.
마지막으로, 5부에서는 고급 분석 주제를 파고들어 데이터 과학자를 대상으로 한다.

◈ 옮긴이의 말 ◈

이 책은 빙(Bing)에서의 광고 페이지 속 한 줄의 변화로 전체 매출의 10%를 향상시킨 놀라운 사례로 시작한다. 단순한 A/B 테스트의 기술서가 아닌 마이크로소프트, 구글, 링크드인에서 수년간 온라인 종합 대조 실험을 주도했던 저자들의 경험과 교훈을 공유하는 책이다.
숫자를 얻는 것은 쉽다. 하지만 믿을 수 있는 숫자를 얻는 것은 어렵다. 실험 결과를 단순한 숫자로 얻는 것이 아니라 믿을 수 있는 숫자를 얻을 수 있도록 신뢰도 높은 온라인 종합 대조 실험을 설계하고, A/B 테스트를 사용해 혁신을 가속화하는 방법에 대해 이야기하고 있다. 저자들은 현재 연간 20,000건 이상의 종합 대조 실험을 실행하는 각 기업에서의 경험을 바탕으로 학생과 업계 전문가가 실험을 시작할 수 있도록 예시, 빠지기 쉬운 실수 및 조언을 공유하고 있을 뿐만 아니라 데이터 기반 의사결정 방식을 개선하고자 하는 숙련된 실무자들에게도 도움될 심화 주제에 대해서도 깊이 있게 논의한다.
온라인 종합 대조 실험인 A/B 테스트는 2000년 중반부터 시작된 테크기업들의 문화적 혁신, 예를 들면 에릭 리스의 린 스타트업(Lean Startup) 및 MVP(최소 기능 제품)의 개념과 그 맥을 같이 한다. 기능 또는 서비스의 작은 변화를 지속적으로 온라인에서 테스트하면서 조금씩 기능 또는 서비스를 개선한다. A/B 테스트는 과거의 설계-개발-테스트-배포의 상품개발이 3년의 주기에 걸쳐 진행되던 행태를 해방시켜 이제는 빠르게 기능 또는 서비스를 출시하고 이를 지속적으로 테스트해 고객과 실시간으로 소통할 수 있도록 한다. 또한 이러한 점에서 A/B 테스트는 개인화된 서비스를 중시하는 여러 분야에서 전통적인 설문조사나 시장조사를 탈피해 실제 상황에서 고객의 취향을 가장 잘 반영하는 서비스와 추천을 가장 효율적으로 달성시킬 수 있는 방법이기도 하다.
A/B 테스트의 기능 중 가장 중요한 것은 한꺼번에 모든 것을 테스트하는 것이 아니라 조금씩 테스트하는 것이다. 통제된 상황에서 이를 실행하는데, 이는 온라인상의 통제이므로 실제 상황을 반영하는 통제이다. 따라서 연관분석(예를 들어 장바구니 분석)에서와 같이 상관관계를 발견하는 것을 넘어서 원인과 결과를 밝히는 설명력이 가능한 인과성을 발견하고자 하는 것이 주된 목적이다. (그래서 그 테스트 대상은 작은 무엇인가가 될 것이다.) 이러한 발견은 보다 설명력이 있기 때문에 테스트의 승자가 상품 또는 서비스의 개선을 위해 큰 신뢰도로 강건하게 도입될 수 있는 것이다. 이에 대한 많은 예제가 이 책에 담겨있으니 독자들은 이를 즐기기를 바란다.

1부. 모두를 위한 입문 주제
1장. 소개와 동기
2장. 실험의 실행과 분석-엔드-투-엔드 예제
3장. 트위먼의 법칙과 실험의 신뢰도
4장. 실험 플랫폼과 문화

2부 모두를 위해 선택된 주제
5장. 속도의 중요성: 엔드-투-엔드 사례 연구
6장. 조직 운영을 위한 지표
7장. 실험을 위한 지표와 종합 평가 기준
8장. 제도적 기억과 메타 분석
9장. 종합 대조 실험의 윤리

3부 종합 대조 실험에 대한 보완 및 대체 기법들
10장. 보완 기법들
11장. 관측 인과 연구

4부 실험 플랫폼 구축을 위한 고급 주제
12장. 클라이언트 측 실험
13장. 계측
14장. 랜덤화 단위 선택
15장. 실험 노출 증가시키기: 속도, 품질 및 위험의 트레이드오프
16장. 실험 분석 확장

5부 실험 분석을 위한 고급 주제
17장. 온라인 종합 대조 실험에 사용되는 통계 이론
18장. 분산 추정 및 민감도 개선: 함정 및 해결책
19장. A/A 테스트
20장. 민감도 향상을 위한 트리거링
21장. 샘플 비율 불일치 및 기타 신뢰 관련 가드레일 지표
22장. 실험 간의 누출 및 간섭
23장. 장기 실험효과 측정

론 코하비 Ron Kohavi
에어비앤비의 상무 이사이자 기술 펠로우이다. 이 책은 마이크로소프트의 기술 펠로우이자 본사 상무 이사로 있을 때 쓴 것으로, 그 이전에는 아마존의 데이터 마이닝 및 개인화 책임자였다. 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았다. 그의 논문은 40,000개 이상의 인용됐으며, 그중 3개가 컴퓨터 과학에서 가장 많이 인용된 상위 1,000개의 논문에 속한다.