“린(lean) 방법론의 핵심에는 가설 생성, 실험 실행, 데이터 수집, 통찰력과 가설의 검증과 수정과 같은 과학적 방법론이 있습니다. A/B 테스트는 검증 가능하고 반복 가능한 실험을 설계하는 표준이며, 이 책은 이를 위한 훌륭한 교과서입니다.”
- 스티븐 블랭크(Steve Blank) (스탠포드 대학교의 겸임교수, 현대 기업가 정신의 아버지, 『기업 창업가 매뉴얼』과 『Four Steps to the Epiphany(깨달음을 향한 4단계)』의 저자)
“이 책은 제품 기능, 프로젝트 효율성 또는 매출을 최적화하기 위해 온라인 종합 대조 실험을 사용하고자 하는 경영진, 리더, 연구원 또는 엔지니어에게 유용한 자료입니다. 코하비의 연구가 빙과 마이크로소프트에 미치는 영향을 직접 알고 있었기에 그의 배움이 이제 더 많은 청중에게 전달될 수 있게 돼 기쁩니다.”
- 해리 셤(Harry Shum) (마이크로소프트 인공지능 및 리서치 그룹 전무이사)
“엄밀하면서도 접근하기 쉬운 훌륭한 책입니다. 독자들은 인터넷 제품 개발에 혁명을 일으킨 신뢰도 높은 온라인 종합 대조 실험을 조직에 가져오는 방법을 배우게 될 것입니다.”
- 애덤 단젤로(Adam D’Angelo) (쿼라Quora의 공동 설립자이자 CEO, 페이스북의 전 CTO)
“여러 회사가 온라인 실험과 A/B 테스트를 사용해 제품을 개선하는 방법을 한눈에 알아볼 수 있는 훌륭한 책입니다. 저자들은 풍부한 경험과 훌륭한 조언을 하고자 수년 동안 배운 많은 실전 사례와 교훈을 이 책에 담았습니다.”
- 제프 딘(Jeff Dean) (구글 선임연구원 및 구글 리서치 상무)
“조직이 지속적으로 더 나은 결정을 내리기를 원하십니까? 이 책은 디지털 시대에서 데이터 기반으로 의사결정을 할 수 있도록 돕는 바이블입니다. 이 책을 읽는 것은 아마존, 구글, 링크드인, 마이크로소프트 내부의 회의에 참석하는 것과 같습니다. 저자들은 세계에서 가장 성공적인 기업들이 의사결정을 내리는 방법을 처음으로 공개합니다. 일반 비즈니스 서적에서 볼 수 있는 지침이나 일화 이외에도, 데이터에 기반한 의사결정을 위해 무엇을 어떻게 잘해야 하는지를 보여줍니다. 이 책은 비즈니스 리더, 엔지니어, 데이터 분석가를 위한 디지털 세계의 의사 결정 매뉴얼입니다.”
- 스콧 쿡(Scott Cook) (인튜이트Intuit 공동 설립자 겸 실행 위원회 회장)
“온라인 종합 대조 실험은 강력한 도구입니다. 온라인 종합 대조 실험이 어떻게 작동하고, 강점이 무엇이고, 어떻게 최적화될 수 있는지를 이해하는 것은 전문가와 많은 청중 모두에게 도움이 될 것입니다. 이 책은 기술적으로 권위 있으면서도 읽기 쉽고, 매우 중요한 문제를 다루는 세상에 많지 않은 책입니다.”
- 존 P.A.(John P.A.) (이오아니디스 의학과 보건연구정책학 교수, 스탠포드 대학교의 생물의학 데이터 과학 및 통계학과)
“과거 20년 동안 기술 산업은 과학자들이 수세기 동안 알고 있었던 것을 학습해왔는데, 그것은 바로 종합 대조 실험이 복잡한 현상을 이해하고 매우 어려운 문제를 해결하기 위한 최고의 도구 중 하나라는 것입니다. 종합 대조 실험을 설계하고, 규모에 맞게 실행하고, 그 결과를 해석할 수 있는 능력은 현대 첨단 기술 기업이 어떻게 운영되는지 보여주는 토대입니다. 저자들은 세계에서 가장 강력한 실험 플랫폼들을 설계하고 구현했습니다. 이 책은 이러한 도구와 기술을 사용하는 방법에 대한 경험을 통해 배울 수 있는 좋은 기회입니다.”
- 케빈 스콧(Kevin Scott) (마이크로소프트의 전무 및 CTO)
IT 서비스에서 프로덕트를 성장시키고, 사용자를 더 잘 이해하고자 한다면 실험이 필수적이고, 신뢰성 있는 실험을 통해 올바른 결론을 얻는 것이 중요합니다. 하지만 실제 현업에서 신뢰성 있는 실험을 하기란 쉽지 않습니다. 실험에 대한 조직 구성원들의 이해, 실험 진행을 기술적으로 뒷받침할 수 있는 실험 플랫폼, 데이터와 지표의 신뢰성 등 많은 요소를 갖추고 있어야 신뢰성 있는 실험을 진행할 수 있습니다.
이 책은 신뢰성 있는 온라인 종합 대조 실험을 진행하기 위해 알아야 할 항목들을 많은 사례와 함께 설명합니다. 주로 실험의 진행 과정이나 통계 및 기술적인 측면을 다루지만, 실험을 잘 진행하기 위한 조직과 문화적인 부분도 함께 다룹니다. 개인적으로 이 책에 수록된 마이크로소프트 빙과 링크드인 등의 실제 사례에서 많은 도움을 받았는데, 이 사례들을 바탕으로 현업에서의 시행착오를 많이 줄일 수 있었습니다. 실험을 더 잘하고자 하거나 실험을 통해 서비스를 성장시키고 싶은 모든 분께 이 책을 추천드립니다.
- 허성연 (소프트웨어 엔지니어, 당근마켓 데이터 가치화 팀)