품목정보
발행일	2022년 06월 30일
쪽수, 무게, 크기	378쪽 \| 18823521mm
ISBN13	9791161755700
ISBN10	1161755705

더보기

저자 소개 (5명)

한국어판 추천의 글 IT 서비스에서 프로덕트를 성장시키고, 사용자를 더 잘 이해하고자 한다면 실험이 필수적이고, 신뢰성 있는 실험을 통해 올바른 결론을 얻는 것이 중요합니다. 하지만 실제 현업에서 신뢰성 있는 실험을 하기란 쉽지 않습니다. 실험에 대한 조직 구성원들의 이해, 실험 진행을 기술적으로 뒷받침할 수 있는 실험 플랫폼, 데이터와 지표의 신뢰성 등 많은 요소를 갖추고 있어야 신뢰성 있는 실험을 진행할 수 있습니다. 이 책은 신뢰성 있는 온라인 종합 대조 실험을 진행하기 위해 알아야 할 항목들을 많은 사례와 함께 설명합니다. 주로 실험의 진행 과정이나 통계 및 기술적인 측면을 다루지만, 실험을 잘 진행하기 위한 조직과 문화적인 부분도 함께 다룹니다. 개인적으로 이 책에 수록된 마이크로소프트 빙과 링크드인 등의 실제 사례에서 많은 도움을 받았는데, 이 사례들을 바탕으로 현업에서의 시행착오를 많이 줄일 수 있었습니다. 실험을 더 잘하고자 하거나 실험을 통해 서비스를 성장시키고 싶은 모든 분께 이 책을 추천드립니다. - 허성연/ 소프트웨어 엔지니어, 당근마켓 데이터 가치화 팀 이 책에서 다루는 내용 ◆ 과학적 방법을 사용한 종합 대조 실험을 통해 가설 평가 ◆ 주요 메트릭 및 전반적인 평가 기준 정의 ◆ 결과의 신뢰도를 검증하고, 실험자들에게 위배된 가정에 대한 경고 제공 ◆ 실험 결과의 빠른 해석과 반복 실험 ◆ 주요 사업목표를 보호하기 위한 가드레일 구축 ◆ 실험의 한계 비용을 0에 가깝게 낮추는 확장 가능한 플랫폼 구축 ◆ 이월 효과, 트위먼의 법칙, 심슨의 역설, 네트워크 상호작용과 같은 흔한 실수 피하기 ◆ 일반적인 가정 위반을 포함해 통계 문제 처리 이해 이 책의 구성 1부는 배경에 상관없이 모든 사람이 읽을 수 있도록 설계됐으며, 총 4장으로 구성돼 있다. 1장에서는 온라인 종합 대조 실험 실행의 이점을 간략히 설명하고 실험 용어를 소개한다. 2장에서는 예를 들어 엔드-투-엔드로 실험을 실행하는 과정을 살펴본다. 3장에서는 일반적인 함정 및 실험 신뢰도 구축 방법을 설명한다. 4장에서는 실험 플랫폼을 구축하고 온라인 실험을 확장하기 위해 필요한 사항을 개략적으로 설명한다. 2부에서 5부까지는 필요에 따라 모든 사람이 이용할 수 있지만, 각 장은 특정 청중에 초점을 두고 작성됐다. 2부에는 조직 지표와 같은 펀더멘털에 관한 5개의 장들이 포함돼 있다. 2부에서는 특히 리더와 임원 모두에게 권장되는 내용을 다룬다. 3부의 2개 장은 리더, 데이터 과학자, 엔지니어, 분석가, 제품 관리자들이 온라인 종합 대조 실험을 보완하는 기법을 소개한다. 이 기법은 자원 및 시간을 투자할 때, 유용한 지침으로 사용될 수 있을 것이다. 4부는 실험 플랫폼 구축에 중점을 두고 엔지니어를 대상으로 설명한다. 마지막으로, 5부에서는 고급 분석 주제를 파고들어 데이터 과학자를 대상으로 한다. 지은이의 말 아마존과 마이크로소프트(Ron), 구글(Diane), 마이크로소프트와 링크드인(Ya)에서 수십 년 동안 온라인 종합 대조 실험(online controlled experiment)을 여러 규모로 실행해온 경험에서 얻은 실질적인 교훈을 공유하는 것이 이 책의 목표다. 구글, 링크드인 또는 마이크로소프트의 담당자가 아닌 한 개인으로써 이 책을 집필하는 동안, 수년간에 걸쳐 마주했던 중요한 교훈과 함정을 뽑아, HiPPO(Highest Paid Person’s Opinion, 최고 보수를 받는 자의 의견), 즉 최고경영자의 의견에 의존하는 것이 아니라 그들에게 정보를 제공하는 데이터 기반 문화를 구축하기 위해 소프트웨어 플랫폼과 기업 문화 측면 모두에 대한 지침을 제공하고자 한다. 이러한 많은 교훈이 온라인 환경, 대기업 또는 중소기업, 심지어 회사 내의 팀과 조직에도 적용된다고 믿으며, 우리 모두는 실험 결과의 신뢰도를 평가할 필요가 있다고 생각한다. 흥미로워 보이거나 다르게 보이는 어떤 수치는 대체로 틀린다. 독자들이 다시 한 번 결과를 확인하고, 특히 획기적이고 긍정적인 결과를 위해 유효성 검사를 실행하도록 장려한다. 숫자를 얻는 것은 쉽지만, 믿을 수 있는 숫자를 얻는 것은 어렵다. 옮긴이의 말 이 책은 빙(Bing)에서의 광고 페이지 속 한 줄의 변화로 전체 매출의 10%를 향상시킨 놀라운 사례로 시작한다. 단순한 A/B 테스트의 기술서가 아닌 마이크로소프트, 구글, 링크드인에서 수년간 온라인 종합 대조 실험을 주도했던 저자들의 경험과 교훈을 공유하는 책이다. 숫자를 얻는 것은 쉽다. 하지만 믿을 수 있는 숫자를 얻는 것은 어렵다. 실험 결과를 단순한 숫자로 얻는 것이 아니라 믿을 수 있는 숫자를 얻을 수 있도록 신뢰도 높은 온라인 종합 대조 실험을 설계하고, A/B 테스트를 사용해 혁신을 가속화하는 방법에 대해 이야기하고 있다. 저자들은 현재 연간 20,000건 이상의 종합 대조 실험을 실행하는 각 기업에서의 경험을 바탕으로 학생과 업계 전문가가 실험을 시작할 수 있도록 예시, 빠지기 쉬운 실수 및 조언을 공유하고 있을 뿐만 아니라 데이터 기반 의사결정 방식을 개선하고자 하는 숙련된 실무자들에게도 도움될 심화 주제에 대해서도 깊이 있게 논의한다. 온라인 종합 대조 실험인 A/B 테스트는 2000년 중반부터 시작된 테크기업들의 문화적 혁신, 예를 들면 에릭 리스의 린 스타트업(Lean Startup) 및 MVP(최소 기능 제품)의 개념과 그 맥을 같이 한다. 기능 또는 서비스의 작은 변화를 지속적으로 온라인에서 테스트하면서 조금씩 기능 또는 서비스를 개선한다. A/B 테스트는 과거의 설계-개발-테스트-배포의 상품개발이 3년의 주기에 걸쳐 진행되던 행태를 해방시켜 이제는 빠르게 기능 또는 서비스를 출시하고 이를 지속적으로 테스트해 고객과 실시간으로 소통할 수 있도록 한다. 또한 이러한 점에서 A/B 테스트는 개인화된 서비스를 중시하는 여러 분야에서 전통적인 설문조사나 시장조사를 탈피해 실제 상황에서 고객의 취향을 가장 잘 반영하는 서비스와 추천을 가장 효율적으로 달성시킬 수 있는 방법이기도 하다. A/B 테스트의 기능 중 가장 중요한 것은 한꺼번에 모든 것을 테스트하는 것이 아니라 조금씩 테스트하는 것이다. 통제된 상황에서 이를 실행하는데, 이는 온라인상의 통제이므로 실제 상황을 반영하는 통제이다. 따라서 연관분석(예를 들어 장바구니 분석)에서와 같이 상관관계를 발견하는 것을 넘어서 원인과 결과를 밝히는 설명력이 가능한 인과성을 발견하고자 하는 것이 주된 목적이다. (그래서 그 테스트 대상은 작은 무엇인가가 될 것이다.) 이러한 발견은 보다 설명력이 있기 때문에 테스트의 승자가 상품 또는 서비스의 개선을 위해 큰 신뢰도로 강건하게 도입될 수 있는 것이다. 이에 대한 많은 예제가 이 책에 담겨있으니 독자들은 이를 즐기기를 바란다.

추천평 추천평 보이기/감추기

“린(lean) 방법론의 핵심에는 가설 생성, 실험 실행, 데이터 수집, 통찰력과 가설의 검증과 수정과 같은 과학적 방법론이 있습니다. A/B 테스트는 검증 가능하고 반복 가능한 실험을 설계하는 표준이며, 이 책은 이를 위한 훌륭한 교과서입니다.”

- 스티븐 블랭크(Steve Blank) (스탠포드 대학교의 겸임교수, 현대 기업가 정신의 아버지, 『기업 창업가 매뉴얼』과 『Four Steps to the Epiphany(깨달음을 향한 4단계)』의 저자)

“이 책은 제품 기능, 프로젝트 효율성 또는 매출을 최적화하기 위해 온라인 종합 대조 실험을 사용하고자 하는 경영진, 리더, 연구원 또는 엔지니어에게 유용한 자료입니다. 코하비의 연구가 빙과 마이크로소프트에 미치는 영향을 직접 알고 있었기에 그의 배움이 이제 더 많은 청중에게 전달될 수 있게 돼 기쁩니다.”

- 해리 셤(Harry Shum) (마이크로소프트 인공지능 및 리서치 그룹 전무이사)

“엄밀하면서도 접근하기 쉬운 훌륭한 책입니다. 독자들은 인터넷 제품 개발에 혁명을 일으킨 신뢰도 높은 온라인 종합 대조 실험을 조직에 가져오는 방법을 배우게 될 것입니다.”

- 애덤 단젤로(Adam D’Angelo) (쿼라Quora의 공동 설립자이자 CEO, 페이스북의 전 CTO)

“여러 회사가 온라인 실험과 A/B 테스트를 사용해 제품을 개선하는 방법을 한눈에 알아볼 수 있는 훌륭한 책입니다. 저자들은 풍부한 경험과 훌륭한 조언을 하고자 수년 동안 배운 많은 실전 사례와 교훈을 이 책에 담았습니다.”

- 제프 딘(Jeff Dean) (구글 선임연구원 및 구글 리서치 상무)

“조직이 지속적으로 더 나은 결정을 내리기를 원하십니까? 이 책은 디지털 시대에서 데이터 기반으로 의사결정을 할 수 있도록 돕는 바이블입니다. 이 책을 읽는 것은 아마존, 구글, 링크드인, 마이크로소프트 내부의 회의에 참석하는 것과 같습니다. 저자들은 세계에서 가장 성공적인 기업들이 의사결정을 내리는 방법을 처음으로 공개합니다. 일반 비즈니스 서적에서 볼 수 있는 지침이나 일화 이외에도, 데이터에 기반한 의사결정을 위해 무엇을 어떻게 잘해야 하는지를 보여줍니다. 이 책은 비즈니스 리더, 엔지니어, 데이터 분석가를 위한 디지털 세계의 의사 결정 매뉴얼입니다.”

- 스콧 쿡(Scott Cook) (인튜이트Intuit 공동 설립자 겸 실행 위원회 회장)

“온라인 종합 대조 실험은 강력한 도구입니다. 온라인 종합 대조 실험이 어떻게 작동하고, 강점이 무엇이고, 어떻게 최적화될 수 있는지를 이해하는 것은 전문가와 많은 청중 모두에게 도움이 될 것입니다. 이 책은 기술적으로 권위 있으면서도 읽기 쉽고, 매우 중요한 문제를 다루는 세상에 많지 않은 책입니다.”

- 존 P.A.(John P.A.) (이오아니디스 의학과 보건연구정책학 교수, 스탠포드 대학교의 생물의학 데이터 과학 및 통계학과)

“과거 20년 동안 기술 산업은 과학자들이 수세기 동안 알고 있었던 것을 학습해왔는데, 그것은 바로 종합 대조 실험이 복잡한 현상을 이해하고 매우 어려운 문제를 해결하기 위한 최고의 도구 중 하나라는 것입니다. 종합 대조 실험을 설계하고, 규모에 맞게 실행하고, 그 결과를 해석할 수 있는 능력은 현대 첨단 기술 기업이 어떻게 운영되는지 보여주는 토대입니다. 저자들은 세계에서 가장 강력한 실험 플랫폼들을 설계하고 구현했습니다. 이 책은 이러한 도구와 기술을 사용하는 방법에 대한 경험을 통해 배울 수 있는 좋은 기회입니다.”

- 케빈 스콧(Kevin Scott) (마이크로소프트의 전무 및 CTO)

IT 서비스에서 프로덕트를 성장시키고, 사용자를 더 잘 이해하고자 한다면 실험이 필수적이고, 신뢰성 있는 실험을 통해 올바른 결론을 얻는 것이 중요합니다. 하지만 실제 현업에서 신뢰성 있는 실험을 하기란 쉽지 않습니다. 실험에 대한 조직 구성원들의 이해, 실험 진행을 기술적으로 뒷받침할 수 있는 실험 플랫폼, 데이터와 지표의 신뢰성 등 많은 요소를 갖추고 있어야 신뢰성 있는 실험을 진행할 수 있습니다.

이 책은 신뢰성 있는 온라인 종합 대조 실험을 진행하기 위해 알아야 할 항목들을 많은 사례와 함께 설명합니다. 주로 실험의 진행 과정이나 통계 및 기술적인 측면을 다루지만, 실험을 잘 진행하기 위한 조직과 문화적인 부분도 함께 다룹니다. 개인적으로 이 책에 수록된 마이크로소프트 빙과 링크드인 등의 실제 사례에서 많은 도움을 받았는데, 이 사례들을 바탕으로 현업에서의 시행착오를 많이 줄일 수 있었습니다. 실험을 더 잘하고자 하거나 실험을 통해 서비스를 성장시키고 싶은 모든 분께 이 책을 추천드립니다.

- 허성연 (소프트웨어 엔지니어, 당근마켓 데이터 가치화 팀)

회원리뷰 (0건) 회원리뷰 이동

리뷰 쓰기

혜택 및 유의사항?

등록된 리뷰가 없습니다!

첫번째 리뷰어가 되어주세요.

한줄평 (4건) 한줄평 이동

한줄평 쓰기

작성 시 유의사항?

총 평점 7.0점 7.0 / 10.0

구매 한줄평

한줄평 전체보기

배송/반품/교환 안내

배송 안내

반품/교환 안내에 대한 내용입니다.
배송 구분	예스24 배송 배송비 : 무료배송
포장 안내	안전하고 정확한 포장을 위해 CCTV를 설치하여 운영하고 있습니다. 고객님께 배송되는 모든 상품을 CCTV로 녹화하고 있으며, 철저한 모니터링을 통해 작업 과정에 문제가 없도록 최선을 다 하겠습니다. 목적 : 안전한 포장 관리 촬영범위 : 박스 포장 작업

반품/교환 안내

상품 설명에 반품/교환과 관련한 안내가 있는경우 아래 내용보다 우선합니다. (업체 사정에 따라 달라질 수 있습니다)

반품/교환 안내에 대한 내용입니다.
반품/교환 방법	고객만족센터(1544-3800), 중고샵(1566-4295) 판매자 배송 상품은 판매자와 반품/교환이 협의된 상품에 한해 가능합니다.
반품/교환 가능기간	출고 완료 후 10일 이내의 주문 상품 디지털 콘텐츠인 eBook의 경우 구매 후 7일 이내의 상품 중고상품의 경우 출고 완료일로부터 6일 이내의 상품 (구매확정 전 상태) 모바일 쿠폰의 경우 유효기간(발행 후 1년) 내 등록하지 않은 상품
반품/교환 비용	고객의 단순변심 및 착오구매일 경우 상품 반송비용은 고객 부담임 직수입양서/직수입일서중 일부는 변심 또는 착오로 취소시 해외주문취소수수료 20%를 부과할수 있음 단, 아래의 주문/취소 조건인 경우, 취소 수수료 면제 오늘 00시 ~ 06시 30분 주문을 오늘 오전 06시 30분 이전에 취소 오늘 06시 30분 이후 주문을 익일 오전 06시 30분 이전에 취소 직수입 음반/영상물/기프트 중 일부는 변심 또는 착오로 취소 시 해외주문취소수수료 30%를 부과할 수 있음 단, 당일 00시~13시 사이의 주문은 취소 수수료 면제 박스 포장은 택배 배송이 가능한 규격과 무게를 준수하며, 고객의 단순변심 및 착오구매일 경우 상품의 반송비용은 박스 당 부과됩니다.
반품/교환 불가사유	소비자의 책임 있는 사유로 상품 등이 손실 또는 훼손된 경우 소비자의 사용, 포장 개봉에 의해 상품 등의 가치가 현저히 감소한 경우 : 예) 화장품, 식품, 가전제품, 전자책 단말기 등 복제가 가능한 상품 등의 포장을 훼손한 경우 : 예) CD/LP, DVD/Blu-ray, 소프트웨어, 만화책, 잡지, 영상 화보집 소비자의 요청에 따라 개별적으로 주문 제작되는 상품의 경우 디지털 컨텐츠인 eBook, 오디오북 등을 1회 이상 다운로드를 받았을 경우 eBook 대여 상품은 대여 기간이 종료 되거나, 2회 이상 대여 했을 경우 취소 불가 모바일 쿠폰 등록 후 취소/환불 불가 중고상품이 구매확정(자동 구매확정은 출고완료일로부터 7일)된 경우 LP상품의 재생 불량 원인이 기기의 사양 및 문제인 경우 (All-in-One 일체형 일부 보급형 오디오 모델 사용 등) 시간의 경과에 의해 재판매가 곤란한 정도로 가치가 현저히 감소한 경우 전자상거래 등에서의 소비자보호에 관한 법률이 정하는 소비자 청약철회 제한 내용에 해당되는 경우
소비자 피해보상	상품의 불량에 의한 반품, 교환, A/S, 환불, 품질보증 및 피해보상 등에 관한 사항은 소비자분쟁해결기준(공정거래위원회 고시)에 준하여 처리됨
환불 지연에 따른 배상	대금 환불 및 환불 지연에 따른 배상금 지급 조건, 절차 등은 전자상거래 등에서의 소비자 보호에 관한 법률에 따라 처리