本书基于近些年实验领域的研究成果和实践经验,对实验的方法和应用做了很好的全景式描述,是一本兼顾系统性的方法论和基于实战的经验法则的书籍。根据微软、亚马逊、谷歌和领英每年运行的两万多个对照实验,作者以示例和建议的方式向学生和业内人士分享了自己的实践经验,指出了需要避免的陷阱,并深入探讨了一些进阶专题,可以为希望改善自身及机构数据驱动决策方式的从业者提供参考。
全书分为五个部分:第I部分由四章组成。第1章概述运行线上对照实验的好处,并介绍实验相关术语。第2 章用一个例子剖析运行实验的全过程。第3 章描述常见的陷阱以及如何建立实验的可信赖度。第4 章概述如何搭建实验平台并规模化线上实验。第II部分的五章内容介绍实验的基础原理,比如机构指标。我们推荐所有人阅读这一部分,尤其是领导者和高管。第III部分的两章内容介绍线上对照实验的补充技法,可以帮助管理层、数据科学家、工程师、分析师、产品经理等进行资源和时间的投资。第IV部分专注于实验平台的搭建,面向工程师群体。最后,第V部分深入讨论进阶的实验分析专题,面向数据科学家。