用户增长实验三部曲(1):生活中需要实验思维

笔者将用“用户增长实验三部曲”来介绍实验思维、实验如何用来归因、以及准确量化结果。生活中,我们经常可以看到归因错误的例子。那我们就可以用实验思维来归因验证以及评估增量,而不是让实验思维jú限于科研、医学和用户增长工作。

01 两类归因错误的例子

1. 错把相关当因果

假设A和B两件事情,简单说因果性就是指原因A造成了结果B,A导致了B;而相关性指A的发生伴随着B的发生,A和B很可能没有直接X。因果性和相关性的混淆充满了我们的曰常生活,很多时候我们误把相关性当成因果性,去做错误的归因。

例子很多,简单举一类例子如下:

  • 经常喝红酒有助于X健康
  • 从小学xí弹钢琴的孩子学xí成绩比不学的人要好
  • 经常喝咖啡的人更容易得心脑xuè管疾病

这里例子都呈现出一些相关性,并且如果需要一定能够给出详实的数据支持,但是结论却不一定X。

稍微仔细推敲我们能够发现,喝红酒的人健康,是因为喝红酒,还是因为喝红酒的人X,有着相对好的生活环境和X条件?

类似的,从小学xí钢琴的小孩,他们的家庭条件、对教育的投入程度是不是会更好?

而苦bī的经常喝咖啡的是加班族、熬夜dǎng,他们得心脑xuè管疾病的概率是不是要高于常人?

所以,面对这些信息时,不能简单的拿相关当因果,应该需要更进一步、更严谨的研究,而实验是最好的方fǎ

2. 结论先行造因果

结论先行很常见,有了结论各种找理由和数据去支撑去这个结论。心理学中的“禀赋效应”,解释了这种现象。多数人会觉得自己的东西就是好的,自己的行为总能带来积极影响。

比如mǎi股票,一顿cāo作之后(指mài了一些又mǎi了一些)发现自己挣钱了,但是cāo作后挣钱了,有两个可能性:

  • 大盘涨了,你只是随大盘涨实际并没有增益;
  • 确实是cāo作带来了增益。可以假设回到没有cāo作,简单按照cāo作前的持仓情况计算当前的收益,就知道X了。

又比如,微信这样的超级App,每个版本都要上线很多个优化点,假设上线后发现朋友圈的用户活跃度提升了。

那么问题来了,究竟是哪个优化点带来了这个提升呢

这个很难说清楚,以至于大家在总结工作的时候,都会或多或少的把增长归因到自己那个优化点,用新版本上线后与上线前的活跃数据来简单比较。这里最明显的漏洞有两个:

1)把活跃度提升和具体某个优化点建立关联,最多就是相关性,而不是因果性。除非你这个优化点带来了压倒性的变化,无可置疑的拉动整体活跃,比如前段时间的朋友圈支持发表情~

2)用新版本上线后比上线前,忽略了活跃度随时间波动的影响:有可能上线后这段时间因为某些热点Xbào发,大家纷纷转发刷屏带来了提升。

再比如,这篇文章的分享和在看比之前要多了,甚至还有打赏,我可能会觉得是我写的比之前的更好了……但其实不一定呀~~

02 两个正确归因的例子

1. 医学中的双盲实验

双盲实验应用在医学上,全称是随机双盲对照实验。

首先是把若干被试者随机分成实验组和对照组,然X行不同的治疗方案,以此验证yào物或者疗fǎ是否有用,或者是否有副作用。

“双盲”的具体解释,可以参阅下方:

双盲实验是一种严格的实验方fǎ,实验者和参与者都不知道哪些参与者属于对照组(control group)、哪些属于实验组(experimental group)。只有在所有数据被记录完毕之后(在有些情况下是分析完毕之后),实验者才能知道那些参与者是哪些组的。

采用双盲实验是为了要减少偏见(prejudices)和无意识地暗示(unintentional physical cues)对实验结果的影响。对于被试者的随机分配(Random assignment)到对照组或者实验组的做fǎ是双盲实验中至关重要的一步。确认哪些受试者属于那些组的信息交由第三方保管,并且在研究结束之前不能告知研究者。

——百度百科

更加生动的版本,可以在读完本文后,到bilibili去看下李永乐X的X:

X双盲实验,甚至是更严谨的三盲实验(即受试对象、研究人员和实验分析人员均不知道受试对象的分组和处理情况),历时很久,才可以得到严谨的结论。

题外话,所以西yào的研发和实验成本相当高,X也相对高一些。

2. 经济学中的实验方fǎ

2019年的X经济学奖授予了麻省理工和哈佛大学的三位经济学家,他们主要的贡献是长期以来在发展X家使用随机对照实验的方fǎ,验证了增加教育投入、提升X水平对于经济增长的核心作用。

获奖者是来自麻省理工的夫妇Abhijit Banerjee和Esther Duflo以及哈佛大学的Michael Kremer

guān方颁奖词是:

“表彰其在全球扶贫问题上使用的实验型方fǎ(for their experimental approach to all eviating global poverty)”

列举一些他们的实验内容,可以感受下实验可以解答哪些我们的生活中的疑问:

  • 健康:社区X能改善居民的健康水平吗?(zhēn对非洲wū干达8100个农村家庭的研究)
  • 金融:加大小微X的额度能促进经济发展吗?(zhēn对X1000名借款人的研究)
  • 教育:高科技教育工具能提高X的成绩吗?(zhēn对印度619名中X的研究)

这些问题,X看似都是“当然能啊!”,通常我们都不会去质疑。随着近几十年来因果关系成为经济研究领域的核心问题,经济学家普遍转向了证实性数据分析,而随机对照实验方fǎ方fǎ的应用,帮助人们找到了探索这些因果关系的有力X。

03 生活中需要实验思维

上面说到的实验,都费时费力成本极高。也许你会说,生活中很难去做理想的随机对照实验,那实验对我们有什么用?

确实很难,很多时候我们没有实验组和对照组,没有实验条件,即使有也不愿意huā费长时间去做观测。然而,基本的归因逻辑和实验思维是应该要具备的,这样才能知道哪些事情做的有效,哪些无效,或者至少可以识破假象,跳出X。

我把实验思维,理解成一种面对结论尽可能寻qiú有力证据的批判性思维,它的黄金fǎ则是X实验方fǎ来验证。那么实验思维具体怎么应用?

1. 首先是要怀疑

信息X谣言满天飞,需要怀疑这些结论是否经过实验验证。怀疑不等于抬杠说“任何未经实验验证的结果都不可信”,而是说的我们需要拒绝无脑接受,并且X基本的原理和逻辑来分析。

2. 然后是尝试验证

比怀疑更可贵的是真正动手去设计实验,这里并不jú限在随机对照实验,包hán生活中一些谣言的验证。这里实验的目标是验证真伪,千万别忘了我们中学学的淀粉遇碘变蓝,是不是真的这样,走个实验啊~

比如说抖音、快手中经常有些生活小妙招:白醋+苏打+洗衣液几乎可以清洁万物;XX不粘锅可以不用油煎基弹。这些X不乏点赞百万+,X下面的白醋苏打XX锅也是mài得很好。实际上,验证真伪的成本很低,更多是人愿意相信,极少有人站出来做简单验证。

所以我认为,实验思维存在门槛,门槛的根源,一是缺少怀疑精神,二是不愿尝试验证。如《人类简史》中说,人具有八卦的本能和传播的意愿,道听途说、被动接受和从众会更加安全、舒适和自然。

3. 最后准确归因和量化

假设我们在生活中、工作中有必要、且有足够的成本来设计一些随机对照实验,怎么来设计实验,用什么样的方fǎ来做分析?

首先设计的思路要对,简单说可以概括为:”为了验证A对B是否有影响,需要把有无A当成实验变量,需要有两组可比的实验样本,一组是A,一组是A+B”。

思路很简单,这里的A和B可以替换成任何你想验证的事物。比如我们做番茄炒弹时,番茄需要事先焯水吗?大可试试看在其他条件一样的情况下,一次焯水一次直接炒。再详细点,焯X久,1分钟还是3分钟好吃,试一下?

准确归因相对清晰,而准确量化的最最最核心就是实验组和对照组需要有可比性,道理虽然简单,但是有很多坑,我们在实验三部曲的篇2详细介绍。然后的核心问题是需要看准增量,具体涉及到一些统计学知识、实验具体下发时的潜在风险,以及和实验目标高度匹配的分析方fǎ,我们在三部曲的篇3详细介绍。

尾巴

实验思维以及方fǎ在生活中、工作中都很重要。实验三部曲,我们先说实验思维,再谈如何应用在产品经理、产品运营的工作中,如何准确量化一个功能或一次运营策略的贡献,如何正确分析一个增长实验的效果。更进一步,我们还会介绍增长实验中常见的一些分析难点。

感谢支持,如有不当还请指出。

收藏 (0) 打赏

以上内容不错,打赏支持一下!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

声明:本站所有教程资源,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

雄发创业网 自媒体是如何赚钱的 用户增长实验三部曲(1):生活中需要实验思维 https://www.xiongfawang.com/2843.html

常见问题

相关文章

用户增长实验三部曲(1):生活中需要实验思维-海报

分享本文封面