江苏龙网

  1. 主页 > 生活百科 > >

快手因果推断与实验设计 实验设计方法( 三 )


3.用户行为链接研究:因果图 。

我们通常通过因果图来研究用户行为环节 。鲁宾学派常被用来估计变量之间的一级关系 ， 但当我们面对一些未知的问题时 ， 我们想知道哪些变量真正影响了我们关心的结果变量 ， 变量之间、用户行为环节与有效过程指标之间有哪些交互作用 。在这些时候 ， 我们使用因果图的方法 。
在因果图的生成中 ， 经常会遇到算法层面的限制 。例如 ， 当我们优化目标函数时 ， 我们需要遍历所有的因果图 ， 这是一个NP难问题 。我们需要有效的算法来获得期望的估计 。市场上的算法大致分为两类:
基于约束的算法
基于分数的算法
03复杂实验设计 。

在实验设计中 ， 我们通常遇到的困难是网络效应的检测和响应 。直播下 ， 网络效果的展现方式有很多 。在这种网络效应存在的情况下 ， 已经尝试了一些方法 ， 如双边实验、时间片旋转实验和综合控制方法 。
1.双边实验设计 。

在双边实验中 ， 主播侧和观众侧都是分流的 ， 有的吊坠在主播侧 ， 有的在观众侧可以看到 ， 有的看不到 。双边实验的优点是可以同时检测两端的效果 ， 同时可以帮助检测组间的转移和溢出 。知道了组与组之间的溢出和干扰 ， 我们就可以通过双边实验更准确地测量处理效果 。在挂件场景中 ， 我们认为N3代表的是完全没有经过处理的效果 ， Y代表的是处理后的结果 ， N3和Y有区别 ， 完全推送产品功能后计算影响 。而且 ， 双边实验可以更好地帮助我们归因 。

然而 ， 双边实验只能描述简单的群体间溢出 。在个体之间存在干扰的复杂情况下 ， 双边实验无法帮助我们判断实验结果 。比如在PK暴击时间直播的情况下 ， 我们通过时间片轮换实验来解决这个问题 ， 也就是我们在某些被试上反复在实验组策略和控制组策略之间切换 。
2.时间片旋转实验 。

时间片旋转的核心是:
时间片的选择 。
总实验周期的选择 。
随机切换时间点是什么样子的？
当时间粒度粗糙时 ， 时间干扰引起的偏差会较小 ， 但方差会较大 ， 影响实验的检验效果 。为了解决这个问题 ， 采用的方案是优化设计 。

优化设计的核心假设是:
结果有一个绝对上限 。
用户无法知道下一次是否是实验组 。
如果时间片之间存在干扰 ， 干扰的影响是固定的 ， 也是有限的 。
当我们不知道如何设计一个时间片的实验时间节点时 ， 通常的步骤是估计一个时间 ， 通过实验确定结转顺序的下限 ， 根据顺序的下限找到最佳的切换时间点 ， 再进行一次实验 ， 通过实验组和对照组的选择估计因果效应 。缺点是实验周期长 ， 无法观察到HTE(非均相处理估计) 。
04问答环节
问:问:DID和ABtest有什么区别？什么时候用DID代替ABtest？
答:ABtest是两种不同维度的方法 ， 意思是对实验对象进行一些随机比较 ， 然后进行比较 。即使在这种AB实验中 ， 我们也可以在AB效应相对较大的时候使用DID 。DID不一定是基于实验 ， 可以根据不同的用户群体进行对比 。
问:双机学习和PSM有什么区别？
答:两种不同维度的方法 。PSM的核心假设是我们首先估计效价分数 。基于效能评分 ， 我们认为治疗组和对照组在效能评分相似时可以计算因果效应 。双机器学习意味着 ， 我们对于混淆变量对治疗的影响和混淆变量对结局的影响的函数形式是未知的 ， 这涉及到高维变量的选择 。同时需要两步估计才能得到我们要估计的因果变量 ， 这是主要区别 。
问:中情局的假设经常得不到满足 。我们应该如何减少影响？
答:目前包括双机学习在内的很多方法都有很多扩展 。例如 ， 当有一些合适的工具变量时 ， 就会有一些合适的扩展工具方法 。此外 ， 可以使用一些匹配方法来构建满足条件的样本 。但是这个东西并不完全准确 ， 往往需要依靠人工逻辑判断 。
问:因果图的结构是预设的还是模型结构的输出？
答:主要是模型的输出 ， 但是在算法中我们可以定义哪些变量是父节点 ， 哪些是子节点 。如果最终的资源网络结果与假设相反 ， 我们会发现假设的父节点下没有子节点 。


推荐阅读


上一篇：男人喜欢你的6个表现 男人喜欢女人的表现

下一篇：Cloudflare扛下了创纪录的DDoS攻击 ddos攻击软件