影响力评估的十大误区 影响力评估


影响力评估的十大误区 影响力评估

文章插图
影响评估(影响评估的十大误区)
贾西津,清华大学公共管理学院副教授,清华大学慈善研究院副院长;
评价是“结果说话”和“数据说话”两个维度的交集 。“说话结果”是什么意思,你可能会忽略?可能会忽略要解决的问题,在流程实施之前就忙着展示业绩 。“数据说话”意味着什么,你可能会忽略?可能会忽略假设、理论、测试、思考,或者使用更简单的方法来收集信息 。
这正是本文作者列出的不适合评价影响力的四大类十种情况,即漫无目的、过早评价、无能、无用行动 。作者对每种情况的选择是回到被忽视的一面 。如果说“建立适当的数据系统”是作者想提出的实用原则,那么背后的问题更值得利益相关者关注:工具好,数据好,但不要忘记时不时反思一下,回归目的 。

一个好的影响评估可以为相关的信息资源网络政策问题提供严谨的答案,促进相关领域的知识、政策和实践的发展 。然而,大量的金钱和时间仍然浪费在设计差、执行差和构思差的影响评估项目上 。
影响力的泛滥不仅会导致劣质研究和资金浪费,还会分散和抢夺数据收集所需的资源,而正确的数据收集方法可以帮助组织提高项目绩效 。
为了建立一个合适的证据体系,我们不仅要考虑什么时候测量影响,还要知道什么时候不测量影响 。
1.影响评估不是重中之重 。
既然影响评估如此重要,为什么我们提倡限制它的使用?评价影响力快速上升的背后,是收集和分析数据成本的大幅下降 。在过去,非营利组织可能会认为收集数据太费时费力,但现在收集、存储和分析数据的成本已经大大降低了 。
项目成果容易衡量,公众和社会部门对问责的要求更多 。盖茨基金会等资助机构要求受资助的组织提供影响力的证据 。社会影响债券和按成果付费等做法通过将资金与经证明的成果结合起来,支持有效的行动 。
虽然目前影响评估的趋势大多是积极的,但是,显示影响的强制要求也造成了资源的浪费,使项目监测与影响评估相妥协,并导致反映影响的方式低劣甚至误导 。例如,许多组织收集的数据超出了其可用资源可以分析的范围,导致时间和人力的浪费 。糟糕的影响评估还可能导致误导甚至完全错误的结果,从而导致未来决策的偏差 。
这种浪费很大程度上源于对“影响”一词的误用 。影响力不仅仅是一个流行语,更是一种因果关系 。它告诉我们一个项目或组织如何改变了我们周围的世界 。换句话说,影响评估必须包括对这个项目不存在的情况的评估,也就是评估者所说的“反向事实” 。在条件允许的情况下,创造一个相反事实的最直接的方法就是随机对照试验 。
在接下来的篇幅中,我们将列出10种不适合评估影响力的情况,并在此基础上提出一个建立一体化监测评估体系的框架,帮助非营利组织找到问责、学习、改进等不同场合所需的数据 。
02.影响评估的10个误区影响力评价的十大误区可以分为四种:无目的、无所作为的评价、力不从心的做不到的事、无用的行动 。在下文中,我们将详细解释这10个误解,同时为热衷于影响评估的人们提供替代方法的建议 。
类型1
漫无目的:没有找到合适的评价手段 。
1.手段与目标不符 。
在评估一个项目的时候,可以思考以下几个问题:一个成功或失败项目的客户背后有什么故事?能否通过改进运营模式来降低同样服务的成本?我们是在为目标人群服务吗?
这些通常是主要利益相关者想要知道的问题 。这些问题有些可以用数据来回答,有些则比较难处理 。但关键的一点是,这些问题的答案并不是影响力的衡量标准 。
替代方案:要回答这些问题,数据收集和分析必须更精确地关注问题 。要了解目标人群的满意度,需要反信息资源的反馈数据 。提高项目执行的成本效益需要的是每个地方、产品或服务的具体成本数据 。这些是需要收集的重要项目监测数据,但都不需要进行影响评估 。
类型2
无可奉告:评价时机尚未成熟 。
2.项目设计不到位 。
运用变革理论是设计监测或评估的第一步 。变更理论解释了项目应该包含什么,需要做什么,以及预期的结果是什么 。没有类似的梳理,执行人员无法对项目如何操作、为什么要操作形成清晰的认识,可能导致执行出现巨大偏差 。如果在测试变革理论中的关键假设之前进行大规模影响评估,很可能会导致对如何解释结果的误导和不同意见 。


推荐阅读