影响力评估的十大误区 影响力评估( 二 )


替代方法:验证变革理论中的基本步骤是影响评估前的关键 。以一个通过向准妈妈传播有关儿童健康发育和营养的信息来改善产前护理结果的项目为例 。在不知道准妈妈们是否会参加培训并采用推荐的做法之前,就开始影响评估是没有意义的 。所以首先要保证的是项目的基本参与 。
如果一个变革理论还在构建过程中,我们要做的就是围绕项目来构建理论,根据项目实施的每一步来检验相应的假设,并收集数据进行检验,然后收集项目实施和使用的监测数据,最后进行影响评估 。
3.项目执行力不强 。
如果发现一个执行得不好的项目缺乏影响力,就很难做出这样清晰的评估 。这一发现是执行不力的结果,还是因为内乱等外部因素?无论如何,如果项目实施力度不强,此时进行影响评价是不合适的 。
替代方案:收集高质量的监测数据,并将其用于改善项目实施 。评估者可以与项目负责人合作,以改善执行情况,或者决定某个组织不适合进行影响评估 。
4.太晚了 。
当一个项目的规模已经扩大,并且没有进一步扩大的计划时,人们往往希望进行影响评估 。但是,这个时候可能已经晚了 。
替代方案:为未来扩张制定计划 。这个项目会在其他地方扩展吗?如果是,再考虑影响评价是否可行 。此外,如果这个项目随着非营利组织的学习和改进有了很大的改变,那么影响评估可能是及时的 。
类型3
力所不及:完成评估的能力不足 。
5.资源不足 。
【影响力评估的十大误区 影响力评估】资源限制会在两个方面影响评价的质量:项目的规模可能太小,或者资源太少而无法进行高质量的评价 。
替代方案:如果你的规模有限,不要试图勉强回答关于影响力的问题,而是考虑其他选项 。因为你面临的大部分问题已经在别处得到了解答 。通过查阅文献,可以知道其他相关领域的评价对此是如何回应的 。如果资金有限,非营利组织需要重新考虑成本的构成 。数据采集是评估的主要费用 。然而,随机对照试验的随机部分实际上是免费的 。
6.项目的间接影响无法确定 。
许多项目包含对项目变更理论至关重要的间接影响 。例如,一个农业信息干预项目向农民传授新技术,并期望他们与邻居分享所学 。正确衡量这些间接影响对于了解一个项目的真实影响是非常重要的 。
备选方案:对项目间接影响的评价可以成为高质量评价的重要组成部分 。在考虑如何处理间接影响时,我们应该首先回顾现有的文献和理论,以预测这些要素的重要性 。
7.项目环境中的变量太多 。
有些情况不适合开展影响评价信息资源网 。例如,许多救灾行动必须随着情况的变化而不断调整 。这时候严格按照设计方案,会增加成本,影响项目执行质量 。
替代方案:跟踪项目的实施情况,收集可用于加强项目的其他管理数据 。比如考虑是否有有价值的运营问题 。一些操作测试可以帮助改进实现,比如:通过短信提醒客户端会影响他们的短期行为吗?
8.高管级别“高不可攀” 。
想想货币或贸易政策 。这种改革通常发生在国家层面,在全国范围内进行政策的随机对照试验显然不可行 。同样,政策宣传活动往往针对国家或区域等更高层次,因此不容易进行影响评估 。
替代方案:关于预期政策将如何变化的清晰理论是关键 。然后是跟踪执行情况,获得反馈信息,收集管理数据,以显示理论所隐含的变化是否如期发生 。
类型4
无用动作:重复评价或无评价价值 。
9.重复评估 。
在某些情况下,一个项目是否有效可以从另一项研究或一系列研究中得到答案 。此时,另一个影响评估不会带来任何新的收获 。
替代方案:拒绝不必要的影响评估,找一个好的理论依据,证明现有的证据可以应用到手头的项目上 。总之,评价现有研究的适用性,两个主要条件非常重要:一是被评价项目的理论必须与你的相似;其次,项目的背景特征要相对清晰,与手头的项目背景相似 。
10.没有应用价值 。
影响评估不仅要显示项目是否有效,还要帮助揭示项目为什么有效 。如果不能回答“为什么”,而且评价只对实施项目的组织和具体项目有用,没有可以推广的知识和经验,那么就不应该进行影响评价 。这一标准适用于规模扩张可能性不大的项目 。
备选方案:如果一个项目缺乏扩展或复制的潜力,那么最好的行动方案是测量实现,以确保项目的实现符合预期 。如果需要关于“为什么”的答案,那么清晰的项目理论和高质量的执行数据有助于理解这个项目为什么有效 。但是,在这种情况下,评估投资影响是不合适的 。


推荐阅读