影响评估(影响评估的十大误区)
贾西津，清华大学公共管理学院副教授，清华大学慈善研究院副院长；
评价是“结果说话”和“数据说话”两个维度的交集。“说话结果”是什么意思，你可能会忽略？可能会忽略要解决的问题，在流程实施之前就忙着展示业绩。“数据说话”意味着什么，你可能会忽略？可能会忽略假设、理论、测试、思考，或者使用更简单的 *** 来收集信息。
这正是本文作者列出的不适合评价影响力的四大类十种情况，即漫无目的、过早评价、无能、无用行动。作者对每种情况的选择是回到被忽视的一面。如果说“建立适当的数据系统”是作者想提出的实用原则，那么背后的问题更值得利益相关者关注:工具好，数据好，但不要忘记时不时反思一下，回归目的。
良好的影响评估可以为相关的政策问题提供严谨的答案，并促进相关领域的知识、政策和做法的发展。然而，大量的金钱和时间仍然浪费在设计差、执行差和构思差的影响评估项目上。
影响力的泛滥不仅会导致劣质研究和资金浪费，还会分散和抢夺数据收集所需的资源，而正确的数据收集 *** 可以帮助组织提高项目绩效。
为了建立一个合适的证据体系，我们不仅要考虑什么时候测量影响，还要知道什么时候不测量影响。
1.影响评估不是重中之重。
既然影响评估如此重要，为什么我们提倡限制它的使用？评价影响力快速上升的背后，是收集和分析数据成本的大幅下降。在过去，非营利组织可能会认为收集数据太费时费力，但现在收集、存储和分析数据的成本已经大大降低了。
项目成果容易衡量，公众和社会部门对问责的要求更多。盖茨基金会等资助机构要求受资助的组织提供影响力的证据。社会影响债券和按成果付费等做法通过将资金与经证明的成果结合起来，支持有效的行动。
虽然目前影响评估的趋势大多是积极的，但是，显示影响的强制要求也造成了资源的浪费，使项目监测与影响评估相妥协，并导致反映影响的方式低劣甚至误导。例如，许多组织收集的数据超出了其可用资源可以分析的范围，导致时间和人力的浪费。糟糕的影响评估还可能导致误导甚至完全错误的结果，从而导致未来决策的偏差。
这种浪费很大程度上源于对“影响”一词的误用。影响力不仅仅是一个流行语，更是一种因果关系。它告诉我们一个项目或组织如何改变了我们周围的世界。换句话说，影响评估必须包括对这个项目不存在的情况的评估，也就是评估者所说的“反向事实”。在条件允许的情况下，创造一个相反事实的最直接的 *** 就是随机对照试验。
在接下来的篇幅中，我们将列出10种不适合评估影响力的情况，并在此基础上提出一个建立一体化监测评估体系的框架，帮助非营利组织找到问责、学习、改进等不同场合所需的数据。
02.影响评估的10个误区
影响力评价的十大误区可以分为四种:无目的、无所作为的评价、力不从心的做不到的事、无用的行动。在下文中，我们将详细解释这10个误解，同时为热衷于影响评估的人们提供替代 *** 的建议。
类型1
漫无目的:没有找到合适的评价手段。
1.手段与目标不符。
在评估一个项目的时候，可以思考以下几个问题:一个成功或失败项目的客户背后有什么故事？能否通过改进运营模式来降低同样服务的成本？我们是在为目标人群服务吗？
这些通常是主要利益相关者想要知道的问题。这些问题有些可以用数据来回答，有些则比较难处理。但关键的一点是，这些问题的答案并不是影响力的衡量标准。
替代方案:要回答这些问题，数据收集和分析必须更精确地关注问题。关于目标人群的满意度，我们需要了解的是反馈数据。提高项目执行的成本效益需要的是每个地方、产品或服务的具体成本数据。这些是需要收集的重要项目监测数据，但都不需要进行影响评估。
类型2
无可奉告:评价时机尚未成熟。
2.项目设计不到位。
运用变革理论是设计监测或评估的之一步。变更理论解释了项目应该包含什么，需要做什么，以及预期的结果是什么。没有类似的梳理，执行人员无法对项目如何操作、为什么要操作形成清晰的认识，可能导致执行出现巨大偏差。如果在测试变革理论中的关键假设之前进行大规模影响评估，很可能会导致对如何解释结果的误导和不同意见。
替代 *** :验证变革理论中的基本步骤是影响评估前的关键。以一个通过向准妈妈传播有关儿童健康发育和营养的信息来改善产前护理结果的项目为例。在不知道准妈妈们是否会参加培训并采用推荐的做法之前，就开始影响评估是没有意义的。所以首先要保证的是项目的基本参与。
如果一个变革理论还在构建过程中，我们要做的就是围绕项目来构建理论，根据项目实施的每一步来检验相应的假设，并收集数据进行检验，然后收集项目实施和使用的监测数据，最后进行影响评估。
3.项目执行力不强。
如果发现一个执行得不好的项目缺乏影响力，就很难做出这样清晰的评估。这一发现是执行不力的结果，还是因为内乱等外部因素？无论如何，如果项目实施力度不强，此时进行影响评价是不合适的。
替代方案:收集高质量的监测数据，并将其用于改善项目实施。评估者可以与项目负责人合作，以改善执行情况，或者决定某个组织不适合进行影响评估。
4.太晚了。
当一个项目的规模已经扩大，并且没有进一步扩大的计划时，人们往往希望进行影响评估。但是，这个时候可能已经晚了。
替代方案:为未来扩张制定计划。这个项目会在其他地方扩展吗？如果是，再考虑影响评价是否可行。此外，如果这个项目随着非营利组织的学习和改进有了很大的改变，那么影响评估可能是及时的。
类型3
力所不及:完成评估的能力不足。
5.资源不足。
资源限制会在两个方面影响评价的质量:项目的规模可能太小，或者资源太少而无法进行高质量的评价。
替代方案:如果你的规模有限，不要试图勉强回答关于影响力的问题，而是考虑其他选项。因为你面临的大部分问题已经在别处得到了解答。通过查阅文献，可以知道其他相关领域的评价对此是如何回应的。如果资金有限，非营利组织需要重新考虑成本的构成。获取数据友好的资源 *** 是评估的一项主要支出。然而，随机对照试验的随机部分实际上是免费的。
6.项目的间接影响无法确定。
许多项目包含对项目变更理论至关重要的间接影响。例如，一个农业信息干预项目向农民传授新技术，并期望他们与邻居分享所学。正确衡量这些间接影响对于了解一个项目的真实影响是非常重要的。
备选方案:对项目间接影响的评价可以成为高质量评价的重要组成部分。在考虑如何应对间接优优资源 *** 的影响时，我们应该首先回顾现有的文献和理论来预测这些要素的重要性。
7.项目环境中的变量太多。
有些情况不适合进行影响评估。例如，许多救灾行动必须随着情况的变化而不断调整。这时候严格按照设计方案，会增加成本，影响项目执行质量。
替代方案:跟踪项目的实施情况，收集可用于加强项目的其他管理数据。比如考虑是否有有价值的运营问题。一些操作测试可以帮助改进实现，比如:通过短信提醒客户端会影响他们的短期行为吗？
8.高管级别“高不可攀”。
想想货币或贸易政策。这种改革通常发生在国家层面，在全国范围内进行政策的随机对照试验显然不可行。同样，政策宣传活动往往针对国家或区域等更高层次，因此不容易进行影响评估。
替代方案:关于预期政策将如何变化的清晰理论是关键。然后，是跟踪实施，获取反友-友资源 *** feed的信息，收集管理数据，以显示理论所隐含的变化是否如期发生。
类型4
无用动作:重复评价或无评价价值。
9.重复评估。
在某些情况下，一个项目是否有效可以从另一项研究或一系列研究中得到答案。此时，另一个影响评估不会带来任何新的收获。
替代方案:拒绝不必要的影响评估，找一个好的理论依据，证明现有的证据可以应用到手头的项目上。总之，评价现有研究的适用性，两个主要条件非常重要:一是被评价项目的理论必须与你的相似；其次，项目的背景特征要相对清晰，与手头的项目背景相似。
10.没有应用价值。
影响评估不仅要显示项目是否有效，还要帮助揭示项目为什么有效。如果不能回答“为什么”，而且评价只对实施项目的组织和具体项目有用，没有可以推广的知识和经验，那么就不应该进行影响评价。这一标准适用于规模扩张可能性不大的项目。
备选方案:如果一个项目缺乏扩展或复制的潜力，那么更好的行动方案是测量实现，以确保项目的实现符合预期。如果需要关于“为什么”的答案，那么清晰的项目理论和高质量的执行数据有助于理解这个项目为什么有效。但是，在这种情况下，评估投资影响是不合适的。
本文提出的关于影响评估的问题，或许可以从另一个角度理解为在合适的时机对决策者进行更有用、更严谨的评估的必要性。当非营利组织或项目还没有准备好进行影响评估时，他们仍然需要高质量的数据来辅助决策或改进项目模型的实施。但是，当一个或几个随机评价表明某个模型确实有效，准备进行规模扩张时，一个基于音变理论的监测系统是关键环节，它可以保证项目规模扩张时的实施质量。在过渡时期，我们希望将大家的注意力转向建立有助于组织学习和改进的证据体系。
本文发表于《斯坦福社会创新评论》中文版06期。
作者:Mary Kegugotti，华盛顿大学丹尼尔·J·埃文斯公共事务学院非营利管理教授，南希·贝尔·埃文斯非营利和公益中心学术主任；
美国西北大学凯洛格管理学院经济学和金融学教授迪安·卡兰(Dean Karan)也是巴菲特全球研究学院全球贫困研究实验室的联合主任，扶贫创新行动的创始人，ImpactMatters的联合创始人。
译者:廖爱万。
