法国蒙彼利埃大学健康管理博士课堂讲座：如何评估改进干预措施？
2022年9月3日法国蒙彼利埃大学健康管理博士课堂举行“如何评估改进干预措施？”网络讲座，以下是小编整理的相关知识点。
改进值得评估——但找出有效方法的最佳方法是什么？每当开发出一种新的诊断或治疗医疗健康人员的方法时，严格的评估都是该过程中的关键阶段。每个人都同意新药应经过仔细评估其有效性、可接受性和成本。正如 Karolina Kuberska 在本系列的早期博客中所说的那样，评估对于确定改进的新方法是否真的兑现承诺也至关重要。善意的改进工作可能并不总是按预期进行；有时他们甚至会造成伤害。例如，重要的是要考虑改进干预措施是否解决了 NHS 患者、护理人员和工作人员的优先事项和需求，他们在不同情况下是否工作得更好或更差，是否能很好地利用有限的医疗资源。但这对于我们如何评估改进究竟意味着什么？
一个重要的问题是用于评估新诊断或治疗干预的方法——例如新药或新机器——是否可以转移到改进领域。
评估改进干预措施：蜗牛和福音传道者
通常被视为最佳的评估新药的方法是随机对照试验或 RCT。试验提供了一种比较干预的影响与没有干预时会发生的影响的方法。它们被视为黄金标准有充分的理由：它们在解决方法中潜在的偏见方面大有帮助，并允许将新的干预措施与已经采取的措施进行比较。但它们也很复杂、昂贵且耗时。
在评估改进工作时， RCT 和类似的实验方法是否也是正确的方法，这个问题已经使改进研究社区分裂了一段时间。Frank Davidoff以及后来的Robert Burke 和 Kaveh Shojania将这种划分描述为“传道者”和“蜗牛”之间的区别（奇怪的配对，在 1970 年代首次用于描述关于如何最好地评估筛查干预的类似尖锐观点）。蜗牛会回答“是”：改进干预措施与其他医疗健康干预措施没有太大区别，它们在同一系统中竞争资源，因此在广泛采用之前，我们应该让它们符合相同的证据标准。布道者会说“不”：改进是不同的；其造成伤害的可能性较低；通过替代方法可以更好地理解和评估改进干预措施。
很容易看出争论双方的优点。正如蜗牛们会注意到的那样，医疗健康改善的历史上充斥着有希望的干预措施的例子，当通过随机对照试验或类似的研究设计进行最严格的评估时，结果证明对重要的结果几乎没有影响。
越复杂……对上下文越敏感，做 RCT 就越棘手
另一方面，正如传道者会回答的那样，改进干预显然与新的药物治疗，甚至许多新的诊断创新截然不同。改进干预是复杂的干预，通常涉及许多组件、不同的人、许多活动部件。它们取决于上下文：它们在某些地方会比在其他地方更好地工作。根据设计，它们通常涉及迭代，参与人员在进行过程中改进和调整干预。改进工作的这些特征可以说使它们不适合通过随机对照试验进行评估，随机对照试验往往最适合静态的、定义明确的干预措施，这些干预措施几乎不受环境（谁在做、如何做以及在哪里做）的影响。改进干预越复杂，对上下文越敏感，进行 RCT 就越棘手——而且很快，RCT 方法就会开始变得笨拙。
超越随机对照试验
不仅如此，RCT 并不能告诉你一切。RCT 的结果通常会告诉您，平均而言，在所涵盖的人群和背景下，干预措施是否更好、更差，或大致相当于某些关键结果的替代方案。它没有告诉你的是干预为什么以及如何起作用，或者没有。这对药物来说可能没那么重要，但对于改进干预措施——比如相关人员可以产生如此重要的影响——至关重要。
过程评估提供重要的附加知识——并且是任何评估的重要组成部分
对于这种复杂的干预措施，过程评估提供了重要的附加知识——并且是任何评估的重要组成部分，不仅仅是基于试验的研究。过程评估产生的知识对于改进工作尤其重要，提供了深刻的深入了解行动机制、背景影响、项目如何在实践中而非设计中发挥作用，以及干预措施的实施和接受者如何交付和体验。过程评估还可以产生关于有希望的干预措施的重要学习，这些干预措施并不能使毕业生e 当涉及到根据 RCT 证明的高统计标准证明其有效性时，但不应该被丢弃. 以患者报告和安全环境干预行动为例（见方框）。
由布拉德福德健康研究所开发的患者报告和安全环境行动 (PRASE)提供了一种在住院期间收集患者关于他们感觉如何安全的反馈的方法，以帮助工作人员确定哪些方法运作良好以及需要改进的地方。在对干预措施进行了漫长而仔细的开发和试点之后，PRASE 使用 RCT 进行了测试，但未能显示出与所测量的两个关键指标中的任何一个相比都有显着改善。
同时，与 RCT 一起进行的过程评估表明许多使用它的人真的很重视 PRASE。患者欢迎有机会提供反馈，工作人员认为这为他们提供了有关安全性的重要见解。但过程评估也显示员工参与干预的方式存在显着差异。尽管有一个标准的方法可以遵循，但有些员工比其他员工更热情地采用它，有些员工在使用该工具改善与患者的沟通并尝试发起变革的方式上更具创造性。
我们应该如何解释关于 PRASE 的证据？孤立地看待随机对照试验，从表面上看，我们可能会将其视为“失败的”干预措施：尽管有良好的意图，但与常规护理相比，它最终并未显示出任何关键结果的改善。但过程评估讲述了一个不同的故事。这种方法不是灵丹妙药，但仍可能对员工和患者具有一定的价值——特别是当交到一个有创造力、有奉献精神的团队手中时，他们希望充分利用它。当然，这不是广泛采用的授权，但它也没有提出明确的放弃案例。相反，谨慎的调整可能是有序的——至少对于那些可以在干预中看到一些有希望的想法的工作人员来说，他们可以更好地与患者互动并寻求提高安全性。
当地主导的改进计划又如何呢？
这种复杂的、混合方法的方法，结合了实验方法、过程评估和健康经济学，现在很常见，并且越来越多地被视为在全国推广之前评估复杂干预措施的最佳方法。虽然这是受欢迎的，但建议进行评估并做好评估可能会令人生畏。许多改进工作是由资源紧张且获得评估专业知识的小团队在当地领导的。彻底的过程评估，更不用说完全成熟的 RCT，可能远远超出这些团队的能力。但他们所做的改进工作可以为卫生服务提供的护理质量做出重要贡献——因此，它值得评估，以便系统中的其他人可以从中学习、复制并在其他地方进行调整。
从不遵循 RCT 模型的执行良好的研究中产生有用知识的空间很大，利用诸如前后研究和中断时间序列分析等方法。过程评估的原则也有适用于小规模改进工作的空间。但是对于在这些情况下什么是“足够好”，人们达成的共识有限：例如，什么应该始终包含在内，什么是可以拥有但不是必需的。Clifford Ko 的博士研究目前在 THIS 研究所进行，旨在解决这个问题，以期制定能够帮助指导在所有环境中对改进者进行严格、有用的评估的指南。
因此，在寻求评估改进干预措施时，重要的是不要让完美成为善的敌人。大型多中心试验以及伴随的过程和经济评估，在卫生服务研究和改进研究中占有重要地位，特别是在寻求将成功的方法推广到更广泛的环境时。但是，确保地方层面的改进努力与相应的评估努力相匹配，这也是确定有效方法、从经验中学习以及确保投入改进的时间为患者、护理人员和工作人员带来成果的关键方法。
Graham 与 Jane O'Hara 和 Justin Waring 合着的最近一本书的章节中对本博客中涵盖的辩论进行了更详细的考虑，“安全计划和干预的大规模混合方法评估”，发表在危险技术系统内部：方法基础、挑战和未来方向，CRC Press (2021) 出版。