人工智能（AI）技术的飞速发展给医学领域带来了兴奋和担忧。一方面，从加速诊断到优化治疗方案，这些强大的算法蕴含着彻底改变医疗保健的巨大潜力。然而，将人工智能融入现实世界的医疗实践也带来了重大挑战，必须小心应对。

近年来，数以百计的人工智能医疗设备获得了监管部门的批准，越来越多的人呼吁进行更严格的临床验证，以确保这些工具真正造福患者。随意部署人工智能不仅无法改善治疗效果，最糟糕的情况下还会导致患者受到伤害。负责任地开发和实施医疗人工智能需要采取多方面的方法，解决临床测试、算法偏差、人与人工智能的互动以及患者同意等方面的复杂问题。

仓促部署的危险

德文-辛格（Devin Singh）是一名儿科住院医师，他在急诊科目睹了一起心脏骤停的悲剧，他的故事凸显了在临床使用前对人工智能系统进行全面评估的迫切需要。辛格被孩子的死讯深深打动，他不得不利用自己在儿科和计算机科学方面的双重专长，探索人工智能如何帮助缩短等待时间，加快护理速度。通过研究，辛格和他的同事们开发出了一套人工智能模型，可以为儿科患者提供快速诊断并推荐适当的测试。

虽然回顾性数据分析显示了令人鼓舞的结果，有可能加快20%以上急诊科就诊的护理速度，但这只是验证这种人工智能干预对现实世界影响的第一步。正确测试医疗人工智能是一个复杂的、多阶段的过程，远远超出了最初的算法性能。

遗憾的是，目前在临床验证方面存在巨大差距。最近的一项研究发现，在2020年至2022年期间，只发表了65项人工智能干预的随机对照试验--与美国食品药品管理局（FDA）等监管机构已批准使用的数百种人工智能驱动的医疗设备相比，这个数字实在微不足道。

洛杉矶雪松-西奈医疗中心的心脏病专家大卫-欧阳（David Ouyang）直言不讳："医疗机构看到了许多未经临床验证的获批设备"。缺乏严格的测试意味着医院和诊所在采用这些技术时，往往只能在实际影响证据有限的情况下做出高风险的决定。

医疗人工智能市场的激励结构可能会加剧这一问题。在美国，医疗保险计划已经为使用某些人工智能设备的医院报销费用，这就为采用这些工具提供了经济动力，即使它们对病人护理的益处尚未得到证实。欧阳认为，这可能会阻碍公司投资于成本高昂、耗时漫长的临床试验过程，因为获得报销批准可能比证明改善了的医疗效果更重要。

在政府集中拨款的医疗系统中，情况可能有所不同，因为在这些系统中，在获得技术之前，对证据的要求更高。但总体而言，目前的监管环境似乎把标准定得过低，对患者构成潜在高风险的设备往往只需要有限的临床数据就能获得批准。

考虑人为因素

即使人工智能系统在对照研究中显示出了良好的效果，其在现实世界中的表现也会受到医疗保健专业人员如何与该技术互动并对其做出反应的严重影响。这种 "人在回路中 "的因素是一个经常被忽视的重要考虑因素。

阿姆斯特丹大学医疗中心的经验就是一个最好的例子。阿姆斯特丹大学医疗中心的研究人员进行了一项随机试验，对爱德华生命科学公司开发的一种算法进行测试，该算法可以预测手术过程中低血压的发生，这种危险情况被称为术中低血压。初步试验表明，该算法与明确的治疗方案相结合，可有效缩短低血压发作的持续时间。

然而，另一家机构随后进行的试验却未能复制这些益处。关键区别是什么？在第一个成功的试验中，研究人员就如何应对算法的警报为麻醉医生做了精心准备。但在第二次试验中，"床旁医生在警报响起时没有采取任何措施"，麻醉师 Denise Veelo 解释说。

这种人为因素至关重要。如果使用人工智能算法的医疗服务提供者选择忽视或曲解其建议，那么再好的人工智能算法也会失效。"警报疲劳"（临床医生对大量人工智能生成的警告不敏感）等因素也会削弱技术的潜力。

缩小人工智能开发人员与最终用户之间的差距至关重要。梅奥诊所的研究人员芭芭拉-巴里（Barbara Barry）在测试一种检测心脏状况的算法时发现，医疗服务提供者希望获得更多指导，以了解如何将该工具的发现有效地传达给患者。融入这种以用户为中心的设计见解是确保人工智能顺利融入临床工作流程的关键。

除了临床医生，还必须考虑患者的作用。目前，许多医疗人工智能应用都是在幕后操作，协助医疗服务提供者进行筛查、诊断和治疗规划。但正如辛格的儿科急诊室项目所展示的那样，有越来越多的人工智能工具旨在直接增强患者的能力，使某些决策过程自动化。

在这种情况下，人工智能系统会获取分流数据，做出预测，然后寻求家长或看护人的直接批准，以继续进行测试--实际上将临床医生从环路中移除。这就在患者同意、责任和义务方面提出了前所未有的伦理和监管问题。在这种自动化场景中，我们如何才能确保获得患者家属真正知情和真实的同意？如果出了差错，会有什么法律影响？

这些都是未知的领域，辛格的团队正与法律专家和监管机构合作来驾驭它们。但从更广泛的意义上讲，医疗人工智能界必须努力解决患者作为这些技术的数据源和最终用户所扮演的角色不断演变的问题。透明的沟通、有意义的同意程序和强大的数据管理框架将是至关重要的。

解决算法偏差问题

测试和部署医疗人工智能的另一个关键挑战是确保这些工具在不同患者群体中的公平表现。算法偏差，即人工智能系统根据种族、性别或社会经济地位等因素表现出倾斜或歧视性输出，是医疗保健领域一个有据可查的问题。

临床试验人群往往不能代表这些技术将服务的更广泛的患者群体。正如英国伯明翰大学临床研究员刘晓璇（Xiaoxuan Liu）所指出的那样："众所周知，当人工智能算法使用的数据与训练时使用的数据不同时，它们就会非常脆弱。

谷歌健康公司用于检测糖尿病视网膜病变的算法就说明了这种风险。虽然该工具在该公司的大本营加利福尼亚州帕洛阿尔托进行的测试中表现出很高的准确性，但在泰国的诊所使用时，其性能却大幅下降。一项观察研究显示，泰国的照明条件和图像质量不同，降低了算法的有效性。

这些案例凸显了评估医疗人工智能系统的关键需求，即不仅要在理想化的研究环境中进行评估，还要在真实世界的临床环境和患者群体中进行评估。严格的偏差测试必须成为临床验证过程的核心组成部分，以确保这些技术不会加剧现有的医疗差距。

建设本地验证能力

鉴于测试医疗人工智能面临多方面的挑战，问题来了：谁应该负责这项重要工作？有些人认为，在采用任何人工智能工具之前，每个医疗机构都应进行自己的评估。但正如人工智能专家 Shauna Overgaard 所指出的那样，这将带来巨大的负担，尤其是对于规模较小的医疗机构而言。

为了解决这个问题，各方正在共同努力，为医疗人工智能验证创建更加集中化、标准化的方法。健康人工智能联盟（Coalition for Health AI）的成员包括来自工业界、学术界和患者团体的代表，该联盟建议建立一个 "健康人工智能保证实验室 "网络，利用一套商定的原则对模型进行评估。

与此同时，由戈登和贝蒂-摩尔基金会（Gordon and Betty Moore Foundation）资助的 "健康人工智能伙伴关系"（Health AI Partnership）旨在为任何希望自行测试人工智能模型的医疗机构建立技术援助和本地验证能力。正如杜克大学临床数据科学家马克-森达克（Mark Sendak）所言，"每个机构都需要有自己的内部能力和基础设施来进行测试"。

放射学合作伙伴公司的妮娜-科特勒（Nina Kottler）也认为，本地验证至关重要，但她也强调了教育最终用户的重要性，即在实践中操作这些人工智能工具的临床医生。"她指出："在医疗保健领域，几乎没有一种人工智能是自主的。"我们必须开始考虑如何确保我们测量的准确性，不仅仅是人工智能的准确性，而是人工智能加上最终用户的准确性。"

迈向负责任的医学人工智能的未来

人工智能医疗设备的迅速普及已经超过了为其临床验证和伦理实施而制定的强大框架的发展速度。因此，医疗机构往往只能在有限的指导和支持下，独自探索这些未知的领域。

然而，医学人工智能界正越来越多地团结在一个更加严谨、协作和以患者为中心的方法的需求周围。主要优先事项包括

1.加强临床验证要求：监管机构必须提高对真实世界影响证据的要求，不仅要评估算法性能，还要评估不同人群的临床结果、安全性和公平性。

2.促进多方合作：产业界、学术界、医疗服务提供者和患者权益倡导者必须共同努力，为医疗人工智能的测试和部署制定标准化的原则和流程。

3.增强本地验证能力：各种规模的医疗机构都需要技术资源和专业知识，以便在自己的临床环境和工作流程中对人工智能工具进行全面评估。

4.以人为本：人工智能系统与医疗保健专业人员以及患者及其家属之间的互动必须经过精心设计和研究，以确保顺利整合和信任。

5.解决伦理问题：必须积极解决患者同意、数据治理、算法偏差和问责制等问题，以确保医疗人工智能以合乎道德和公平的方式实施。

通过采用这种多方面的方法来负责任地开发和部署人工智能，医疗界可以利用这些技术的变革力量，同时降低风险。由于患者的生命和福祉岌岌可危，因此事关重大。但是，只要勤奋努力、通力合作，并坚定不移地致力于临床验证和伦理实施，人工智能在医学领域的前景就能充分发挥其潜力。

​