【麻海新知】基于患者术前资料构建预测术后不良事件风险的机器学习模型

心脏疾病和卒中是全球范围内导致死亡的两个主要原因，逾计超过25%的死亡事件(1500万起)与之相关。令人惊讶的是，术后30天内死亡位列第三大死因，每年约420万人(占全部死亡的7.7%)因此死亡。美国每年约进行4840万次外科手术，多达15%的患者术后30天内会出现并发症，其中一半被认为是高风险患者。为减少手术并发症并改善术后结果，临床已转向高风险患者的术前优化和围手术期管理，但目前很少有预测工具能及时准确地识别这些高风险个体。目前，最受欢迎的术前风险评估工具为NSQIP手术风险计算器，但用于部分手术、患者、机构和地区时准确性会下降。

2023年7月，JAMA Netw Open刊发来自美国匹兹堡大学医学院麻醉和围手术期医学科Aman Mahajan教授领衔的一项研究。该研究仅基于患者和术前电子健康记录(EHR)中的变量，建立、应用和评估了一个机器学习模型在预测术后30天死亡和主要不良心脏和脑血管事件(MACCEs) 的准确性、灵活性和适用性。

方法  

该研究获得匹兹堡大学伦理审查委员会批准，使用迭代的机器学习方法对一个不断更新的手术队列进行研究。该研究分为三个阶段：(1)在手术患者回顾性队列上建立和验证模型；(2)基于患者回顾性队列测试模型准确性；(3)在前瞻性手术患者队列中测试模型准确性。模型预测性能通过接受者操作特征曲线下面积(AUROC)、敏感度和特异度来衡量，重点关注临床可解释性。

患者数据来自美国匹兹堡大学医疗系统(UPMC)，包括40多家教学和社区医院，通过同一电子健康记录系统进行互联。选择2012年12月至2019年5月期间使用任何麻醉服务进行手术的患者队列作为开发机器学习模型的样本(图1)。最终数据集共涵盖368个变量，包含3067个独立输入值。

模型将术前60天的1000种最常见诊断、手术前1年的1000种最常见主要和次要手术、手术前180天开具的778种最常见药物，以及手术前60天的72位患者门诊量最大的专科医生作为独立变量纳入。使用深度学习库Keras版本2.90对最常见变量进行识别、索引、存储和one-hot编码。

用于构建模型的训练患者和验证队列包括2012年12月至2019年5月之间进行手术。在前瞻性测试阶段，模型被悄无声息地部署(医生不知情)，并在2019年6月1日至2020年5月30日期间进行手术的患者中进一步评估，以确保模型准确性。根据美国心脏协会分类，任何具有术后30天死亡风险或MACCE风险≥5%的患者被认为是高风险。最后，研究者比较了UPMC围手术风险模型和NSQIP工具在2021年4月1日至6月30日期间在UPMC Presbyterian医院三级护理中心进行手术的902例患者来比较预测死亡率的准确性。

图1 患者筛选及预测模型的开发和验证流程

统计分析：由于临床数据量大且维度高，选择梯度提升决策树作为首选机器学习方法来预测术后30天死亡或MACCE风险。MACCE被定义为以下一种或多种记录在ICD-10编码中的情况：1型或2型急性心肌梗死、心源性休克或急性心力衰竭、不稳定型心绞痛和卒中。研究者选择使用LightGBM，因其具有额外的灵活性和训练速度。使用Python3.6构建模型。模型训练在基于Azure云的数据科学虚拟机中进行。为防止过拟合，在训练过程中进行5折交叉验证，同时调整7个超参数(树深度、每棵树的叶节点数、学习率、正权重缩放、早停轮数、L1正则化和L2正则化)。为帮助解释模型，采用了Shapley累加解释(SHAP值)。

结果

研究对象为1477561例患者，其中女性806148例(54.5%)，患者平均年龄56.8岁。研究期间共识别到1271208次手术，并用于开发机器学习模型。训练集患者(图1B)包括1016966次手术，随后在254242次手术上对模型进行验证。当模型在临床中应用时，又对206353例即将接受手术的患者进行前瞻性评估。

在训练集中，术后30天死亡的AUROC为0.972 (95% CI, 0.971-0.973)，在测试集中则为0.946 (95% CI, 0.943-0.948)(图2A)。MACCE或术后30天死亡模型在训练队列上的AUROC为0.923 (95% CI, 0.922-0.924)，在测试集中则为0.899 (95% CI, 0.896-0.902)(图2B)。

图2 围手术期风险预测模型的预测准确性    

前瞻性评估显示，术后30天死亡的AUROC为0.956 (95% CI, 0.953-0.959)。灵敏度为2517例患者中的2148例(85.3%)，特异度为203836例患者中的186286例(91.4%)。其阴性预测值为186655例患者中的186286例(99.8%)(图3)。

图3 围手术期风险预测模型应用于前瞻性临床验证    

为保证模型解释性、可靠性和可操作性，通过SHAP特征归因值报告预测模型中最重要的特征。图4报告了与感兴趣结果的对数几率相关性最高的30个特征。通过SHAP值发现，患者接受手术时的年龄与输出变化最为相关(图4A和4B)。患者年龄越大，术后30天内MACCE或死亡的可能性就越高。血清白蛋白水平(根据最近一次测量值)是死亡模型中一个重要因素，但并非MACCE模型中的一个因素。随着白蛋白值的降低，通常会增加死亡率。血清镁离子水平(最近一次)也与两个模型中的结果变化相关。

二分类变量(如是否有冠状动脉疾病)也得到可视化展示。在MACCE或死亡模型中，与没有冠状动脉疾病的患者相比，患有冠状动脉疾病的患者发生术后30天并发症的风险更高。值的提醒的是，这些可视化图表并不代表因果关系模型，不能通过SHAP值推断变量的重要性。

图4 与患者术后30天死亡率、MACCE相关的风险因素及SHAP值分布    

为比较NSQIP和本研究构建的UPMC死亡预测模型的风险预测准确度，研究者纳入902例患者进行分析。结果表明，UPMC预测模型的AUROC优于NSQIP (0.945 [95% CI: 0.914-0.977] vs 0.897 [95% CI, 0.854-0.941])。UPMC模型的特异性更高，准确度和阳性预测值也更好。

图5 UPMC死亡预测模型与NSQIP死亡预测模型的比较    

最后，研究者将该算法部署并在临床实践中使用。具体做法如下：每天早上8点根据前一天在UPMC医疗系统中安排的所有手术进行预测。预测分数显示在风险预测应用屏幕上(图6)。

图6 UPMC风险预测模型在临床中的应用展示

结论

研究者仅基于术前电子病历数据开发了一个非常准确的围手术期风险模型，这可能使临床医师能够根据患者的术后并发症或死亡预测风险来进一步在术前优化患者或加强患者围手术期管理。

麻海新知述评

研究者基于近150万例患者的术前资料，开发、验证并前瞻性测试了一个高度准确的梯度提升决策树算法，在预测患者术后30天死亡和主要心血管不良事件上的应用。这一模型的敏感度和特异度高，远远超出目前所有预测模型。该研究所用的患者数量大，既有模型开发和验证，还在临床实践中予以部署和运用，研究过程完整，思路值得借鉴。

既往预测患者围手术期各类风险的模型，通常纳入患者术中及术后一个阶段内的各种变量，这使得模型的临床实用性受到影响，模型能提前准确预测的时间也相对有限。本研究另辟蹊径，仅基于患者术前电子病例中的各类指标来构建模型，这通常需要极大量的数据队列和深入的数据挖掘、模型训练，一旦能够构建模型，则具有极强的临床实用价值。这将使临床医师能重点关注术前能优化患者的各类干预措施，以便改善患者术后结局。值得注意的是，该模型中多个变量均使用患者术前最新的某一指标信息，如能基于患者更早期(比如手术前数周)的信息且能具有较高的预测准确性，则将更进一步改善患者术前评估和优化的效果。

该研究同时还比较了UPMC风险预测模型与当今最常用的NSQIP风险预测模型，结果表明UPMC风险预测模型的预测效果更好。鉴于研究者开发的这一模型，是基于UPMC医疗系统构建的，其在该系统内的预测效果更好也不难理解。因此，该模型未来需以规模更大、来自不同医院的患者为基础，进一步纳入具有包括临床、实验室、影像学和社会健康决定因素在内的多种扩展变量，来进一步评估其临床适用性。

该研究也存在一定局限。首先，该模型虽然准确，但依赖于电子病历中的数据。如果相关数据缺失，评分则可能无法反映患者的真实风险。众所周知，预测术后MACCE的模型包括Gupta心脏风险评分和改良心脏风险评估指数(RCRI)。如果临床医师能熟练掌握，也能仅根据患者部分关键信息做出可信度较高的判断和预测。此外，该模型尚未在来自其他机构的患者测试集上进行外部验证。最后，机器学习虽能提供准确的预测模型，但这些模型在特征或导致风险分配的变量方面犹如黑箱操作，对临床可能无法提供更准确的具体指导。本研究使用SHAP值方法，识别出对风险贡献最大的特征，部分提高了预测风险评估的可解释性。

诚如本研究在文首所指出的，术后30天内死亡是全球范围内导致死亡的第三大原因。有效预测患者围手术期不良结局和死亡风险，将有助于改善患者术后结局、恢复和生活质量。中国每年完成的各类手术总量超过美国，也期待能基于中国的大规模围手术期患者队列，全面构建覆盖患者整个围手术期的数据库，通过与大数据、人工智能等学科领域的合作，深入探讨麻醉及围手术期医学亟需解决和回答的临床问题，为改善患者结局做出应有之贡献。

编译、评述：薄禄龙

原始文献：

Mahajan A, Esper S, Oo TH, et al. Development and Validation of a Machine Learning Model to Identify Patients Before Surgery at High Risk for Postoperative Adverse Events. JAMA Netw Open. 2023;6(7):e2322285. doi: 10.1001/jamanetworkopen.2023.22285.  

声明：古麻今醉公众号为舒医汇旗下，古麻今醉公众号所发表内容之知识产权为舒医汇及主办方、原作者等相关权利人所有。未经许可，禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用，亦须注明来源。欢迎转发、分享。