利用急诊科患者病历记录的信息,我们使用了几种ML算法,旨在预测TBI患者的三种出院状态。
背景:目前创伤性脑损伤(TBI)预测计算通常用于预测死亡率和Glasgow评分,这些结果与严重的TBI最为相关。由于轻度和中度创伤性脑损伤很少导致严重的结果,因此需要新的研究目标。
目的:设置针对三种不同程度脑损伤均具有强大预测能力的机器学习(ML)模型,这是一种全新的TBI预后模型。其结果可以预测包括轻中度TBI的所有患者的功能状态。
方法:使用来自第四护理中心收集的TBI患者数据(n = 5292)及其84个预测因子,包括生命体征、人口统计学、损伤机制、初诊格拉斯哥昏迷量表与合并症,我们使用嵌套分层交叉验证协议训练了6种不同的ML算法。在优化超参数并进行模型选择后,应用保序回归来校准模型。
结果:在超参数优化过程中,当受试者特征曲线下的微平均面积最大化时,随机森林模型表现最好。在最大化精准回归曲线下的微平均面积时,选择随机森林模型。两种模型的受试者特征曲线下的加权平均面积为0.84 (95% CI 0.81-0.87),精准回归曲线下的加权平均面积为0.85 (95% CI 0.82-0.88)。
结论:我们研究小组提出了高效的ML模型来预测三种TBI。这些模型可以帮助优化TBI患者的分诊和治疗,特别是对轻中度TBI患者具有重要临床意义。
关键词:出院,急诊科,机器学习,预测建模,创伤性脑损伤,分诊
创伤性脑损伤(TBI)是世界上最常见的神经系统疾病之一,估计在全球范围内每年有6900万人发病。在美国,每年有超过5万人死于创伤性脑损伤,占创伤相关死亡人数的30%以上。鉴于TBI患病率高且预后不良,开发更好的工具来优化这些患者的临床管理和分诊是至关重要的。开发和应用机器学习(ML)模型是一个潜在的途径。
ML是一种很有前景的计算方法,它已广泛应用于整个医学领域,展现了作为医生对患者分诊、诊断和治疗的一种辅助手段的潜力。在创伤性脑损伤的背景下,ML被用来预测患者的预后,最常见的是计算死亡率或格拉斯哥预后评分(GOS)。
目前,有两种被广泛验证TBI的预测计算模型:国际TBI预后和临床试验任务以及严重头部损伤(CRASH)后皮质类固醇随机化预测计算模型。这两种计算模型都预测了两种结果:6个月时的死亡率和两类GOS。尽管这些计算模型具有很强的预测能力,且受试者特征曲线(AUROC)下面积大于0.8,但死亡率和GOS风险预测需要其他终点事件的补充,以最大限度地发现TBI后遗症,特别是在轻、中度TBI病例中,这部分患者通常后遗症的发病率和死亡率低。由于轻度和中度创伤性脑损伤占全球创伤性脑损伤病例的90%以上,因此迫切需要更多的结果来评估这大部分病例病情的可能发展趋势。更普遍的是,在所有TBI患者中,两类GOS只能提供功能预后的粗略指征。例如,在CRASH研究中,61.5%的患者属于两类GOS,包括中度残疾和恢复良好。附加的两类结果可以帮助临床医生区分这些子类别中的风险。除了有限的预后解决方案外,CRASH和国际TBI预后及临床试验任务都使用了逻辑回归(LR),仅捕获预测因素的线性组合。学习非线性关系可以提高在诸如创伤性脑损伤等复杂情况下的预测性能。
在这里,我们提出了一组具有敏感和特异性的用于预测患者可以出院的状态的ML模型,此前这一结果在文献中没有建模。除了死亡率或两类GOS外,该结果可代表患者的功能状态。在前瞻性的外部验证后,我们的模型可以用于辅助临床管理和改善护理。
方法
伦理批准和数据获取
我们的分析基于2013年10月至2020年5月杜克大学医院的国家创伤数据库记录的患者数据。所有数据都是在杜克大学机构审查委员会批准了这项研究之后获得的。本研究遵循了对个体预后或诊断指南的多变量预测模型的公开报告。
数据处理
使用已建立的TBI纳入标准,通过筛选头部创伤评分来识别TBI患者(补充表1,http://links.lww.com/ NEU/C985),获得6189例患者的初始数据集,选168个特征参数。所有年龄段的患者都包括在内。入选病例为急诊科(ED)的患者。删除数据中不完整的记录,最终得到5393名患者及其84个预测因子(图1);然后将数据标准化。分类变量采用单次编码。预测因子包括生命体征、人口统计学、损伤机制、初诊时的Glasgow评分(GCS)与合并症,见补充表2,http://links.lww.com/NEU/C985。患者出院状态根据预后好、预后差或死亡被分为3组。预后好的组出院去向包括家,急性康复和亚急性康复机构。预后差的组出院去向包括有经验的护理机构,养老院,长期急性护理和任何其他地点。死亡组包括那些被送到临终关怀病房或太平间的患者。选择这种三分法是为了最好地区分患者状态的严重程度。值得注意的是,该出院时间点是在患者出院时记录的,而不是在急诊科转出时记录的。此时,敏感的患者数据不能存入公共数据库。但是,数据可以根据要求提供,需等待杜克大学机构审查委员会的审查。
系统架构
使用Python 3.7.6和sklearn 0.23.2 (Python软件基础)训练了六种不同的算法:带正则化的LR、随机森林(RF)、支持向量分类器(SVC)、k近邻法(KNN)、高斯朴素贝叶斯(GNB)和XGBoost (XGB)。分类之间使用一对多分类进行比较。采用五次嵌套分层交叉验证优化模型超参数,确定最优模型(补充表3,http://links.lww.com/NEU/C985)。我们运行了2次优化和选择,优化了微平均AUROC和微平均精准回归曲线(AUPRC微)下的面积。这过程中允许搜索模型匹配,特别是增强AUROC vs AUPRC,后者对分类更敏感,并且在某些应用中,明显表现出模型可部署性。对于超参数,LR优化为正则化强度的倒数(“C”在scikit-learn)和正则化类型(“惩罚”);RF优化决策树的数量,(“n 估计器”);SVC针对类权重的强度进行优化,以解决类不平衡(“类权重”)、核类型(“核”)和核系数(“gamma”);KNN根据邻素数量(n 邻元素)进行优化;XGB针对树的数量(“n 估计器”)、树的深度(“最大深度”)和学习率(“学习 率”)进行了优化。(补充表3,http://links.lww.com/NEU/ C985)。然后使用5倍交叉验证的保序回归对最佳模型进行校准,创建5个校准模型,在进行预测时对其输出进行平均。然后,在测试数据(总数据的15%)上对最佳模型进行评估,并计算AUROC、AUPRC、准确性、F1得分、敏感性、特异性、阳性预测值和阴性预测值的加权平均值(跨类,按类频率加权)。平均数是根据这三个类别的规模加权的。除了这些平均值,还计算了特定类别的值(补充表4,http://links.lww.com/NEU/C985)。我们在测试中使用自举重采样(2000次自举重复)来估计95%的CI。
结果
患者一般特征
最后纳入数据共5292名患者,其中61.8%(n=3268)是男性,38.2%(n=2024))是女性,患者平均年龄48.6岁,标准差为26.4岁。60岁以上的成年人占总数的38.8%(n=2055)。患者表现为不同程度的神经损伤,其中轻度TBI (GCS 13-15)患者4682例(88.5%),中度TBI (GCS 9-13)患者213例(4.0%),重度TBI (GCS 3-8)患者397例(7.5%)。伤害机制包括机动车辆意外(38.1%)、跌倒(42.9%)、攻击(4.6%)、运动(0.7%)、窒息(0.1%)及其他或不明原因(4.8%)。最常见的合并症包括高血压(33.5%)、当前吸烟状况(16.9%)和糖尿病(13.7%)。所有患者的病死率为4.2%,与以前流行病学研究的数据一致。80.4% (n = 4258)的患者预后良好,而14.6% (n = 768)的患者预后较差,其中死亡率为5.0% (n = 266)。各组的平均年龄分别为43.5(±25.2)岁、72.1(±18.2)岁和62.4(±24.2)岁。轻度GCS患者3903例(91.7%)、681例(88.6%)、98例(36.8%),重度GCS患者204例(4.8%)、52例(6.8%)、141例(53.0%)。表1为患者特征的综合描述。
图1:所示在对数据进行预处理以筛选急诊科收集的初诊记录和预测因素的基础上,开发并测试了模型。在达到最终的性能指标之前,对最佳模型进行最终校准。GNB,高斯朴素贝叶斯;KNN, k 近邻法;LR,逻辑回归;
模型性能
在优化AUROC或AUPRC微超参数时,选择的最佳模型为RF。在对前者进行优化时,试验数据的加权平均AUROC为0.84 (95% CI 0.81-0.87),加权平均AUPRC为0.85 (95% CI 0.82-0.88)。在优化AUPRC微超参数时,得到了相同的值(图2A和2B)。AUROC微优化得到的阳性预测值为0.79 (95% CI 0.74-0.84),阴性预测值为0.69 (95% CI 0.61-0.76),准确性为0.83 (95% CI 0.81-0.86), F1评分为0.79 (95% CI 0.76-0.83)。AUPRC微优化的值几乎相同。表2中报告了一组完整的统计数据,在补充表4 (http://links.lww.com/NEU/C985)中提供了更多的特定值。每个模型都经过了很好的校准(图2C),表明模型可靠地显示了其不确定性,提高了临床适用性。两种模型最显著的特征参数依次为年龄、氧饱和度、GCS言语、肥胖、GCS运动、高血压、痴呆、GCS睁眼、跌倒作为损伤机制和高级限制性护理指令(表3,补充表5,http://links.lww.com/ NEU/C985)。
AUPRC,精准回归曲线下的面积;AUROC,受试者特征曲线下的面积;NPV,阴性预测值;PPV,阳性预测值。所选模型为random forest和XGBoost。灵敏度和特异性的报告阈值为0.5。所有的指标都给出了95% Cl的上下限。
图2:功效和校准优化模型提出的特定指标。所有的模型都是使用多分类策略创建的。A, AUROC图,黑色表示加权平均值。B, AUPRC图,以不同程度组发病率作为报告参考(虚线)。C、使用保序回归校准曲线。AUROC,受试者特征曲线下的面积;AUPRC,精准回归曲线下的面积。
AUPRC,精准回归曲线下的面积;AUROC,受试者特征曲线下的面积;GCS,格拉斯哥昏迷量表。重要特征在每个最佳模型中排名相似。
讨论
在本研究中,我们提出了一种敏感、特异和有效校准的ML方法,在给定入院时已知信息的情况下,预测TBI患者出现3种出院情况之一的概率。该模型的性能尽管首先应该通过前瞻性的外部验证来确认,它仍然有可能在围绕患者监测、干预和护理目标的决策中发挥关键作用。该模型分别对AUROC微模型和AUPRC微模型进行了优化。AUROC用于评估模型的鉴别能力,而AUPRC则更好地量化了模型识别阳性病例的能力,且假阳性最小。我们可能需要权衡这些指标,但是在选择的病例中,对任何一个指标的优化都会产生类似的模型性能(表2)。由于所选择的两个模型都是RF的,并且RF对超参数进行了优化,因此模型在性能上不太可能出现发散。然而,对于未来的模型和数据,应该考虑对AUROC和AUPRC进行单独优化,特别是在结果很少的情况下,因为在这些设置下的模型更常见地显示出这些指标的差异。本研究是对预测TBI后出院状态做的探索之一。出院状态为出院时的预后提供了一个指标,这作为重要结论被美联邦提倡,如患者预后信息系统,该系统旨在更好地评估生活质量指标,也预测死亡率。这些结果对于轻中度脑外伤患者尤其重要,因为这些患者的死亡率或发病率都较低。通过在出院时建模,评估是否有护理的进一步需求,为简化人工智能康复服务提供了一个独特的途径。在创伤性脑损伤后急性康复中,80岁以上患者比例很高,更加突出了这一评估的重要性。随着美国65岁以上成年人数量增加趋势日渐明显,有熟练护理技能的护士日益短缺,更加体现出简化病人出院后尽快接受护理的流程至关重要。
局限性
我们注意到这项研究的几个局限性,应该在未来的工作中加以解决。首先,出院的三分法存在对分组病人病情的严重程度的误判。例如,出院到急性康复机构可能提示比出院回家更严重的预后。此外,“家”的定义可能有一些歧义。部分患者居住地没有记录在数据库中。这意味着,例如,虽然有的病人病情稳定,出院后返回护理机构将被错误地归类为预后差。本研究中的数据也仅在杜克大学医院收集,这可能限制了模型的广泛性。以后进行广泛性验证将是至关重要的。最后,国家创伤数据库文档中指出,可能无法完整获取所有患者的合并症数据,这可能导致数据存在不完整性,从而限制了模型的性能。
结论
总之,利用急诊科患者病历记录的信息,我们使用了几种ML算法,旨在预测TBI患者的三种出院状态。本研究报告中表现最好的模型通过区分院内病情最有可能改善的患者和具有出院创伤恢复潜力患者,对出院患者进行预后分级分诊和治疗。除了预后,我们相信未来的分析和建模可以发现与患者结果相关的关键变量,并揭示结果偏离临床预期的患者亚群。未来的工作应集中于功能康复,为轻中度TBI患者的管理提供更细致的视角。虽然这里提出的模型没有明显地改变临床处理TBI的流程,但是该模型为人工智能融入临床实践的新诊断模式提供了新的方法。
编译:房铭
审校:肖俊
原文链接:Satyadev N, Warman PI, Seas A, et al. Machine Learning for Predicting Discharge Disposition After Traumatic Brain Injury. Neurosurgery. 2022;90(6):768-774.
声明:古麻今醉公众号为舒医汇旗下,古麻今醉公众号所发表内容之知识产权为舒医汇及主办方、原作者等相关权利人所有。未经许可,禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用,亦须注明来源。欢迎转发、分享。
不感兴趣
看过了
取消
人点赞
人收藏
打赏
不感兴趣
看过了
取消
您已认证成功,可享专属会员优惠,买1年送3个月!
开通会员,资料、课程、直播、报告等海量内容免费看!
打赏金额
认可我就打赏我~
1元 5元 10元 20元 50元 其它打赏作者
认可我就打赏我~
扫描二维码
立即打赏给Ta吧!
温馨提示:仅支持微信支付!
已收到您的咨询诉求 我们会尽快联系您