利用人脸图像通过深度学习建立困难插管分类的人工智能模型

在重症监护室和急诊室遇到困难插管并不罕见。困难插管发生在5-27%的病例中，尽管有困难插管的指南，当需要选择一种有效的方法进行紧急气道处理时，回忆和运用它们是具有挑战性的。在紧急情况下，对有插管困难的患者需要立即请求有经验的紧急气道管理医生的技术协助，而不是继续努力插管。临床策略快速、客观地判断患者是否有插管困难是急救气道管理的关键。此外，即使是熟练的麻醉医师也很难发现全麻患者存在困难插管。造成这种困难的原因之一是缺乏统一的困难插管风险评估指标。目前已有的评估指标通常是模糊和难以量化的。因此，在紧急情况下评估困难插管的客观措施对于减少可预防的气道危机导致的患者可能突然死亡是至关重要的。近年来，基于卷积神经网络(CNN)的分析方法在医疗领域得到了应用，假设CNN可以使用患者的面部图像来区分困难插管。则不必采用不合理的插管技术，使患者病情加重。《Journal of intensive care》杂志上发表了Tatsuya Hayasaka等人的文章《Creation of an artificial intelligence modelfor intubation difficulty classification bydeep learning (convolutional neuralnetwork) using face images: anobservational study》，该研究通过成人患者在仰卧位和坐立位时，相机拍摄患者正面基础位张口和闭口，正面仰头位张口闭口，侧面基础位张口和闭口，侧面仰头位张口闭口16张照片结合患者的Cormack-Lehane分级利用深度学习卷积神经网络建立了困难插管分类的人工智能模型。 

目的    

利用深度学习卷积神经网络将手术患者的面部图像与实际困难插管联系起来，建立困难插管分类的人工智能模型。

方法   这是一项观察性研究，研究对象为自2020年4月10日起在山形大学医院接受全身麻醉并计划手术的患者  （  UMIN  纳入  开始日期:UMIN000040123  ）  ，截止到2020年8月31日每位患者均获得书面知情同意  。 排除标准为年龄小于20岁的患者，面部外形发生改变的患者(神经外科、心脏外科、鼻外科、牙科和眼科)，颈部活动范围发生改变的患者(甲状腺、颈椎和食管手术)，以及由麻醉经验少于3年的医生进行插管的患者  。  排除了在初次插管时医生没有使用Macintosh喉镜的患者。排除了使用其他设备插管、使用声门上气道设备、痴呆或不能遵循指示  完成  动作、精神障碍以及因参与其他研究而不能参与本研究的患者。全身麻醉诱导后，麻醉  医  师使用Macintosh喉镜进行气管插管，评估Cormack-Lehane分  级  并记录在医疗记录中。如果医疗记录中没有报告Cormack-Lehane分  级  ，  作者  直接与麻醉  医  师确认患者的Cormack-Lehane分  级  。Cormack-Lehane分级的定义(图1)显示了Macintosh喉镜  在  气管插管时声门的可见性。I级表明整个声  门  清晰可见。II级表示只能看到部分声  门  ，III级表示能看到会厌但不能看到声  门  ，IV级表示看不到会厌  。  在本研究中，Cormack-Lehane分  级  评估是在未进行BURP法(向后、向上、向右压力)或  渐变位置  等特殊操作的时间点进行的  。  作者在术后第二天收集患者的年龄、性别、体重指数、  合并症  、MPC、IIG、HNM、TMD、HLM、BT、ULBT等人口统计信息，并拍摄16种不同体位的面部图像(图2)。所有这些图像都以JPEG格式保存，并调整为512px X 512px，以减少过多的特征和计算复杂度。本研究对困难插管的定义为“Cormack-Lehane分级III级及以上”。所有图像都被标记为容易和困难  ，  Cormack - lehane分级I、II级为非困难插管组(easy组)，Cormack分级III、IV级为困难插管组(difficult组)  。

在获得的图像中，  80%作为训练数据，其余20%作为测试数据进行推理评价。  对训练数据进行扩展，以避免模型的过度学习。  在这样做的过程中，我们通过数据扩展纠正了容易组和困难组之间的病例数量偏差。  对于数据扩展，我们使用深度学习库Keras的ImageDataGenerator来扩展和减少训练数据的0.7倍到1.3倍。 本研究的模型生成过程如图3所示，CNN的整体模型如图4所示。我们使用了两种深度学习方法，迁移学习和微调。迁移学习是一种深度学习技术，通过将使用大数据集创建的训练模型加入到待创建的模型中来提高人工智能模型的准确性。通过迁移学习，我们可以用较少的图像获得我们想要创建的人工智能模型较高的分类精度，因为训练后的模型提取出了良好的特征。在本研究中，我们使用训练模型VGG16，它是从1400万张图像中训练出来的，由16层组成:13个卷积层和3个完全连接层。我们还使用了微调，根据本研究中获得的患者面部图像，将最终输出分为  容  易/  困  难。本研究的模型是在VGG16得到的13个卷积层中增加1个卷积层，输出是否为输入图像属于容易/困难或不。训练模型后，使用预先分割的图像数据集(测试数据)进行推理评价，验证预测  困难  插管的准确性。我们采用二次交叉熵作为损失函数，Adam作为优化方法，机器训练模型  的  Epochs  为  10-30，Batch Size  为  16-32。评价指标为  模型  的准确性、敏感性、特异性和ROC曲线计算的AUC。生成人工智能模型后，利用图像数据集进行推理评价，利用  分  类激活  热  图(Grad-CAM)对模型的评价域进行可视化  。

分类激活热图是根据  容  易/  困  难分类结果计算每个区域的重要性生成的二维图像。热图上的红色和黄色区域表示AI模型认为  容  易/  困  难分类重要的区域。将用于推理评价的图像的  分  类激活热图中每个像素的RGB值(红、绿、蓝值)进行组合并取平均值，分别为  容  易组和  困  难组生成单幅图像(RGB平均图像)。    为了减少随机分割图像数据进行训练和推理评估所造成的数据偏差的影响，我们进行了五次交叉验证。此外，在创建5个数据集时，我们使用分层折叠来避免容易组和困难组分布的任何偏差。我们在每个数据集上对模型进行训练和评估，并计算每个数据集的AUC。每个图像模型的结果显示了AUCs的中值。    使用2.24版本的Keras作为深度学习库，使用微软2019版的Visual Studio Code作为开发环境。此外，分析使用的硬件是Intel Core i7 CPU、NVIDIA GeForce RTX 2080 SUPER 8GB GPU和Microsoft Windows 10 Home OS。所有统计分析均采用EZR版本1.41，结果以均数±标准差和数字(百分比)表示。根据构建的模型生成ROC曲线，计算实际困难插管存在与否、准确性、敏感性、特异性、  R  OC  曲线  下面积(AUC)。当AUC为>0.700,95%置信区间下限>0.500时，构建的模型具有足够的诊断能力。   结果   从2020年4月10日(UMIN注册开始日期)至2020年8月31日，共有1043例患者计划在全身麻醉下进行手术。其中752例被排除，75例不能提供知情同意书，9例Cormack-Lehane分级资料缺失，2例重复。共排除838例患者，205例患者符合条件。另外，排除了2例数据差的患者(1例由于毛发的存在导致面部轮廓无法识别，1例图像失焦)和1例由于成像设备问题导致图像丢失的患者。最终纳入202例患者进行分析(图5)。

在全麻诱导过程中评估的困难插管占26.7% (54 / 202)(表1)。202例患者中，男性92例，女性110例，平均年龄63.9±14.2岁。患者符合美国麻醉医师协会身体状况(ASA)I-III级，其中15.8%为ASA I级, 67.8%为ASA II级, 16.3%为ASA III级。麻醉医师在全麻期间为病人插管的经验年限为11.2±6.9年。本研究的手术细节见（表2）。此外，26.7%的病例被认为插管困难(表1)。容易插管患者与困难插管患者的数据差异为3:1。在对患者面部图像进行机器学习之前，总数据的20%被保存为测试数据。以KFOLD1为例，容易组30张图像，困难组11张图像保存为测试数据(占总图像的20%)。容易组的剩余118张图像和困难组的43张图像作为训练数据(占总图像的80%)。在训练数据中，容易组扩大3次，困难组扩大9次。最后，容易组有354条训练数据，困难组有387条训练数据(表3)。

图6显示了仰卧侧面闭口基位的学习曲线。黑线表示训练数据，灰线表示测试数据。测试数据的学习曲线与训练数据的学习曲线一致，说明人工智能模型学习正常。  

数据集1中仰卧侧面闭口基位的人工智能模型在Epoch20的准确率为80.5%(表4)。  根据人工智能模型的预测绘制ROC曲线，对实际插管困难程度进行分类，并将其与患者面部图像获得的插管困难程度联系起来。  计算敏感性、特异性和ROC下面积(AUC)(表5)。  人工智能模型用于对患者面部图像进行插管困难程度分类的AUC范围为0.387[0.168-0.605]~ 0.864[0.731-0.969]。  仰卧侧面闭口基位的AI模型的最大AUC为0.864[0.731-0.969]，准确率为80.5%，敏感性为81.8%，特异性为83.3%(图7)。  仰卧侧面张口基位的AI模型的AUC为0.758[0.594-0.921]，仰卧侧面闭口仰头位AI模型的AUC为0.727[0.568 - 0.886]，可以充分诊断插管困难。   

在使用Grad-CAM进行仰卧侧面闭口基位的分类激活热图中，在容易插管的图像中，视点往往集中在下巴尖到喉部的区域。然而，被分类为困难的图像并没有显示出在特定区域的任何视点集中。在RGB平均图像中，容易组的兴趣区域从下巴尖到喉部有集中的趋势，而困难组的视点有分散的趋势(图8,9)。根据本研究中插管困难和患者实际插管是否困难的各种预测指标构建ROC曲线，并计算其敏感性、特异性和ROC下面积(AUC)(表6)。气管插管困难各预测指标的AUC范围为0.558[0.467-0.649]~ 0.673[0.595-0.750]，其中Mallampati分类为最大预测指标。没有单一的指标被发现有足够的诊断能力来区分困难插管的各种预测因素。然而,人工智能模型以仰卧侧面闭口基位图像分类困难插管的AUC为0.864(0.731 - -0.969),准确率80.5%,敏感性为81.8%,特异性为83.3%,表明该模型有足够的诊断能力。

讨论  

在本研究中，在通过深度学习创建人工智能模型对困难插管进行分类的过程中，人工智能模型是利用患者拍摄的16种不同的身体姿势的面部图像创建的。插管难度分级的最佳AI模型为仰卧侧面闭口基位，AUC为0.864[0.731-0.969]，准确率为80.5%，敏感性为81.8%，特异性为83.3%(表3)。

为了可视化人工智能模型如何识别困难插管，我们使用Grad-CAM获得了分类激活热图。该人工智能模型能够聚焦在作者的颈部区域，而不关注背景，说明该人工智能模型能够识别人脸轮廓，可能会区分困难插管。热图显示，颈部周围区域倾向于被评估为容易插管患者面部图像的感兴趣区域。在容易平均RGB值图像中，感兴趣区域往往集中在从下巴尖到喉部的区域。这表明，人工智能模型通过提取颈部形状的特征来识别容易插管的患者。在困难组RGB平均图像中，视点趋于分散，提示困难插管患者的面部图像中存在多个因素，如下颌小、肥胖等，而不是单一原因。通过增加未来的数据数量并建立人工智能模型，我们相信可以利用提取的特征创建困难插管热图将困难插管的分类进行细分。我们的观察表明，目前的人工智能模型是根据颈部识别容易插管组的容易插管。

以往研究报道的困难插管发生率为5-27%，而本研究为26.7%。这项研究困难插管的发生率相对较高的原因可能是没有用BURP方法和渐变位置进行Cormack-Lehane分类为不熟悉气道评估应用的医师提供类似的评估。预测困难插管的指标MPC、IIG、HNM、TMD、HLM、BT、ULBT的AUC范围为0.558[0.467 - 0.649]~ 0.673[0.595-0.750]。其中最大的预测因子是Mallampati分级。这一结果也在以往报道的范围内，本研究的人群被认为与以往研究的人群基本相似。人工智能模型比现有的困难插管预测器有更好的AUC，可能是因为多个预测器的特征是从单一的面部图像中获得的。以仰卧侧面闭口基位的图像为例，我们认为TMD、HLM和BT都有代表。另一个原因是它可能捕获了无法量化的主观评价(小前额和肥胖)。这可能是使用CNN图像分析的优势。

本研究中困难插管的发生率为26.7%，导致容易组和困难组之间的数据数量存在偏倚。因此，由于训练和测试数据的分配存在偏差，使用深度学习很难建立稳定的模型。另外，在相同的距离拍摄患者的面部图像比较困难，导致患者的面部图像大小存在差异。为了避免这两个问题，我们采用过采样方法和迁移学习来提高精度。我们使用从0.7到1.3倍放大和缩小来进行处理图像。容易组从一幅图像中生成三幅图像，范围在0.7-1.3之间，困难组从一幅图像中生成九幅图像，范围在0.7-1.3之间。该方法有效地解决了人脸图像采集过程中出现的样本数量偏倚和距离问题。另外，结合迁移学习，使测试数据的学习曲线与训练数据的学习曲线一致，避免了过拟合。

在之前的研究中，Mallampati分级显示的AUC约为0.60,ULBT显示的AUC约为0.70。在本研究中，由于使用了带有患者单一面部图像的人工智能模型(图像摄于仰卧侧面闭口基位)，结果大大超过了过去的研究报告的值。此外，以往研究中使用的改良LEMON分类对困难插管评估高度敏感，但评估是由熟悉困难插管评估的医生进行的。仰卧侧面闭口位面部图像预测困难插管的敏感性为81.8%，说明该人工智能模型可以作为熟练医生的眼睛，对不熟悉困难插管评估的人进行插管。

临床麻醉医师对困难插管的诊断，仰卧位比坐位更有效。在本研究中，仅仰卧位拍摄的面部图像可以预测困难插管。基于坐姿人脸图像的困难插管预测模型不能区分是否存在困难插管。在之前的一项研究中，通过从患者的面部图像生成和量化面部比例(三维图像)来区分困难插管的存在与否。研究表明开发的比例模型需要15分钟才能生成一个单一的人脸模型，我们认为这在紧急情况下是不可行的。

本研究首次将深度学习(CNN)应用于成人困难插管的鉴别。本研究构建的“基于人脸图像的深度学习(卷积神经网络)困难插管分类人工智能模型”可以用于紧急情况下立即识别困难插管。未来，我们计划在构建的模型基础上，进行“人工智能模型困难插管分类的应用”。

本研究的局限性如下:本研究对象为计划行手术的患者。因此，与急诊现场或急诊病房的情况相比，这种情况可能更容易插管。考虑到最初排除了因需要器械(视频喉镜)解决困难插管的患者，有可能部分困难插管患者已被排除在研究之外。本研究的结果也不太可能适用于小儿困难插管或先天性困难插管，因为人工智能是使用成人面部图像进行训练的。老年患者通常不太愿意接受拍照，这可能导致了相对年轻的患者群体。此外，这项研究仅在山形大学医院进行，是一个利用来自有限区域的患者面部图像生成的人工智能模型。

结论  

本研究利用人脸图像建立人工智能模型，利用深度学习(CNN)对困难插管进行分类。从仰卧侧面闭口基位的面部图像中获得的人工智能模型显示最佳预测值为80.5%。这是第一次尝试使用深度学习(CNN)来区分困难插管。我们相信，在未来可以在更大的区域更多的人脸图像上建立一个临床上有用的模型。如果人工智能模型可以利用患者的面部图像预测困难插管，那么它就可以向熟悉紧急气道管理的医生快速求助，而不会因为不合理的气管插管而造成视野缺损，从而帮助拯救患者的生命。

头头是道的点评

困难气道一直是困扰麻醉医生的重要问题，在许多环境下，困难气道并不罕见，例如手术室、重症监护室、急诊室和院前急救，在紧急情况下可能会要求不熟悉气管插管的医生和住院医师进行气管插管，频繁插管引起的机械损伤可导致视野模糊，如喉部水肿和出血，从而使插管复杂化，持续的呼吸困难，使患者病情恶化。因此，如何优化临床评估策略，进而快速、精准的判断患者是否有插管困难从而给出合理有效的气道管理策略是急救气道管理的关键。此外，即使是熟练的麻醉医师也很难精准预判全麻患者存在困难插管，导致遇到此类遭遇的困难插管也只能选择紧急气管切开。造成这种困难的原因是缺乏精准的困难气道风险评估及解决办法。困难气道与围手术期麻醉安全密切相关，精准快速的预测困难气道是围术期气道管理的首要内容。

本研究利用人脸图像建立人工智能模型，利用深度学习(CNN)对困难插管进行分类并获得了较好的结果，其为困难气道预警方案提供了新的研究思路。为了可视化人工智能模型如何识别困难插管，本研究使用Grad-CAM获得了分类激活热图。该人工智能模型能够聚焦在作者的颈部区域，而不关注背景，说明该人工智能模型能够识别人脸轮廓，可能会区分困难插管。此外，热图显示颈部周围区域倾向于被评估为容易插管患者面部图像的感兴趣区域。在容易组平均RGB值图像中，感兴趣区域往往集中在从下巴尖到喉部的区域。这表明，人工智能模型也通过提取颈部形状的特征来识别容易插管的患者。这提示我们除面部以外，颈部特征是构建人工智能识别困难气道模型的重要组成部分。通过不断扩大头颈部图像数据量，有望利用提取的特征创建困难插管热图并将困难插管的分类进行细分。

编译：王杰

审校：夏明

点评：姜虹

原始文献：

Hayasaka T, Kawano K, Kurihara K, et al.Creation of an artificial intelligence model for intubation difficulty classification by deep learning (convolutional neural network) using face images: an observational study. J Intensive Care. 2021 May 6;9(1):38.

         声明：古麻今醉公众号为舒医汇旗下，古麻今醉公众号所发表内容之知识产权为舒医汇及主办方、原作者等相关权利人所有。未经许可，禁止进行转载、摘编、复制、裁切、录制等。经许可授权使用，亦须注明来源。欢迎转发、分享。

打赏