卷积神经网络用于喉镜和支气管镜的实时分类、识别和声带及气管的标记

背景

气道管理在儿童患者中尤为重要。当前成像方式包括磁共振成像（MRI），计算机断层扫描（CT），胸部X线照片（X-ray），支气管镜检查等可用于评估和重建困难气道。这些方法可以为麻醉医生评估提供指导并选择插管方案，但这些成像方式不能实时辅助气道管理。目前，有多种高级的插管工具可供选择，包括内窥镜，可视喉镜和光纤直视镜。尽管有这些工具辅助，但首次插管失败仍会发生血氧饱和度降低和气道创伤等不良事件。实时对声带进行分类的新型喉镜可以为临床插管提供即时支持。患者在术前行MRI，CT，X射线成像和支气管镜检查，机器学习和深度学习等人工智能可以分析检查结果，并通过构建算法进行气道重建。这些算法可以帮助预测和确定最佳的插管方案。

通过使用现有的支气管镜，我们拟开发一种机器学习算法，该算法可以：（a）实时分类正常声带和气道解剖，（b）比较三种开源程序包检测声带和气管环的性能。

方法与材料

模型选择

该研究选择了三种不同的模型，这三种模型的效率与准确性都非常高。

第一个模型是MobileNet V1，该模型使用单次检测器。这种类型的网络通常用于移动应用。在这种网络中，只需要一个网络对图像数据进行检测，处理速度较快。但是，其精确性较差。第二个模型是Inception ，它使用Faster R-CNN（区域卷积神经网络）进行检测。Inception模块是一组并行连接的卷积层，每层的输出结果汇总形成一个总输出（图1）。然后将模块输出堆叠在一起以形成这种架构内的卷积网络。区域卷积神经网络形成后， 可以利用Faster R-CNN结构将其细化为实际对象。

图2描绘了整个Faster R-CNN的大体结构。通过学习大量图像，使其结果更接近实际情况。

第三个模型是ResNet（残留网络），它也使用Faster R-CNN进行检测（图2）。ResNet体系结构相对简单有效。其体系结构使用普通的卷积层堆积，其中一些信息会跳过图层，这些跳过的信息会添加到图层的输出中，对网络的前几个阶段提供某种形式的参考。ResNet的优点是适用性强，与未引用的网络相比，更易于优化。此外，ResNet可以对传输的信息进行更深的层次的学习，从而可以更快地学习。图3提供了此模型的图示。

训练数据集特征

训练图像来自1-23岁775例支气管镜和可视喉镜检查结果。

图像预处理

我们将采集的图像分为395个训练图像和62个测试图像。测试图像仅用于测试，不用于训练。图像集需提前准备以方便使用TensorFlow的API检测。训练图像必须包含正确的边界框。定制程序（AirwayPrep）是为此目的而开发的，如图4所示。定制程序直接转换一组带注释的图像到TFRecord文件并保存CSV文件，以备稍后打开边界框进行编辑。

训练

为了比较各模型之间的差异，每个模型都接受了6000个步骤的培训。在每一步中，评估并显示损失的函数值，该函数值表示每个预测的误差。在程序培训阶段，使损失函数朝最小化发展，直至为0。

在培训期间，可以使用TensorBoard，该工具可用于TensorFlow查看被记录的培训结果。在图5中，可以通过损失函数看到Inception模型的演变。

各模型培训时间有所不同。  MobileNet，被认为是最快的推理模型，其培训时间大约2小时10分钟（每步1.3秒）。Inception是训练最快的，其培训时间仅约25–30分钟（每步0.246秒）， ResNet培训时间大约46分钟（每步0.465秒）。

三种模型的评估

 为了评估模型效果，使用了62个测试图像。其中部分测试图像包含声带，部分包括气管软骨环，而有些则不包括任何一个特征。图6显示了带有边界框和可信度的结果图像。

测试图像经检测后，其可信度记录在CSV文件中。为了降低错误率，我们确定只显示最高可信度的边界框。这消除了可信度较低的假阳性边界框。边界框的阈值设置为70％。

结果

影响因素1：敏感性和特异性

敏感性和特异性的结果如表1所示。

影响因素2：平均可信度误差

可信度误差百分比如图7所示。图8显示了三种模型假阳性和假阴性的比例。

影响因素3：假阳性与假阴性

Inception和ResNet模型相比较MobileNet为好。因原始培训图象中少见气管软骨环结构，所以大多数假阳性与假阴性的结果都来自对气管软骨环的检测。

 影响因素4：总体可信度百分比

 三种模型总体可信度百分比如图9所示，ResNet百分比最高。

 影响因素5：每秒帧数（FPS）

 MobileNet被认为是预测最快的模型，大约15FPS产生结果，Inception为10FPS，ResNet为5FPS。

深入分析

因ResNet预测较慢，我们想进一步检测Inception是否较ResNet更适合深入训练。我们对这两种模型有进行了19000个步骤的训练，结果Inception敏感性为0.865，特异性为0.971，总体可信度为80.2，ResNet敏感性为0.892，特异性为0.985，总体可信度为79.8。因Inception预测较快，最终选择Inception作进一步训练。

终极测试

为了测试模型的可行性，我们在可视支气管镜上安装了摄像头，神经网络可以实时识别标记声带与气管软骨环。

结论

 我们已经成功开发了卷积神经网络，可以实时对声带和气管环进行分类，识别和标记。我们的Inception CNN表现出很高的性能，并能够实时处理模拟视频。我们新的机器学习算法可以提高麻醉医生的气道管理。我们正在探索这种新型神经网络在临床试验中的性能。

已经表明机器学习算法可以用于实时识别正常的气道解剖结构，它们在病理或困难气道的应用是未来探索和发展的令人兴奋的领域。