深度学习预测尿路结石的成分

Kim US, Kwon HS, Yang W, Lee W, Choi C, Kim JK, Lee SH, Rim D, Han JH. Prediction of the composition of urinary stones using deep learning. Investig Clin Urol. 2022 Jul;63(4):441-447. doi: 10.4111/icu.20220062. Epub 2022 May 25. PMID: 35670006; PMCID: PMC9262483.

深度学习预测尿路结石的成分

本研究旨在使用来自尿石图像的深度学习来预测尿石症的组成。材料和方法我们根据石头成分将 1,332 块石头分为 31 类。频率为 110 或更高的前 4 类（第 1 类：一水草酸钙 [COM] 100%，第 2 类：COM 80%+鸟粪石 20%，第 3 类：COM 60%+二水草酸钙 [COD] 40% ，第 4 类：尿酸 100%）被选中。使用前 4 类的 965 张结石图像，我们使用七个卷积神经网络 (CNN) 对泌尿系结石进行分类并比较它们的分类性能。结果在这七个模型中，Xception_Ir0.001 表现出最高的准确率、精度和召回率，并被选为预测结石成分的 CNN 模型。Xception_Ir0.001对4类的敏感性和特异性分别为：1类（94.24%、91.73%）、2类（85.42%、96.14%）、3类（86.86%、99.59%）、4类（ 94.96%、98.82%）。结石各成分的敏感性和特异性如下。COM（98.82%、94.96%）、COD（86.86%、99.64%）、鸟粪石（85.42%、95.59%）、尿酸（94.96%、98.82%）。1、2、3 和 4 类的曲线下面积分别为 0.98、0.97、1.00 和 1.00。结论这项研究表明了深度学习对于从图像中评估尿结石成分的诊断能力的可行性。它可以作为常规结石分析的替代工具，为泌尿科医生提供决策支持，提高诊断和治疗的有效性。

图形概要

介绍

人工智能 (AI) 在解释感知信息方面取得了重大进展，使机器能够更好地分析复杂数据。在人工智能的各种技术中，最流行的是深度学习 (DL)，它是基于受人脑启发的神经网络结构的更广泛的机器学习方法家族的一部分。近年来，这种 DL 技术在医学和生物医学研究领域的应用呈指数级增长 [ 1 ]。

当使用 DL 解决特定问题时，开发的算法将得出结果。算法可以基于训练数据构建模型，应用经验，并对通过训练获得的新的未知数据进行预测和决策。为了更清楚地理解和使用 A，必须选择适合 DL 的主题并收集数据，而不是简单地输入数据并调整变量以产生结果。之后，需要经过几个阶段来验证已经创建的算法并将其应用于实际临床实践。

尿石症是韩国和西方国家最常见的疾病之一，对于劳动年龄人口来说可能是一个严重的医疗问题 [ 2 , 3 , 4 ]。随着光学技术和内窥镜器械的发展，经尿道内窥镜手术在泌尿外科领域中通过自然孔道进行的手术近年来迅速增加 [ 5 , 6]。目前，在大多数泌尿外科内窥镜手术中，可以实时获取尿石症或病变的高质量图像。在手术过程中使用实时图像预测结石的成分和强度在治疗尿石症方面有几个优势。它可以使外科医生在手术期间选择更合适的工具，并帮助做出治疗决策，例如在手术前后使用抗生素。

如果存在鸟粪石等元素，外科医生会更加认真地思考术后感染的对策，并据此实施适当的医疗处理。此外，在常规结石成分检测结果公布之前，可以提供复发结石和代谢结石的信息。

近年来，计算机视觉和深度学习已被用于自动检测体内许多不同的疾病和病变[ 7 ]。对象检测是一种用于识别和检测图像或视频中存在的其他对象并对其进行标记以对这些对象进行分类的方法，该技术已经取得了显着进步。此外，基于深度学习的医学图像分析可以应用于计算机辅助诊断，为临床医生提供决策支持，提高各种诊断和治疗过程的准确性和效率[ 7 ]。

大多数泌尿系结石由不同比例的不同化学成分组成。因此，纯单一成分的结石仅占尿石症的一小部分。布莱克等人。[ 8 ] 报告说，在先前的一项试点研究中，对 63 种不同成分的人类肾结石的深度卷积神经网络 (CNN) 可用于预测肾结石成分，并在数码照片中具有良好的识别率。本研究旨在利用内窥镜手术获得的泌尿系结石图像，探讨 DL 算法对尿石症成分的预测。

材料和方法

1. 数据集

本研究的方案是根据良好临床实践指南和赫尔辛基宣言进行的，并得到了翰林大学东滩圣心医院人体受试者机构审查委员会委员会的批准（IRB 编号 HDT 2022-01-004）。

2018 年 1 月至 2021 年 3 月，通过内镜手术共获得 1332 颗结石。每个石头碎片的成分都通过传统的石头分析进行验证，并在数码相机上捕获石头的图像。

对于传统的结石分析，使用傅里叶变换红外光谱（FT-IR，Green cross labs，Yongin，Korea）方法。这是一种利用形成石头的分子的物理特性来吸收与其固有振荡周期一致的特定波长范围内的红外线的方法。对于物质的本征光谱，通过与标准光谱对比，找到最合适的成分及其组成比，从而获得客观、定量的结果。此外，样品处理过程快速简单，被称为石头分析的金标准方法，因为它即使是小于 100 g 的极少量成分也能准确区分各种成分 [ 9 ]。

通过结石分析对这1332块结石进行成分分析，根据结石成分的比例进行分类，共分为31类（表格1）。在 31 个类别中，频率超过 110 个的前 4 个类别，总共 965 块石头被用于 DL 算法。前四名的组成如下。1 类 (n=469)：一水草酸钙 (COM) 100%，2 类 (n=240)：COM 80% 和 20% 鸟粪石，3 类 (n=137)：COM 60% 和二水草酸钙 (COD ) 40%，第 4 类 (n=119)：尿酸 100% (表格1）。

COM，草酸钙一水合物；COD，草酸钙二水合物；CA，碳酸盐磷灰石；ST，鸟粪石；UA，尿酸；AU，尿酸铵；CY，半胱氨酸；Br，刷石。

2. 深度卷积神经网络的图像预处理和架构

我们使用了7个CNN模型，DenseNet201 [ 10 ]、ResNet152 [ 11 ]、ResNet152_FC3 [ 11 ]、Xception [ 12 ]、Xception dropout0.8 [ 12 ]、Xception_Ir0.001 [ 12 ]和Xception_Ir0.001_FC3 [ 12 ]进行分类尿结石图像并比较它们的分类性能。

原始图像数据被裁剪为 160×160 大小，并且由于没有使用调整大小和对比度调整，因此不再进行预处理。对于训练数据，通过数据增强扩展数据集，解决了样本不足的问题。我们使用了基于 7 个 CNN 模型的迁移学习。整体结构为 Input (160×160×3) - Convolution layer - Flatten -fully connected layer - Dense (4, softmax)，通过调整 Convolution layer 和 Fully connected layer 测试了 7 个 CNN 模型。每个 CNN 架构的全连接层都被扁平层取代，密集有 1,024 个节点，丢弃率为 0.5。最后一个全连接层具有类别大小的节点，然后是 softmax (图。1）。训练的每个超参数如下；Adam 优化器，学习率 0.001，交叉熵损失函数，256 批大小，1000 个 epoch，150 次耐心后提前停止验证损失，以及不平衡数据分布的类加权。使用了 10 倍交叉验证，即 90% 的数据用于训练，其余 10% 的数据用于测试。该模型使用准确度、精确度、召回率、F1 分数和曲线下面积 (AUC) 等指标进行了测试。此外，还分析了每一类的敏感性和特异性，以确定预测同一类结石的准确度，并分析了单个结石成分的敏感性和特异性。

图。1

显示 Xception 深度学习模型的层组织的块表示。

结果

在 1332 颗宝石中，纯宝石占 54%（7 种，720 颗宝石），混合宝石占 46%（24 种，612 颗宝石）（图 2）。共有965块石头用于预测石头成分，包括纯石头和混合石头。在 7 个 CNN 模型（DenseNet201、ResNet152、ResNet152_FC3、Xception、Xception_dropout0.8、Xception_Ir0.001、Xception_Ir0.001_FC3）中，Xception_Ir0.001 的准确率最高，为 0.91（0.03），准确率为 0.92（0.03），召回率为0.90（0.04），并被选为CNN模型预测结石成分（表 2,图 3）。

图 2

纯石头和混合石头的比例。

图 3

7 个卷积神经网络模型的模型准确率 (A)、准确率 (B) 和召回率 (C)。

表 2

7个卷积神经网络模型的准确率、准确率和召回率

模型

准确性

精确

记起

Xception_Ir0.001对4类的敏感性和特异性分别为：1类（94.24%、91.73%）、2类（85.42%、96.14%）、3类（86.86%、99.59%）、4类(94.96%, 98.82%) (表3）。结石各成分的敏感性和特异性如下。COM（98.82%、94.96%）、COD（86.86%、99.64%）、鸟粪石（85.42%、95.59%）、尿酸（94.96%、98.82%）（表 4）。1、2、3 和 4 类的受试者工作特征曲线下面积分别为 0.98、0.97、1.00 和 1.00（图 4）。

图 4 Xception_Ir0.001 的混淆矩阵 (A) 和接收者操作特征 (ROC) 曲线 (B)。

表3 Xception_Ir0.001 分类的敏感性和特异性（单位：%）

班级

灵敏度

特异性

表 4 结石成分对 Xception_Ir0.001 的敏感性和特异性（单位：%）

石材成分类型

灵敏度

特异性

讨论

机器学习是 AI 的一个子分支，它关注开发和部署动态算法来分析数据并促进复杂模式的识别 [ 13 ]。DL 在大型数据集上训练多层人工神经网络，近年来一直在推动人工智能的发展。机器学习和深度学习的许多研究和应用正在泌尿科领域进行，例如尿石症、肾癌、膀胱癌和前列腺癌 [ 14 ]。例如，随着光学技术、内窥镜仪器和激光的发展，经尿道内镜治疗尿石症的手术正在迅速增加 [ 5 , 6]，并且泌尿科医生需要对各种治疗方法做出更快、更准确的决策。

传统的石材成分分析方法必须有石材样品，通常需要一天以上的时间。对尿石症成分的快速预测有助于泌尿科医生考虑患者的状况并选择合适的治疗方案。然而，外科医生通过内窥镜屏幕观察结石来预测成分是有限且不可靠的。桑波尼亚等人。[ 15] 报告了外科医生通过观察内窥镜成像来识别结石成分的能力。共有来自 9 个国家的 32 名临床医生参与了这项研究。总体准确率为 39%（640 个预测中的 250 个）。COD 结石准确检测率为 69.8%，COM 为 41.8%，尿酸为 33.3%，草酸钙/尿酸为 34.3%，胱氨酸为 78.1%。鸟粪石 (15.6%)、磷酸钙 (0%) 和草酸钙/磷酸钙混合物 (9.3%) 的精度显着降低。因此，在内窥镜手术过程中，外科医生能够识别出一些 COD 和胱氨酸结石，但得出的结论是，它们在识别大部分结石成分方面并不可靠 [ 15 ]。

大多数石头由不同化学成分的混合物组成。纯单一成分的结石仅占尿石症的一小部分。目前，泌尿系结石可以根据几种特定的化学成分进行分类，包括草酸盐、磷酸盐、磷灰石、鸟粪石、尿酸和胱氨酸。这些化学成分在一块石头中的混合物也很常见，从而产生了一系列不同的石头化学成分 [ 16 ]。含钙结石，包括 COM、COD 和磷酸钙结石，约占结石的 70% 至 80%。鸟粪石（磷酸镁铵）结石占尿路结石的 15%，通常与产生尿素酶的尿路感染有关，并且发病率很高 [ 17]。尿酸尿石症约占所有尿路结石的 7% 至 10% [ 18 ]。胱氨酸结石占结石的1%。其他结石，如黄嘌呤和药物性结石（如氨苯蝶啶、茚地那韦）占结石的比例不到 1%。石头的成分存在差异，受地理、经济或卫生条件差异的影响。

在这项研究中，纯石头比混合石头更丰富。在全部结石中，COM成分纯结石占35.2%，尿酸成分纯结石占8.9%。按结石成分分类，COM 占结石总量的 80.9%，鸟粪石占 30.6%，COD 占 21.3%，碳酸磷灰石占 20.8%，尿酸占 10.4%。由于这项研究包括通过经尿道内窥镜手术获得的结石，因此不能说反映了整体趋势。

使用 DL 进行尿石症的化学成分分析有望为泌尿科医师提供实时信息，以实现快速决策，帮助各种诊断和治疗过程。布莱克等人。[ 8 ] 报告说，在一项试点研究中，使用各种成分的肾结石图像运行 DL 计算机视觉算法，这对于识别常见肾结石的成分很有用。埃斯特拉德等人。[ 19] 还报道了使用各种内窥镜泌尿结石图像和深度 CNN 算法预测尿路结石成分是有用的，并报道混合结石和纯结石的预测效果很好。在这项研究中，我们表明它能够使用数字照片中的 DL 预测尿结石成分。无论是纯结石还是混合结石，使用 DL 算法使用尿石症图像预测结石成分均显示出良好的召回率。然而，COM 和尿酸成分的纯结石分别显示出比混合结石（COM 和 COD、COM 和鸟粪石）更高的敏感性，但特异性没有显着差异。

结论

这项研究表明了深度学习对于从图像中评估尿结石成分的诊断能力的可行性。它可以作为常规结石分析的替代工具，为泌尿科医生提供决策支持，提高诊断和治疗的有效性。