使用智能手机显微镜和深度神经网络评估肾结石成分

Onal EG, Tekgul H. Assessing kidney stone composition using smartphone microscopy and deep neural networks. BJUI Compass. 2022 Jan 6;3(4):310-315. doi: 10.1002/bco2.137. PMID: 35783589; PMCID: PMC9231678.

使用智能手机显微镜和深度神经网络评估肾结石成分

目标：提出一种使用智能手机显微镜和深度卷积神经网络进行肾结石成分分类的即时图像识别系统。

材料和方法：该研究共纳入了37种手术提取的人肾结石，包括草酸钙（CaOx），胱氨酸，尿酸（UA）和鸟粪石结石。所有结石都是从经皮肾镜取石术（PCNL）中破碎的。在获得智能手机显微镜图像之前，使用傅里叶变换红外光谱 （FTIR） 分析对结石进行分类。结石的大小从直径5到10毫米不等。Nurugo 400×智能手机显微镜（韩国首尔Nurugo）进行了功能化，以使用iPhone 6s+获取干性肾结石的显微图像（放大倍数= 25×）（苹果，库比蒂诺，加利福尼亚州，美国）。每个肾结石在六个不同的位置成像。总共从 37 块结石中捕获了 222 张图像。构建了一种新的卷积神经网络架构进行分类，并使用准确性、阳性预测值、灵敏度和 F1 评分对模型进行评估。

结果：我们的总体和加权准确率分别为88%和87%，平均F1得分为0.84。每种结石类型的阳性预测值、敏感性和F1评分分别报告如下：CaOx（0.82，0.83，0.82），胱氨酸（0.80，0.88，0.84），UA（0.92，0.77，0.85）和鸟粪石（0.86，0.84，0.85）。

结论：我们展示了一种快速准确的即时诊断方法，用于对四种类型的肾结石进行分类。未来，将智能手机显微镜与人工智能（AI）相结合的诊断工具可以提供可访问的医疗保健，从而在医生的决策过程中提供支持。

时形成的结晶和有机成分的矿物质沉积物。

1 肾结石的形成（肾结石）是一种常见疾病。根据最新的全国健康和营养评估调查，2013年至2014年间自我报告的肾结石患病率为10.1%;男性肾结石的加权患病率为 10.9% （9.1-12.6），女性为 9.4% （7.6-11.1）。 

2 肾结石的形成有几个潜在的危险因素;家族史、种族/民族、全身性疾病、环境因素、饮食因素和泌尿因素似乎都在肾结石的发展中发挥作用。 

3 每种类型的肾结石的丰度因类型而异：钙结石约占所有肾结石的 60-80%，尿酸 8-10%，鸟粪石 7-8%，胱氨酸 0.1-1%。

肾结石可以通过微创手术技术进行治疗，例如体外冲击波碎石术、输尿管镜碎石术和经皮肾镜碎石术 （PCNL）。 

4 在肾结石提取和结石分析之后，临床医生确定结石成分，以开出治疗或饮食预防措施。 

5 如果不进行预防性治疗，5-10 年内复发率约为 50%，20 年内复发率约为 75%。 

6 因此，了解和检测特定类型肾结石的形成对于处方治疗以防止复发至关重要。

物理分析方法中肾结石分析的金标准是傅里叶变换红外光谱（FTIR）和X射线衍射。 

7 这两种方法都被广泛使用，被认为在肾结石分析方面非常准确和可靠。但是，存在某些限制;FTIR和X射线衍射都需要训练有素的实验室人员和实验室环境中的专业设备。由于这些限制，临床医生需要将肾结石送到特定的检测中心，这种做法对于每次分析既耗时又昂贵。因此，在日常临床实践中，需要一种快速准确的肾结石分析点护理设备。

在过去的几十年里，人工智能（AI）已成为医学诊断和分析的一个重要研究领域。 

8 在为许多医学专业构建基于图像的诊断系统方面，一直在进行研究。 9 同样，人工智能在泌尿科中的应用也是一个日益受到关注的领域。最近，Black等人报告了使用深度学习和数码相机图像进行肾结石分类。

本研究的目的是提出一种图像识别系统，该系统可以使用基于智能手机的显微图像数据集准确检测肾结石的类型。据我们所知，这是第一项将智能手机显微镜与深度学习相结合以对肾结石类型进行分类的研究。

2. 材料和方法

该研究共纳入了37例手术提取的人肾结石，包括草酸钙（CaOx）（7个CaOx一水合钙，7个CaOx二水合物，6个CaOx一水合物+ CaOx二水合物）（n = 20，CaOx），胱氨酸（n = 10），尿酸（n = 4，UA）和鸟粪石结石（n = 3）。所有的结石都是从PCNL中破碎出来的。在获得智能手机显微镜图像之前，使用 FTIR 分析对结石进行分类。结石的大小从直径5到10毫米不等。这些结石是在 2018 年至 2020 年间从土耳其伊斯坦布尔塞拉帕萨医学院伊斯坦布尔大学-塞拉帕萨分校的 Bulent Onal 医学博士那里获得的。所有结石均以干燥状态保存，并从患者身上提取。Nurugo 400×智能手机显微镜（韩国首尔Nurugo）进行了功能化，以使用iPhone 6s+获取干性肾结石的显微图像（放大倍数= 25×）（苹果，库比蒂诺，加利福尼亚州，美国）。手持智能手机显微镜获取肾结石的图像。用户手动调整与物镜和焦点的距离，以反映现实生活中的护理点使用条件。每个肾结石在六个不同的位置成像。总共从 37 块石头中捕获了 222 张图像。表中汇总了我们针对不同结石类型的数据集1.不同类型肾结石的显微图像样本如图所示1.

表1肾结石数量和每种结石类型的图像总数

图1在（1）和（2）图像预处理之前和之后不同类型肾结石的显微图像。鸟粪石（a），胱氨酸（b），草酸钙（c），尿酸（d）。（放大倍率 = 25×）

我们提出了一个可用于肾结石分类的机器学习管道。我们的方法包括多个阶段，从数据采集开始，到从分类器输出正确的肾结石类型结束。我们方法中的每个阶段输出都作为下一阶段的输入提供。我们针对这个肾结石问题的管道和方法总结在图中2.

图2 用于肾结石分类的拟议机器学习管道

在创建显微图像数据集后，我们利用图像预处理进行分类。通过在中心裁剪，将每个显微图像的大小调整为 224 × 224 像素。然后，对随机图像集应用随机水平分割和随机5°旋转以增加泛化。最后，使用每个RGB通道的特定平均值和标准偏差值对每个图像进行归一化。这些特定值是在对卷积神经网络 （CNN） 进行多年的图像处理研究后选择的。 表明详细介绍了图像处理参数。对于我们所有的图像处理操作，我们使用了 PyTorch 的转换包。图像预处理后的一些示例图像如图所示1.图像处理完成后，数据集分别以70%和30%的比例分为训练集和测试集。因此，需要注意的是，26 块结石的图像用于训练，11 块石头的图像用于测试。

这项研究展示了一个从工作台到床边的平台，用于使用智能手机显微图像对肾结石进行快速分类。我们提出的深度学习管道包括图像处理、数据增强和新颖的CNN架构。在使用 154 张图像训练我们的模型并在 68 张看不见的肾结石图像上进行测试后，我们达到了 88% 的准确率，平均 F1 得分为 0.84。据我们所知，这是第一项将智能手机显微镜与深度学习相结合以对肾结石类型进行分类的研究。我们的方法快速且易于医生和泌尿科医生使用。

在之前的两项研究中，Serrat等人和Black等人已经展示了基于数字图像的计算方法来确定肾结石成分。 Serrat等人使用了来自454个肾结石的3632张图像的数据集，包括八种肾结石类型（草酸钙一水合物，草酸钙二水合物，草酸钙和羟基磷灰石混合，羟基磷灰石，鸟粪石，刷子石，无水和二水尿酸，混合尿酸和草酸钙）。他们使用传统相机为每个肾结石拍摄了总共四张图像。将每个样品石分成两个碎片;每个片段的外部和内部侧面都使用可见光进行成像。使用传统的机器学习方法（随机森林分类器）根据手动获得的特征（例如从图像中获得的局部二进制模式、颜色直方图和灰度直方图）确定肾结石类型。最后，作者将尿液pH值作为改进分类的添加剂特征。他们实现了 63% 的总体准确率。尽管Serrat等人使用了更大的数据集，但分类的总体准确性（63%）低于我们的研究（88%）。我们认为这是由于三个主要原因：使用的肾结石类型，图像收集方法和分类计算方法。在我们的研究中，我们接受了CaOx一水合物，CaOx二水合物及其混合成分作为CaOx结石。因此，我们的研究包括四种类型的肾结石：草酸钙、尿酸、胱氨酸和鸟粪石。另一方面，Serrat 等人分别分析了 CaOx 的亚类，并在他们的研究中进一步纳入了其他混合结石类型。我们将智能手机显微镜功能化用于图像收集方法，以分析肾结石的放大晶体结构，而Serrat等人使用没有放大的肾结石数字图像。塞拉特等人使用内部和外部图像;同样，由于结石以前是用PCNL破碎的，因此我们能够通过在六个不同位置的成像捕获结石的内表面和外表面。Serrat等人使用的计算方法包括手动提取图像特征并将其输入随机森林分类器以确定肾结石类型。我们使用CNN来消除任何可能通过使用手动特征提取引入的偏差。CNN 自主提取所有有用的特征以进行分类、消除偏差并产生更高的准确性。 与我们的研究类似，Black等人报告使用CNN对肾结石进行分类。  他们的研究包括63种肾结石的127张图像，包括尿酸，草酸钙一水合物，鸟粪石，胱氨酸和刷石。他们为每个肾结石总共使用了两张图像，使用数码相机捕获表面和内核。布莱克等人报告的总体准确率为85%。我们的肾结石分类准确率（88%）与Black等人报告的准确率（85%）相似。这可以通过类似的数据集和所使用的肾结石类型来解释。然而，在我们的研究中，我们使用智能手机显微镜来获取每个肾结石不同部位的放大图像，而Black等人在没有放大的情况下捕获数字图像。布莱克等人使用内部和外部图像;正如我们之前概述的，我们还通过在六个不同位置的成像捕获内部和外部部位，因为这些结石以前是用PCNL破碎的。使用这种方法，我们获得了比Black等人（127）更大的图像集（222）。此外，Black等人使用的图像分类方法是广泛使用的传统CNN架构（ResNet，Microsoft），而我们引入了一种专门用于分类肾结石类型的新型CNN架构。最后，我们使用训练-测试拆分方法来测试我们的分类器，并在30%的看不见的肾结石图像上进行了测试，这与Black等人的“漏掉一个”方法不同。 最后，我们相信我们的技术有可能使用人工智能将结石观察与患者数据联系起来。在大多数情况下，这些数据将是最近的数据，在结石问题出现时或复发前几年从患者那里获得。在这方面，结石外部的特征将与患者的当前情况相关联，而结石的起源可能早几十年，并且与多年前发生的事件有关，在此期间可能没有该患者的数据。 我们目前的研究有一定的局限性。某些类型的肾结石的自然发生频率较低，这是收集数据以代表我们数据集中所有类型的肾结石的障碍。我们的数据集仅代表大约 90% 的肾结石病例，而当前的数据集在每种类型的结石数量方面存在不平衡。将来，我们希望包括其他肾结石类型，例如刷石和混合结石，以扩大我们的分类范围并改善我们的数据不平衡。收集更大的图像数据也将提高CNN的准确性。尽管我们目前的研究存在局限性，但它是展示使用智能手机的自动肾结石分类方法的良好第一步。

结论

我们展示了一种快速准确的即时诊断方法，用于对四种主要类型的肾结石进行分类。我们的工作证明了智能手机显微镜和深度学习对未来医疗诊断平台的重要性。未来，将智能手机显微镜与人工智能相结合的诊断工具可以提供可访问的医疗保健，从而支持医生的决策过程。

打赏