精准前沿丨使用大规模数据注释和深度学习对组织图像进行全细胞分割

本期《精准前沿》栏目分享斯坦福大学Noah F. Greenwald研究团队发表于Natural Biotechnology（IF=68.164）上的一篇研究^[1]，研究构建了TissueNet（一个用于训练分割模型的数据集），其中包含超过100万个手动标记的细胞，比以前发布的所有分割训练数据集都高出一个数量级。通过使用TissueNet来训练Mesmer（一种支持深度学习的分割算法）。Mesmer比以前的方法更准确，可以推广到TissueNet中组织类型和成像平台的全部多样性，并达到人类水平的性能。Mesmer能够自动提取关键细胞特征，例如蛋白质信号的亚细胞定位，这在以前的方法中具有挑战性。然后，研究团队调整Mesmer以利用高度多路复用数据集中的细胞谱系信息，并使用此增强版本来量化人类妊娠期间的细胞形态变化。

 

 

研究背景

了解组织中存在的结构和功能关系是基础和转化研究前沿的一项挑战。多重成像的最新进展扩大了可以量化的转录物和蛋白质的数量。同时，为大规模分析人体组织样本开辟了新途径。然而，大规模分析和解释这些数据集所需的工具尚不存在。最明显的例子是缺乏用于在图像中定位单个细胞的通用算法。与流式细胞术或单细胞RNA 测序不同，组织成像是用完整的标本进行的。因此，要提取单细胞数据，必须将每个像素分配给一个细胞，这一过程称为细胞分割。由于通过此过程提取的特征是下游分析的基础，因此此阶段的不准确性可能会对解释图像数据产生深远的影响。实现准确、自动的细胞分割的困难在很大程度上是由于不同组织类型的细胞形状、大小和密度的差异。为应对这一挑战而开发的机器学习方法未能满足组织成像数据的要求。一个常见的缺陷是需要执行手动的、特定于图像的调整以产生有用的分割。鉴于组织成像实验的规模不断扩大，这种缺乏完全自动化构成了一个令人望而却步的障碍。

计算机视觉的深度学习算法越来越多地用于生物图像分析中的各种任务，包括细胞核和细胞分割。这些算法能够实现高精度，但需要大量带注释的训练数据。为细胞分割生成真实数据是耗时的，因此，现有数据集的大小适中（104-105 个注释）。此外，大多数公共数据集注释了细胞核的位置而不是整个细胞的位置，这意味着在这些数据集上训练的模型只能执行细胞核分割，而不能执行细胞分割。因此，可用数据的缺乏，加上将预训练模型部署到生命科学界的困难，阻碍了全细胞分割的进展。

研究设计

在这里，作者试图通过创建一种自动化、简单且可扩展的核和全细胞分割算法来弥合这些差距，该算法可在多种不同的领域中准确执行各种组织类型和成像平台。开发该算法需要两项创新：(1) 一种用于生成大量像素级训练数据的可扩展方法，以及 (2) 一个使用这些数据实现人类水平性能的集成深度学习管道。

 

为了应对第一个挑战，研究团队开发了一种人在循环的方法，用于分割细胞，其中人类和算法协同工作以产生准确的注释（图1）。这种方法分为三个阶段。在第1阶段，从头开始创建注释以训练模型。在第2阶段，新数据通过初步模型输入以生成预测。这些预测被用作注释者更正的起点。随着越来越多的图像被纠正，模型得到改进，从而减少了错误的数量，提高了新数据的注释速度。在第3阶段，无需人工校正即可运行准确的模型。作者团队通过使用这条管道创建了TissueNet，这是一个包含超过100万对全细胞和核注释的综合分割数据集。TissueNet 包含的核标签和全细胞标签是之前发布的所有数据集总和的16倍。为了应对第二个挑战，作者开发了Mesmer，这是一种支持深度学习的管道，用于对组织成像数据进行可扩展、用户友好的分割。

为了让科学界广泛使用，利用软件库的开源集合DeepCell 来创建使用 Mesmer的Web界面，以及ImageJ和QuPath的插件的同时在许可下将所有代码、数据和经过训练的模型作为社区资源提供，为将这些现代的、数据驱动的方法应用于广泛的研究挑战奠定了基础。

研究结果

1. 用于构建 TissueNet 的人工在环方法

用于细胞分割的现有带注释数据集的范围和规模有限（图2b）。这种限制主要是由于用于构建它们的线性、耗时的方法，这需要手动划分图像中每个单元格的边界。因此，研究团队实施了一个三阶段的方法来创建TissueNet。在第一阶段，专家标注者在80幅图像中勾勒出每个细胞的边界。这些标记图像用于训练初步模型（图1，左）。然后该过程进入第二阶段（图1，中间），其中图像首先通过模型生成预测注释，然后发送给众包标注者以纠正错误。更正后的标注在添加到训练数据集之前经过专家的最终检查。当编译了足够多的新数据时，就会训练一个新模型并重复第二阶段。每次迭代都会产生更多的训练数据，从而提高模型的准确性，减少需要手动纠正的错误，并降低标注的边际成本。这种良性循环一直持续到模型达到人类水平为止。此时，可以过渡到第三阶段（图1，右），在该阶段，模型在没有人工帮助的情况下运行以产生高质量的预测。

 

图2. TissueNet数据集数据来源平台，组织以及和先前有的数据集数量级对比

由于人工在环数据标记方法的可扩展性，TissueNet 大于所有先前发布的数据集的总和（图2b），具有 130 万个全细胞注释和 120 万个核注释。TissueNet 包含来自六个成像平台（图2c）和九个器官（图2d）的 2D 数据，并且包括组织学正常和患病组织（例如，肿瘤切除）。TissueNet 还包含三个物种，包括人类、小鼠和猕猴的图像。构建TissueNet需要超过 4000 人时，相当于近2人一年的全职工作（图2e）。

2. Mesmer：一种用于细胞分割的深度学习算法

为了满足细胞分割对准确性和速度的要求，作者创建了Mesmer，这是一种基于深度学习的算法，用于组织数据的核和全细胞分割。Mesmer的模型由一个 ResNet50主干与一个特征金字塔网络组成，该网络具有四个预测头（两个用于核分割，两个用于全细胞分割），这些预测头连接到金字塔的顶部（图3）。Mesmer的输入是用于定义每个细胞核的核图像（例如DAPI）和用于定义每个细胞形状的膜或细胞质图像（例如 CD45 或 E-钙粘蛋白）（图2a）。这些输入被归一化（以提高鲁棒性），平铺成固定大小的块（以允许处理具有任意尺寸的图像），并馈送到深度学习模型。然后直到模型输出以产生对图像中每个细胞核和细胞的质心和边界的预测。质心和边界预测被用作分水岭算法的输入，为图像中的每个核和每个细胞创建最终实例分割掩码。

 

图3. Mesmer模型结构

然后，研究团队将Mesmer的性能与在TissueNet 上训练的一系列监督分割方法进行了比较。FeatureNet、RetinaMask 和Ilastik 没有达到与Mesmer相当的性能，即使在TissueNet上训练时也是如此（图2b，图4）。相比之下，Cellpose 和StarDist在TissueNet上训练时获得了与Mesmer相当的性能（图2b）。最后，研究团队将Mesmer与经过训练以执行核分割然后进行像素扩展（现有核分割算法近似整个细胞的常用方法）的模型进行比较，发现Mesmer取得了卓越的性能（图5）。

 

图4. Mesmer的性能与在TissueNet上训练的一系列监督分割方法的性能比较

 

图5. Mesmer（左）与核分割后扩展（右）的预测误差大小分布的比较表明，Mesmer的预测是无偏的

除了准确度上的差异外，基准测试的算法在速度上也存在很大差异。尽管模型容量显着增加，Mesmer仅比FeatureNet慢13%，比Cellpose 快20倍（图2b）。RetinaMask和Illastik也遇到了处理时间缓慢的问题（图2b）。这些速度上的差异主要是由于各种方法之间的后处理差异造成的，这占了大部分计算时间。

为了可视化Mesmer与已发布的、预训练的FeatureNet和Cellpose版本之间的性能差异，作者使用所有三种算法来分割结直肠癌的图像（图2c）。研究团队将分割预测与真实数据进行了比较，通过预测区域与真实区域的比率对每个细胞进行着色（图2d）。总体而言，Mesmer更有效地捕捉到了图像中每个细胞的真实大小（图2e）。相比之下，FeatureNet很难捕捉到每个细胞的真实大小，这是可以预期的，因为该模型通过执行核分割和扩展来近似细胞形状。根据其较低的召回分数（图4c），Cellpose未能识别图像中的大部分细胞（图2e），可能是由于用于训练Cellpose的数据中组织图像的相对稀缺造成的。

接下来，研究团队检查了Mesmer在各种组织类型中的分割预测（图6）。Mesmer的错误是公正的，过大或过小的细胞数量相同。此外，Mesmer的误差与细胞的真实大小无关（图5）。相比之下，依赖核分割和扩展的方法往往会高估大多数小细胞的大小，而低估大多数大细胞的大小（图5）。总而言之，这个基准测试表明Mesmer比之前的分割方法有重大进步。

 

3. Mesmer 实现了人类水平的分割性能

到目前为止，结果（图2f、图7）表明，Mesmer在整个TissueNet中表现良好，无需手动调整。然而，鉴于细胞形态和图像特征可能因器官部位、疾病状态和成像平台而异，因此与训练有素的模型相比，根据来自单一平台或单一组织类型的数据训练专业模型可能会带来比使用所有TissueNet训练的模型更加卓越的性能。为了评估Mesmer的通用性，研究团队将性能与使用组织或平台特定的TissueNet子集训练的模型进行了基准测试以便观察到Mesmer和专业模型之间的可比性能（图 8）。接下来，作者评估专家模型在对训练期间未见的数据进行评估时的表现。一般来说，在对训练期间未见的数据类型进行评估时，专业模型的性能较差（图 9b）。数据集大小同样发挥了重要作用，因为在TissueNet的子集上训练的模型的性能不如在整个数据集上训练的模型（图9d-h）。

 

 

图8. (b)Mesmer的准确度等同于仅根据特定成像平台的数据训练的专家模型；(c)Mesmer的准确度等同于仅根据特定组织类型的数据训练的专家模型

 

图9. 各个专业模型的准确性

此处使用的模型准确性指标将人工注释数据视为金标准，但即使是专家也可能彼此不同意。因此，Mesmer的分割预测被和五位独立专家的预测进行了比较。专家的预测两两为一组，以一个专家的预测作为金标准评估另一个专家的预测。然后，通过将这五个注释专家的预测评估了Mesmer的预测发现人与人之间和人与 Mesmer之间的 F1 分数没有显着差异（p=0.93）（图 10），这表明Mesmer的表现与人类注释者相当。

 

图10. F1分数评估同一组图像的分割预测之间的一致性。五位独立专家注释者的预测相互比较（人类与人类）或与Mesmer（人类与Mesmer）进行比较

为了进一步评估Mesmer相对于人类的表现，四位病理学家对人类注释者和 Mesmer的分割进行盲法评估。每个病理学家都看到了成对的图像，其中包含来自Mesmer的预测和来自人类的注释（图11）。当进行总体评估时，病理学家对 Mesmer的预测和专家注释者的预测进行了等同的评分（图12）。按组织类型分解评估，病理学家评估的差异很小，Mesmer在某些组织上的表现略好于人类注释者，而人类注释者在其他组织上的表现略好。综合起来，前面的分析表明 Mesmer执行全细胞分割具有人类水平的性能。

 

图11. 病理学家用于评估Mesmer与专家人类注释者相比的分割准确性的工作流程

图12. 来自盲法比较的病理学家评分

结语

细胞分割一直是组织成像界的主要瓶颈，因为以前的方法需要大量的手动管理和参数调整才能产生可用的结果，这些缺点可能会导致长达数月的分析延误。Mesmer以用户友好的格式为最广泛使用的荧光和质谱成像平台的细胞分割提供了单一统一的解决方案。Mesmer在各种组织和成像模式上实现了人类水平的精度，同时不需要最终用户手动调整参数。为了让Mesmer广泛可用，研究团队创建了基于云和本地的软件解决方案，让所有背景的用户都能对其数据进行准确预测。Mesmer的速度和可扩展性应该有助于分析目前由世界各地的联盟生成的大量多路复用成像数据。

与Mesmer一起，研究团队也展示了TissueNet的初始版本，这是一个用于组织图像的综合细胞分割数据集。TissueNet包含来自九个器官和六个成像平台的超过 100万个细胞的配对核和全细胞注释。先前的组织数据集不够大，无法训练准确的全细胞分割模型。因此，之前生成准确组织分割模型的努力都集中在核分割，这意味着几乎所有以前的基准测试都仅限于核分割模型的评估。TissueNet将使这些有价值的努力从核分割转移到全细胞分割，促进新型组织分割算法的开发和基准测试。 END