10分+ iDNA-ABF：可解释的多尺度深度生物语言学习模型预测DNA甲基化

导语

在本项研究中，作者提出了iDNA-ABF，一种多尺度的深度生物语言学习模型，能够仅基于基因组序列对DNA甲基化进行可解释的预测。基准比较表明，研究提出的iDNA-ABF在不同甲基化预测方面优于最先进的方法。而且展示了深度语言学习在从背景基因组中捕获顺序和功能语义信息方面的力量。此外，通过整合可解释的分析机制，我们很好地解释了模型所学到的内容，帮助我们构建从发现重要的顺序决定因素到深入分析其生物学功能的映射。

背景介绍

今天小编为大家带来一篇预测甲基化的深度学习算法发表在10分+ Genome Biology的思路。题目为   iDNA-ABF: multi-scale deep biological language learning model for the interpretable prediction of DNA methylations。  

数据介绍

本研究使用了17个物种的甲基化数据集作为训练和验证数据集，其中从ENCODE门户(ENCSR765JPC，ENCSR890UQO和ENCSR786DCL)收集了三种人类细胞系(K562，GM12878，hepG2)的5mC甲基化数据。

研究设计

iDNA-ABF概述。如图A显示了 DNA 甲基化数据集集合，其中属于三种主要 DNA 甲基化类型的不同数据集被重组为其训练数据集和独立数据集。我们的iDNA-ABF的整体架构在B-E.B多尺度信息处理模块中呈现，分别利用两个尺度（3-mer和6-mer）的分词器来处理输入序列并自适应地获得相应的嵌入。C BERT编码模块，使用BERT编码器提取高潜在特征表示。D 多尺度提取模块，基于多尺度嵌入生成最终输出特征表示。E分类模块，整合二元分类概率值进行预测。F 可解释分析的工作流程。简而言之，研究的模型使用注意力机制从查询序列中提取和学习顺序主题。

在研究的模型中，我们用k-mer表示标记DNA序列。通过这种方式，每个标记都由k个碱基表示，从而为每个核苷酸集成了更丰富的上下文信息。例如，给定的DNA序列“ATGGCTG”可以标记为两个6-mers的序列：ATGGCT和TGGCTG。不同的 k 导致不同的标记表示。在我们的工作中，我们将 k 设置为 3 或 6，从而获得两个尺度的令牌表示。整个令牌表有 4 k +5 个令牌，由 k-mer 的所有排列以及 5 个特殊标记组成：[CLS]、[PAD]、[UNK]、[SEP] 和 [MASK]，分别代表分类令牌、填充令牌、未知令牌、分离令牌和屏蔽令牌。

结果解析

01所提出的iDNA-ABF优于最先进的方法

为了评估我们提出的iDNA-ABF的性能，我们将其与四种最先进的预测因子进行了比较，包括iDNA-ABT，iDNA-MS，BERT6mA和Deep6mA。在四种预测因子中，前两种（iDNA-ABT和iDNA-MS）是不同甲基化预测的通用预测因子，而另外两种（BERT6mA和Deep6mA）最初设计用于6mA位点预测。包括两个6mA预测因子进行性能比较的原因是，它们是基于深度学习的最先进的预测因子。此外，他们的模型非常灵活，可以很好地扩展到其他甲基化预测，如5hmC和4mC，而不仅仅是6mA。所有比较的预测因子分别在不同物种和不同甲基化类型的17个训练数据集上进行训练，并在相应的独立测试数据集上进行评估（有关详细信息，请参阅“ 数据集”部分）。ACC和MCC的评估结果如图所示。分别为 1A 和 B。其他指标（如 SN 和 SP）的详细结果显示在附加文件中。如图所示。1A和B，我们的模型在17个数据集中的15个上优于现有的四个预测因子，只有两个例外 - 5hmC_M.musculus和6mA_A.thaliana，其中我们的模型实际上也与最佳预测因子相当。具体来说，我们模型在所有数据集上的平均ACC分别比两个亚军预测因子iDNA-ABT高1.34%和BERT6mA高3.73%。特别是在三个数据集（4mC_C.equisetifolia，4mC_S.cerevisiae和6mA_S.cerevisiae）上，我们的iDNA-ABF表现优于具有相对较大边际的现有预测因子，领先3.28-14.75%，1.88-3.59%和1.48-4。ACC分别为23%。在MCC方面也观察到了类似的结果。为此，结果表明，我们的iDNA-ABF优于最先进的DNA甲基化通用预测方法。更重要的是，它在三种甲基化类型下显示出跨物种的稳健性能。 为了验证我们模型的稳健性，我们进一步说明了四个数据集（4mC_C.equisetifolia，5hmC_M.musculus，6mA_C.equisetifolia和6mA_F.vesca）上预测因子的ROC和PR曲线，如图所示。分别为 1C–F。我们可以看到，我们的iDNA-ABF在所有四个数据集中具有最高的AUC和AP。具体而言，与其他预测因子相比，我们模型在四个数据集上的平均AUC和AP值分别增加了约1.39-2.81%和0.1-13.8%。结果进一步证明了我们的模型在DNA甲基化预测任务中的稳健性能。其他数据集上的 ROC 和 PR 曲线可以在附加文件。为了直观地讨论为什么我们的iDNA-ABF比其他方法表现更好，我们进一步可视化了iDNA-ABF的特征表示空间和第二好的预测因子iDNA-ABT在上述四个数据集（4mC_C.equisetifolia，5hmC_M.musculus，6mA_C.equisetifolia和6mA_F.vesca）上使用均匀流形近似和投影（UMAP）的特征表示空间分布，这是一种广泛使用的可视化工具，通过降维揭示基本数据特征。请注意，其他数据集上的UMAP可视化结果可以在附加文件中找到。图1G和H分别说明了我们的iDNA-ABF和iDNA-ABT的特征空间分布，其中每个点代表每个样品;甲基化位点（阳性样品）用红色注释，而非甲基化位点（阴性样品）用蓝色注释。从图中可以看出。1G，我们的模型清楚地分离了正负样本，每个类聚类在一起而不是分散，而在图中。1H，iDNA-ABT特征空间中的正负样本分布得几乎相连，不容易圈出每一类的边界。通过比较图。1G和H，我们发现与最先进的iDNA-ABT相比，这两类在我们的iDNA-ABF的特征空间中分布得更清晰。这表明我们的模型从不同的类样本中学习了更好的特征表示，这可能是由于我们的模型构建中预训练良好的模型，帮助我们从数百万个背景基因组序列中捕获更多高潜在上下文语义信息。

图1

对抗训练是我们iDNA-ABF的重要组成部分。为了研究对抗训练的有效性，我们将原始的iDNA-ABF与不使用对抗训练的模型进行了比较。17个独立数据集的结果如图所示。1I，其中每个点代表每个数据集。可以看出，我们最初的iDNA-ABF（带有对抗训练）通常比没有对抗训练的性能更好。具体来说，通过引入对抗训练，ACC 和 MCC 的性能改进分别可以在 17 个数据集中的 14 个数据集和 17 个数据集中的 15 个上观察到。这表明对抗训练可以提高预测性能。其他指标（SN、SP 和 AUC）的结果可以在附加文件。更重要的是，为了直观地展示对抗训练在模型优化中的重要性，我们进一步分析了训练过程中的学习曲线。图1J显示了从数据集中随机选择的两个数据集（5hmC_M.musculus和6mA_F.vesca）上进行和不进行对抗训练的模型曲线。从图1J，我们可以看到，具有对抗训练的模型实现的测试损失低于没有对抗训练的模型，尽管损失减少率比没有对抗训练的模型下降得更慢。此外，使用对抗训练，模型在训练过程的后期保持较低的测试损失，而没有对抗训练的模型逐渐开始过度拟合，这表明对抗训练增强了我们的模型在DNA甲基化预测中的鲁棒性。

02iDNA-ABF揭示了跨物种的甲基化保守性

为了研究不同物种的甲基化序列模式是否保守，我们首先使用Lifemap构建了相同甲基化类型中不同物种的进化树。至于4mC甲基化，图2A说明了四个物种的进化关系。可以清楚地看到，木麻黄和木麻黄是进化分类法，属于常见的Fabids，而另外两个物种属于酵母菌。一个有趣的观察结果是，我们的模型在具有进化分类法的物种中表现出类似的表现。在 F. vesca 和 C. equisetifolia 中，我们模型的 ACC 分别为 0.852 和 0.858;而在另一个中，它们的 ACC 分别为 0.743 和 0.723。接下来，我们使用基于概率的基序可视化工具kpLogo进一步分析了四个物种的甲基化顺序模式。图2B显示了两个进化上接近的物种（F. vesca和C. equisetifolia）的顺序模式，而图2C表明，在另外两个物种中。从图。如图2B所示，我们可以看到该物种中的甲基化序列区域非常相似，特别是富含CG含量。从图。如图2C所示，其他两个物种的结果相似。至于6mA甲基化，我们也发现了与4mC甲基化类似的结论。总体而言，结果表明，具有进化分类法的物种中的甲基化序列模式可能是保守的，从而有助于类似的预测性能;另一方面，具有远进化关系的物种的甲基化模式将大不相同。

图2

03多尺度顺序设计选择更适合阐明甲基化机制

在我们的模型中，我们提出了一种多尺度信息处理策略，通过使用不同的k-mers来表示不同的“生物学词”进行特征表示学习。因此，我们首先验证了单尺度k-mers如何影响模型的预测性能。我们比较了不同的k-mer，范围从3-mer到6-mer。比较结果如图所示。3A，我们可以看到不同的k-mers确实分别在不同的数据集上具有优势。没有观察到一致的结果。可能是甲基化的连续区域因物种和甲基化类型的长度而异。因此，使用单尺度序列模式进行特征表示不能自适应且充分地捕获甲基化的固有特征。为了解决这个问题，我们整合了不同尺度的k-mers作为我们的模型输入，例如3-mer + 6-mer，4-mer + 6-mer和5-mer + 6-mer，并比较了它们的性能，如图所示3B可以观察到，与单尺度k-mer（即3-mer和6-mer）相比，多尺度k-mer积分（即3-mer + 6-mer）提高了模型性能。具体而言，使用3-mer和6-mer集成的模型实现了最高的性能，所有数据集的平均ACC为85.95%，分别比使用3-mer和6-mer的模型高2.53%和1.01%。这表明来自不同尺度的信息是相互补充的，可以学习更好的特征表示。

图3

接下来，我们进一步研究了为什么使用多尺度k-mer积分更适合判别性信息捕获。为此，我们利用注意力机制直观地解释我们的模型从两个顺序尺度（3-mer和6-mer）中学习的信息。我们在图中可视化了两个尺度的注意力热图。分别为 3C 和 D。请注意，热图中的元素表示沿序列的两个位置的相关程度。图 3C 显示了我们的模型在 3 个 mer 尺度上训练前后学习的信息。如我们所见，与初始模型相比，训练后的注意力机制更集中在热图的对角线上。这表明与训练前相比，我们的模型学习了更多的本地判别信息。同样，图3D说明了我们的模型在另一个顺序尺度6-mer上训练前后学习的信息。相比之下，这个量表更侧重于训练后的全局信息。为此，我们可以得出结论，不同尺度的顺序模式会学习局部和全局信息，这可能对性能改进是互补的。

为了清楚地证明哪个序列区域对甲基化预测最重要，我们从三个具有不同DNA甲基化类型的物种中随机选择了三个序列，并应用注意力机制从这些序列中识别关键区域。如图所示。3E-G（左），对于每个序列，我们的模型在不同的顺序尺度下识别不同的区域。这进一步证实了不同的尺度捕获不同的重要信息。对于这些已识别的区域，我们使用注意力分数进一步提取并可视化了相应的基序。图3E-G（右）分别显示了我们的iDNA-ABF学习的基序和传统工具STREME [28]发现的基序。正如所见，我们学到的图案（用灰色窗口突出显示）几乎与每个物种的STREME图案相匹配。为了定量比较基序相似度，我们采用TOMTOM 计算两个基序的相似度，该相似度由p值测量。p 值越低表示基序一致性越高。如图所示。3E-G，我们的基序与STREME的基序高度相似，这表明我们的模型可以学习保守的顺序特征。

04iDNA-ABF充分探索了人类细胞系5mC预测中的基因组信息

在本节中，我们分析了我们的iDNA-ABF在人类细胞系中执行甲基化预测的能力。由于5mC是人类基因组中研究最充分的甲基化类型之一，因此我们选择了5mC甲基化来执行我们的方法。因此，我们构建了三个新的5mC数据集，分别对应于三种人类细胞系，包括GM12878，K562和HepG2。 首先，我们讨论了甲基化序列区域长度对5mC甲基化预测的影响。因此，对于每个细胞系，我们构建了四个5mC数据集，其中每个5mC序列分别为11，41，71和101 bp（碱基对）长。数据集的详细信息汇总在附加文件中。图4A显示了三种细胞系中随不同序列长度而变化的模型性能。一开始，随着序列长度的增加，模型性能显着提高，这表明更长的序列为模型带来了额外的基因组上下文信息。当长度为 71 bp 时达到峰值。之后，模型性能逐渐下降。值得注意的是，使用11 bp长的序列训练的模型表现出极差的性能，ACC约为55%。原因是阴性和阳性样品之间具有11个碱基范围的甲基化中心区域非常相似。这进一步表明甲基化与甲基化区域的上游和下游密切相关。

众所周知，5mC甲基化是经过充分研究的甲基化类型之一，得到了许多NGS数据的支持，例如ChIP-seq数据和ATAC-seq数据等。一个有趣的问题是，将NGS数据与序列数据相结合是否有助于更准确的预测。为此，我们选择了两个组蛋白修饰（HM）数据，H3k4me3和H3k36me3，据报道它们与5mC密切相关[31]。我们分别使用（1）仅序列数据，（2）仅ChIP-seq数据和（3）序列+ ChIP-seq数据在三个细胞系上训练和测试模型。比较结果如图所示。4B–D.正如我们所看到的，与使用 ChIP-seq 数据训练的模型相比，使用序列数据训练的模型取得了显着更好的性能，在不同序列长度下的三个细胞系中，平均 ACC、AUC 和 MCC 分别领先 10.4%、10.9% 和 21.1%。当将 ChIP-seq 数据与序列数据相结合进行模型训练时，所有性能指标都得到了进一步改进，取得了最高分，与使用序列数据训练的模型相比，平均 ACC、AUC 和 MCC 提高了 3.8、5.2 和 8.1%，表明 ChIP-seq 数据和序列数据在改进的 5mC 预测方面是互补的。

图4

考虑到实际应用场景，从全基因组规模测量我们的iDNA-ABF在检测5mC分布方面的性能非常重要。因此，我们根据在HepG2上训练的iDNA-ABF模型，预测了来自人类基因组（GRCh38）的5k-bp长基因组区域（Chr1：187，000-192，000）的甲基化概率。预测过程如下。首先，我们使用一个71个基点长的窗口来筛选该区域。其次，挑选出满足以下两个要求的序列：（1）以碱基C为中心，（2）以CPG模式为中心。最终，将所得序列提交给我们的iDNA-ABF进行预测。我们的模型给出了每个候选站点的预测置信度。 图4E显示了两个HM数据分布，分别是我们的模型预测的5mC分布和WGBS注释的真实5mC分布。从图中我们可以看到。4E，我们预测的5mC分布通常与真实的5mC站点分布重叠。此外，预测的5mCs与两个HM数据基本匹配，表明我们的预测具有功能意义。值得注意的是，我们发现我们的模型识别了一些未被WGBS识别的区域（带有蓝框，图4E），但它们与H3K4me3数据的信号匹配良好。这意味着我们的模型可能会发现潜在的新功能区域。虽然我们的模型也会产生一些误报，但从顺序箱的角度来看（这里，我们将 100 bp 区域视为一个箱），预测的 5mC 区域分布与真正的 5mC 区域分布几乎相同。结果至少表明，我们的模型在定位5mC区域方面表现良好。这也可能有助于甲基化研究。

05iDNA-ABF在对看不见的人类细胞系进行5mC预测方面具有强大的性能

为了分析iDNA-ABF在看不见的细胞系中的预测性能，我们进行了跨细胞系验证。 具体来说，我们在一种细胞系上训练了我们的模型，并在另一种细胞系上对其进行了评估。 图 5A 显示了四个指标的热图结果，分别包括 ACC、MCC、SN 和 SP。 纵轴表示训练细胞系，而横轴表示测试细胞系。 如图所示 5A，我们的模型在跨细胞系验证下获得了相对稳定的ACC和MCC。 此外，我们还可以看到，在K562上评估时，我们在GM12878上训练的模型达到了最高的SN，与在HepG2上训练的模型相比，相对提高了16%。 为了更好地解释，我们介绍了三种人类细胞系甲基化中心区域的概率分布分析。 图5B和C分别显示了三种细胞系中阳性和阴性样品的概率分布。 一方面，从图可以看出。 5B认为K562的正图案标志与GM12878更相似，而不是HepG2在-1到1的位置。 另一方面，我们从图观察到。 5C认为K562的负基序标志与GM12878的正基序标志在-1到1的位置相同，这可以解释我们在K562上测试时在GM12878上训练的模型的最低SP。 此外，我们在图中找到。5A，我们的模型在跨细胞系验证的热图中在SP方面表现不佳。 这可能是所有三个细胞系之间的负面基序徽标完全不同。 为此，通过跨细胞系验证结果，我们可以得出结论，即使对于看不见的细胞系，我们的模型也具有强大的性能。 这进一步探讨了我们模型的应用价值。

图5

06iDNA-ABF具有良好的迁移学习能力，捕获甲基化序列模式的特异性

5mC甲基化主要发生在人类基因组中具有CpG模式的序列内;实际上，在少数情况下，甲基化也在CHH和CHG模式中检测到（其中H = A，C或T）。为了找出不同的甲基化序列模式是否相互关联，我们分别为三种细胞系构建了额外的CHG和CHH数据集。值得注意的是，CpG数据集中的序列数量远远超过CHG或CHH数据集中的序列数量。 为了了解我们的模型在检测不同的甲基化模式方面是否具有良好的迁移学习能力，我们首先在 CpG 数据集上预训练了一个模型，并在 CHG 或 CHH 数据集上对其进行了微调，产生了另一个表示为“迁移学习模型”的模型。此外，我们还直接使用CHG或CHH数据集训练了一个模型进行比较，表示为“基线模型”。然后使用CHG或CHH数据集的相同测试数据集评估两个模型。两个数据集的性能如图所示。分别为6A和B。正如我们所看到的，“迁移学习模型”的性能始终优于基线模型，在三个细胞系中，平均AUC和AP分别增加了3.1%和3.3%。结果表明，我们 的模型具有良好的迁移学习能力;预训练机制可以从一种特定模式中带来额外的判别信息，有利于目标模式的预测，从而提高预测性能。 为了深入解释使用迁移学习提高性能的可能原因，我们进一步分析和比较了从三个模型中学习的基序，包括基线模型、迁移学习模型和仅在 CpG 数据集上训练的预训练模型。HepG2细胞系的基序比较结果如图所示。图6C以第1、第5和第9基元图为例，我们观察到迁移学习模型不仅保留了从预训练模型继承的一些CpG模式，而且还捕获了基线模型学习的CHG模式的特异性。此外，迁移学习模型还可以发现一些新的模式，例如第7个基元图，它与第3个基序图中的基线模型没有相似的模式。

图6

07从我们的模型中学到的基序具有生物学意义

接下来，我们进一步探讨了从上述三个模型（基线模型、预训练模型和迁移学习模型）中学习的基序（或顺序模式）是否具有生物学意义。因此，我们针对公共甲基化数据库 topEnriched.MM 检索了学习到的基序。有趣的是，从图。6D，我们发现我们的模型学习的基序可以与数据库中的一些功能基序显着匹配，这些基序之前被报道与甲基化机制密切相关。结果表明，我们的模型能够准确挖掘功能序列特征;另一方面，新发现的顺序基序也具有生物学意义，表明我们的模型在学习不同顺序模式之间的功能语义方面具有很强的能力。

讨论

本研究介绍了iDNA-ABF，这是一种仅通过基于基因组序列的生物语言学习来识别DNA甲基化的新方法。iDNA-ABF不仅能够跨物种和跨细胞系进行相对准确的甲基化预测，而且还使用可解释的注意力机制构建了从顺序水平到功能水平的映射，以深入研究DNA甲基化机制。

打赏