Nature：通过AI解析大脑信号，重构出小鼠看过的电影片段

撰文丨周晨

来源丨深究科学

近日，瑞士洛桑联邦理工学院科学家利用人工智能（AI）采集小鼠的神经活动数据，从中解析出此前给小鼠反复观看的电影片段。

听起来有些不可思议，难道“读心术”真的要走入现实？

多年以来，大脑如何生成和理解视觉信息，一直都是神经科学领域的热门研究课题之一。而在这个领域中，有一个问题备受关注，就是：分析大脑信号能否重建一个人所看到的东西。

AI读取小鼠大脑信号，重构出电影片段

这项研究于2023年5月3日在线发表于国际顶尖学术期刊 Nature ，论文题为：Learnable latent embeddings for joint behavioural and neural analysis。 研究团队用AI解析小鼠的大脑信号，能重构出小鼠观看到的电影片段，几乎与电影 原 作一致。

麦肯齐·马西斯（Mackenzie Mathis） 来自瑞士洛桑联邦理工学院麦肯齐·马西斯（Mackenzie Mathis）团队通过引入了一种名为“CEBRA”的算法，来构建神经网络模型，它能精确地捕捉实验鼠的大脑动态，最终成功读取小鼠大脑活动，重现了此前给小鼠观看的电影片段，简直有些令人惊奇。

具体来说，研究人员让50只小鼠观看了一个30秒的电影片段，并重复这个过程9次。这个片段是从上世纪60年代的一部黑白老电影中截取的，画面是这样的：一个男子向一辆汽车跑去，打开了后备箱。

小鼠观看的电影片段截图 

这个电影片段总共大约600帧，小鼠在观看过程中，研究人员会记录其大脑活动数据，并且使用CEBRA算法将这些数据与600帧的片段相对应。 有了前面9次的记忆巩固和加强后，研究人员让小鼠观看第10次，并收集了这一次观看时大脑活动的数据。 基于这些数据，研究人员测试了训练过的AI在预测电影片段中画面顺序方面的能力，结果表明，人工智能系统在一秒内能够以95%的准确率正确预测下一个画面。

“读心术”在神经科学领域潜力无限

利用AI来采集神经活动数据并重构画面，未来应用前景广阔。 CEBRA算法可以将大量的、多种形态的数据结合在一起，并且用来推断数据中的隐藏关系和结构。 根据这些隐藏的关系和结构，CEBRA能够重建并预测动物对视觉刺激的反应和运动。在对CEBRA训练期间，它能学会将大脑活动映射到特定的帧，帮助研究人员了解大脑对运动和位置交互的过程。 虽然CEBRA还未被应用到人脑中，但它为未来神经学领域工作开辟了新的视野。 然而这个系统也存在局限性，相较于复杂的神经元来说，CEBRA的算力似乎有些捉襟见肘。目前，CEBRA在视觉皮层中只有不到1%的神经元中表现良好。

图源：EPFL 

论文通讯作者 Mackenzie Mathis 表示，CEBRA的目标是揭示复杂系统中的结构，考虑到大脑是宇宙中最复杂的结构，它会是CEBRA的终极测试。 虽然这项研究只是一个初步的尝试，但研究团队对于CEBRA的未来似乎格外看好。她认为，这种算法并不局限于神经科学研究，因为它可以应用于许多涉及时间或关键信息的数据集，包括动物行为和基因表达数据。因此，潜在的临床应用是令人兴奋的。

打赏