二战照片出自谁手？人工智能识别初露锋芒

2020-11-05 学术头条

我行我show！中国医院管理案例评选，医院卓越管理实践大秀场。点击查看

在日常生活中，我们经常会看到一些十分漂亮、构思精妙的照片，但某张照片背后的摄影师是谁？我们有时却并不清楚。

如今，人工智能（AI）可以帮助我们找到图片背后的摄影师。

在一项新的国际跨学科研究中，研究人员通过使用人工智能算法分析近 60000 张二战时期的历史照片发现，人工智能可以根据照片内容来识别摄影师的身份。相关研究成果以论文的形式发表在科学杂志 IEEE Access上。

研究人员展示了使用现代神经网络分析图像的优势，以使机器可以自动检测各种场景中的人和物体，甚至可以根据图像中的特征区分摄影师，这些操作比任何人工检查过程都要快得多。获得的结果将有助于历史学家、其他研究人员和专业人员在工作中使用历史照片档案来分析和比较特定摄影师的作品。

通过这项工作，研究人员证明了人工智能可以在某些方面帮助学者“追溯”历史照片档案的潜力。

令人惊讶

研究人员选择了 23 名芬兰战地摄影师作为实验对象。他们中的 20 人是芬兰战时照片档案中图像总数最高的摄影师，另外 3 人则是因为有专家认为他们的照片对这项摄影新闻研究很有趣。

他们提出并评估了机器学习可以帮助分析历史图像的几个应用领域，即分析场景中存在的对象、照片取景评估、摄影师分类以及评估它们的视觉相似性。

他们使用人工智能技术对这 23 位著名芬兰摄影师在第二次世界大战期间拍摄的照片进行了识别，所用照片来自公开可用的芬兰战时照片档案库，其中包含约 160000 张 1939-1945 年间从芬兰冬季战争、延续战争（第二次世界大战期间芬兰与苏联之间的两场战争中的第二场战争）和拉普兰战争中拍摄的照片。

由于芬兰战时照片档案中的数千张照片仍然没有摄影师的名字，所以这项研究中选用的照片总数为 59000 多张。

这种自动分析可以作为一种工具，以提供基于内容的公共照片档案的文本描述，比如丹麦抵抗博物馆的照片档案。今年 9 月生效欧盟可访问性指令（DIRECTIVE（EU）2016/2102），要求将图像内容的文字描述添加到网络上的所有公共图像中。

对此，论文作者之一 Alexandros Iosifidis 表示：“这让我们非常惊讶，人工智能可以根据照片中的特征（如内容和框架）识别摄影师。”

准确率最高可达 69.7%

在这项研究中，研究人员应用了最先进的目标检测模型和神经网络体系结构，以获得来自杰出二战摄影师的统计数据和特征。

由于每个摄影师都有一定数量的重复图像，这里研究人员根据拍摄时间将照片分成训练集和测试集，以确保描述同一事件的照片不会用于训练和测试。

研究中分析的照片显示，一些摄影师具有非常独特且容易识别的特征，而另一些则很难被人工智能识别。这一人工智能模型的分类准确率区间为 20.1-69.7％，平均为 41.1％。

图 | 1941 年 9 月 5 日，芬兰波拉米，一名芬兰士兵站在一辆缴获的 BA-10 装甲车前，摄影师为 Heikki Roivainen（来源：SA-Kuva）

通过将识别结果与先前对检测到的物体的分析进行比较发现，一些摄影师因为有着特定的拍摄物体和喜好很容易被识别。因此，研究人员检查了每个摄影师照片中的典型物体类别，并分析了他们捕捉和框定人的方式差异。

Roivainen 拍摄的照片中拥有最多的狗、马和汽车，预测准确率为 69.7%；Hollming 拍摄了大量滑雪照片，所有照片中只有几把椅子出现，即户外照片多，预测准确率为 51.4%；Manninen 拍摄的人物照片中的平均人数最高，椅子（即室内照片）出现率最高，预测准确率为 35.5%；SJ Blom 喜欢在城市环境中拍摄照片，预测准确率为 50.4%。

研究结果证明，除了确定照片的作者身份之外，这些特征代表了模型对这些摄影师的整体视觉相似性和照片风格相似性的认知。此外，由于卷积神经网络可以在一定程度上从照片中识别摄影师，某些照片可以被认为是特定摄影师的典型。其中最著名的摄影师是 Heikki Roivainen，他是芬兰植物学教授，曾在延续战争期间担任官方战地摄影师。

通往更多应用的大门

在这项工作中，研究人员只使用了可公开获得的预处理对象检测模型和基本照片信息，但他们认为这一模型可用于大多数照片档案，且提供了所有代码、模型和数据注释，以及如何使用它们的详细描述。

例如，可以通过考虑摄影师的意图和他们的照片质量来进一步增强摄影师分析。此外，可以通过考虑信息融合方法来增强对象检测性能，以及改善较小尺寸对象的检测。除了对象级分析，场景识别将有助于进一步描述摄影师的特征。

在未来，研究人员将专注于需要更专业方法的问题，比如识别仅出现在芬兰历史照片或二战期间的对象类别。他们的目标是利用原始的文本照片描述来产生更完整的对象标签以及主题和事件识别。

这将有助于人们解决分析战时照片时面临的最大挑战之一，即区分拍摄对象的不同状态——照片中的人是活着的、受伤的还是死亡的。

这些更精细的结果最终可以帮助人们更详细地描绘出传统知识摄影师的目标、素质和性格。这项研究的目标是在档案中公布所有的结果，以帮助对档案进行不同类型的社会研究。

对于此次研究结果，作者之一、从事新闻摄影研究已有 25 年以上的 Anssi Männistö 认为，“对照片蕴含的内容进行大数据分析是我的一个长期梦想，我对这个项目的结果非常着迷。人工智能可以识别诸如照片中的框架和内容的各个方面，这将在人文科学和社会科学领域中有着广泛的应用。”

参考资料：
https://www.eurekalert.org/pub_releases/2020-10/au-aid102820.php
https://ieeexplore.ieee.org/document/9159591