首页
快讯
关注
资讯
- 健康
- 科技
- 热点
- 视频
- 产业
- 政策
- 护理
- 投资
- 医改
- 养老
- 疫情
- 人物
- 医保
- 疾病
- 管理
- English
- 临床
- 心血管
- 肿瘤
- 内分泌
- 妇儿
- 感染
专题
活动
知识

首页
快讯
关注
资讯
- 健康
- 科技
- 热点
- 视频
- 产业
- 政策
- 护理
- 投资
- 医改
- 养老
- 海外
- 人物
- 保险
- 疾病
- 管理
- English
- 临床
- 心血管
专题
活动
智库
知识
- 北斗学苑
评选
会议
排行
全球医疗
健康界APP

欢迎登录体验更多功能

搜索

CV圈杀疯了，连续四篇相关论文；AI模型SEER“一视同仁”；北大博士干半年外卖骑手写AI伦理论文登上顶刊 | AI周报

2021

05/11

学术头条

A-

A+

技术理论前沿。

外卖骑手，再次引发全网关注。这一次是发表在顶刊《社会学研究》上的一篇博士论文。北大博士后陈龙为做研究，加入了在中关村的一个外卖骑手团队，体验了 5 个半月的配送工作，写成了这样一篇长达 23 页的论文，题目为《“数字控制” 下的劳动秩序 - 外卖骑手的劳动控制研究》。

一、技术理论前沿

1.CV 圈杀疯了！继谷歌之后，清华、牛津等学者又发表三篇 MLP 相关论文，LeCun 也在发声

5 月 5 日，清华大学图形学实验室 Jittor 团队在 arXiv 上提交了一篇和 MLP 相关的论文《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》。

这篇论文提出了一种新的注意力机制，称之为 External Attention—— 基于两个外部的、小的、可学习的和共享的存储器，只用两个级联的线性层和归一化层就可以取代了现有流行的学习架构中的 “Self-attention”，进一步揭示了线性层和注意力机制之间的关系。

同日，清华大学软件学院丁贵广团队在 arXiv 上也提交了论文《RepMLP: Re-parameterizing Convolutions into Fully-connected Layers for Image Recognition》，这篇论文展示了结合重参数化技术的 MLP 也能取得非常不错视觉的效果。

而就在昨天（5 月 6 日），AI 科技评论发现，牛津大学的学者提交了一篇名为《Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet》的论文，也提出了 Transformer 中的 attention 是不必要的，仅仅使用 Feed forward 就可以在 ImageNet 上实现非常高的结果。以上三篇论文加上谷歌的 MLP-Mixer 论文，这四篇论文或许真的正在拉开计算机视觉研究的一个新的一角。

内容来源：

https://mp.weixin.qq.com/s/6kAVzqsf5u4Zj95E2PE95A

https://mp.weixin.qq.com/s/L75TsIkB0h_GxQ6fDiVKOQ

2. 谷歌最新提出无需卷积、注意力，纯 MLP 构成的视觉架构！网友：MLP is All You Need ？

近日，谷歌大脑团队新出了一篇论文，题目为《MLP-Mixer: An all-MLP Architecture for Vision 》，这篇论文是原视觉 Transformer（ViT）团队的一个纯 MLP 架构的尝试。

本文总结来说就是提出了一种仅仅需要多层感知机的框架 ——MLP-Mixer，无需卷积模块、注意力机制，即可达到与 CNN、Transformer 相媲美的图像分类性能。

这个 MLP-Mixer 的新框架如下图，它不使用卷积或自注意力机制。相反，Mixer 体系架构完全基于在空间位置或特征通道上重复应用的多层感知器（MLP），它只依赖基础的矩阵乘法操作、数据排布变换 (比如 reshape、transposition) 以及非线性层。

内容来源：

https://mp.weixin.qq.com/s/U2zPf5tY7QMO_GoXOBTPlQ

https://www.zhihu.com/question/457926000

3.ProFOLD：普通笔记本 3 小时跑完的蛋白质结构「从头预测」，努力赶超 AlphaFold2

中科院计算所卜东波团队近日于 Nature Communications 发表论文 “CopulaNet: Learning residue co-evolution directly from multiple sequence alignment for protein structure prediction”，介绍一个新的神经网络架构 CopulaNet，可从目标蛋白质的多序列联配直接估计出残基间距离，克服了传统统计方法的 “信息丢失” 缺陷；并以 CopulaNet 为核心开发了蛋白质结构 “从头预测” 算法和软件 ProFOLD。在 CASP13 测试集上，ProFOLD 达到了 0.7 的预测精度（以天然态结构和预测结构之间的 TM-score 为衡量标准），优于 AlphaFold（约为 0.5）。

CopulaNet 和 ProFOLD 于 2020 年 2 月开发完毕，文章于 2020 年 10 月上传 BioRxiv，并投稿至 Nature Communications。在文章审稿期间，DeepMind 公司于 2021 年公布了 AlphaFold2 的结果。ProFOLD 目前虽然优于 AlphaFold，但是与 AlphaFold2 相比尚有差距。卜东波老师团队正在努力改进 ProFOLD，争取达到并超过 AlphaFold2 的水平。

内容来源：

https://mp.weixin.qq.com/s/5WDeel83R04HeL4d8lYpaA

4.10 亿参数的 AI 模型 SEER「一视同仁」：服务富人，也服务全世界

众所周知使用经过挑选和标记的数据集对人工智能系统进行训练，产生了专门的人工智能模型，擅长对象识别等任务。但是仅仅依靠这种方法也有实际的局限性，其中一个我们认为特别重要：这样的系统可能难以识别那些日常生活中很常见，但是在训练人工智能系统的数据中「没有被充分代表」的对象。尤其是，关于训练哪些图片以及如何给它们贴标签的选择，这可能在不经意间引入「偏见」。

SEER 是 Facebook AI 团队开发的一种新的高性能计算机视觉系统。通过利用自监督学习，SEER 可以从任何数字图片集中学习，而不需要研究人员来挑选和标记每个对象。初步评估表明，SEER 在识别物体方面比传统的计算机视觉系统表现更好，这些物体虽然来自数十亿人的生活，但在用于训练人工智能系统的传统图片数据集中「体现较少」。

SEER「一视同仁」，认得出美国厨房，也认得出尼泊尔厨房。团队希望利用 SEER 使人工智能更好地为每个人服务，而不仅仅是那些一直以来受益最多的群体。

内容来源：

https://mp.weixin.qq.com/s/VxZvtG2hJcnLzIrS2pbuWA

https://ai.facebook.com/blog/seer-an-important-step-toward-ai-that-works-well-for-everyone/

https://www.gapminder.org/dollar-street?fbclid=IwAR323dpnFBC1UXfQ0zlGnJF1_EhteIn4QT5EfdiASBqLuNMafubyqX2YgRs

5. 谷歌 AI 研究院：被低估的数据，被高估的模型

得益于算法、算力和数据这三驾马车，人工智能在 2006 年后获得了巨大的发展。近日，来自谷歌的研究员在一篇题为 “Everyone wants to do the model work, not the data work” 的论文中指出：数据质量在 AI 中起到的作用正在被低估，数据质量在高风险 AI 应用中十分重要，尤其是对癌症检测、野生生物偷猎等下游任务中巨大。

上述结果是谷歌研究员通过与印度、东非和西非国家以及美国的 53 位 AI 从业者进行对话得来。研究员表示，这份访谈报告为 “低估数据质量在 AI 模型中的作用” 提供了经验证据。

此外，报告还得出了另一个有趣的结论：每个人都想做模型工作，而不是数据工作，许多从业者将数据工作描述为 “耗时且无法追溯的工作”。

为了更清楚的说明问题，研究员还定义了数据库级联（data cascades）这一概念，即因数据问题产生负面和下游影响的复合事件，且数据级联有不透明、触发者、负面影响等特点。

内容来源：

https://mp.weixin.qq.com/s/BF9HUiYq3m1uvC7IGxIRAQ

二、观点评论解读

1. 清华袁洋：智能医疗不是让 AI 替代医生，而是……

时至今日，AI 医疗虽然已经在药物筛选、辅助诊断等方面有了丰富的应用场景，但仍然存在数据集小、容错成本高等问题。AI 医疗，归根结底，应聚焦以人为本，从实际场景出发更好地帮助医患。

对此，清华大学交叉信息学院助理教授、智源青年科学家袁洋提出 AI 会从六大方面改变整个医疗体系，包括数据格式与数据采集、医患交互、治疗方案、患者反馈、医生评价和挂号。

内容来源：

https://mp.weixin.qq.com/s/xLI0Y8b1hV9utMCTrva-_g

2. 北大博士干了半年外卖骑手，写出 AI 伦理论文登上顶刊，“系统知道一切”

外卖骑手，再次引发全网关注。这一次是发表在顶刊《社会学研究》上的一篇博士论文。北大博士后陈龙为做研究，加入了在中关村的一个外卖骑手团队，体验了 5 个半月的配送工作，写成了这样一篇长达 23 页的论文，题目为《“数字控制” 下的劳动秩序 - 外卖骑手的劳动控制研究》。

在 AI 系统的驱动、调度下，这种剧变正在影响每一个人。管理一般有三个方面：指导、评估以及奖惩激励。以往这些工作都是老板去决定的。现在的情况则是，平台给骑手派单，并告诉他们应该如何送；消费者来评估骑手的好坏表现；平台又根据消费者的评估，来决定奖惩。也就是说，由 AI 系统来负责第一项、第三项工作，第二项则交给了消费者。专业一点，就是数字治理。

小到我们这些打工人每天用的打卡、打车平台。更大一些的，则是落地到工业、农业等各个产业当中去的。比如农田里的管理系统，由 AI 来看出苗率如何，由农户来决定是否补播，省去了以前的巡田步骤，还节省了人力成本。管理农田的长工活儿变少了，工资也就随即降低。新疆一家农户的解决方式是，让长工管理更大的田，工资还跟原来的持平。

场景不同，原因类似，都是 AI 系统下，生产力变革所引发的社会性问题。AI 的浪潮不会停止，这些问题又该如何解决呢？

内容来源：

https://mp.weixin.qq.com/s/o6uh5tSrR5_CIOxusJAgIA

https://www.sohu.com/a/464878129_120146415?spm=smpc.author.fd-d.1.1620354691433Sxsg7yX

https://mp.weixin.qq.com/s/OTnJtfhn0fMQ9tWK2RZqWg

3.AI 大牛沈向洋：中国土豪疯 “造车”，与 “造芯” 不同，自动驾驶需建立在强大仿真技术上

在近日举行的人工智能与机器人国际研讨会上，沈向洋发表了题为《从深度学习到深度智能》的演讲。

“过去几年人工智能发展非常迅猛，其中最重要的是深度学习。” 沈向洋回顾了人工智能在过去十年的发展特点：一是在大数据利用方面有着惊人的有效性，表现是 DNN 的巨大进步离不开海量数据的支撑；二是对计算能力的需求日益增长，我们设计的算法越来越依赖于算力处理数据；三是虽然深度神经网络有巨大进展，但通用人工智能的进展缓慢。

沈向洋表示，深度学习只是狭义的人工智能，必须构建 Robust AI 才能实现真正的强人工智能。Robust AI 对应深度智能，强调系统化地解决宽泛的问题，具备灵活与动态的推理能力，可以很好地移植到不同场景。

沈向洋认为，实现 robust AI 可以从三方面入手：一是构建大规模的强机器学习仿真器，涉及游戏及自动驾驶等复杂系统；二是对于机器学习本质的深度理解，从优化功能开始，思考我们从里面真正学到的是什么；三是基于神经与符号的混合模型。

沈向洋在演讲结束时强调：接下来 5 年是人工智能最有可能突破的时候，肯定可以做出很多了不起的成果。“虽然深度学习有一些问题，但是大家一定要记住深度学习是今天的方向，大家不要抗拒深度学习。”

内容来源：

https://mp.weixin.qq.com/s/qOiRs6UVR5LVQGeqLe6C_A

三、产业动态聚焦

1. 特斯拉工程师自曝：Autopilot 只有 L2 自动驾驶水平，别信马斯克说的

每家造车新势力都在渲染自动驾驶的美好前景，其中最负盛名的特斯拉 Autopilot，因为马斯克一次次的宣传而深入人心。但他一直以来对于这些功能的描述是存在重大误导的。

特斯拉 CEO 伊隆・马斯克有关该公司产品能够实现「完全的自动驾驶」的说法，一直让人们对于未来充满希望，但刚刚公开的一份调查记录显示，特斯拉自己的工程师对这样的主张并不赞同。

该公司的自动驾驶软件主管 CJ Moore 今年 3 月曾向加州车辆管理局 DMV 说，自家 CEO 高估了特斯拉汽车自动驾驶辅助系统的能力。这是马斯克不断发表的自动驾驶汽车愿景，和 AI 技术实际落地进展之间差距不断增大的最新一次矛盾。随着特斯拉在德州驾驶座无人的情况下撞毁，并造成两人伤亡事故，这家公司的技术正在接受越来越严格的审查。

内容来源：

https://mp.weixin.qq.com/s/OLfAe_MKt53V7Fe7EKJ25Q

https://www.theverge.com/2021/5/7/22424592/tesla-elon-musk-autopilot-dmv-fsd-exaggeration

https://www.bloomberg.com/news/articles/2021-05-07/musk-s-autopilot-claims-don-t-match-reality-tesla-engineer-says

2.Transformer 作者创建，Hinton、李飞飞、Goodfellow 等大佬投资，这家新公司要做什么？

近日，Transformer 作者之一 Aidan Gomez 在推特上宣布，他们创办了一家名为 Cohere 的自然语言处理公司，基于自己训练的大型 NLP 模型为外界提供 API 服务。

该公司在主页上写道：语言对于人类来说至关重要，但计算机在解析语法、语义和语境方面存在困难，这一障碍限制了我们与技术沟通的能力。因此，Cohere 的使命就是构建一种能够理解世界的机器，并让所有人安全地使用它们。

比公司业务更令人瞩目的是投资阵容。据报道，这家公司的早期投资者包括图灵奖得主 Geoffrey Hinton、GAN 之父 Ian Goodfellow、Uber 首席科学家 Raquel Urtasun、英伟达多伦多研究实验室主任 Sanja Fidler 以及斯坦福大学教授李飞飞等。

团队的创始成员也都是预训练模型领域的资深研究者。其中，联合创始人共有三位。Aidan Gomez 本科就读于多伦多大学，是牛津大学 Yarin Gal 和 Yee Whye Teh 的博士生。他曾在谷歌大脑团队的 Geoffrey Hinton 和Łukasz Kaiser 组内工作。Ivan Zhang 本科同样就读于华盛顿大学，不同的是，他选择了辍学并进入生物技术公司 Ranomics 工作。

另一位联合创始人 Nick Frosst 是 Geoffrey Hinton 在多伦多谷歌大脑实验室的第一位员工，他在那里度过了三年的机器学习研究生涯，主要研究兴趣为胶囊网络、对抗样本和可解释性。Ivan Zhang 本科同样就读于华盛顿大学，不同的是，他选择了辍学并进入生物技术公司 Ranomics 工作。