2021年机器学习的风向在哪里?机器学习算法伪证5个数学猜想;AI自动生成CAD草图|AI周报

2021
05/25

+
分享
评论
学术头条
A-
A+

如今,CAD 技术将融合机器学习技术来自动化可预测的设计任务,使工程师可以专注于更大层面的任务,以更少的精力来打造更好的设计。

导读:CAD 模型中最难制作的部件之一就是高度结构化的 2D 草图,即每一个 3D 构造的核心。尽管时代不同了,但 CAD 工程师仍然需要多年的培训和经验,并且像纸笔画图设计的前辈们一样关注所有的设计细节。


如今,CAD 技术将融合机器学习技术来自动化可预测的设计任务,使工程师可以专注于更大层面的任务,以更少的精力来打造更好的设计。


在最近的一项研究中,DeepMind 提出了一种机器学习模型,能够自动生成此类草图,且结合了通用语言建模技术以及现成的数据序列化协议,具有足够的灵活性来适应各领域的复杂性,并且对于无条件合成和图像到草图的转换都表现良好。

一、技术理论前沿
1. 这 5 个数学猜想最早在 30 年前提出,如今 AI 证明它们都错了

近日,以色列特拉维夫大学研究团队在预印论文库提交了一篇名为 “Constructions in combinatorics via neural networks”的论文,在这篇论文中,研究人员通过机器学习算法证伪了图论(Graph Theory)领域的 5 个数学猜想。

图论是数学领域的一个重要分支,存在着大量长期无法证实或证伪的数学猜想。论文一作 Adam Zsolt Wagner 表示,“数学家认为这些猜想是正确的,但无法证明它们,我们尝试使用 AI 算法来寻找一些示例,发现这些示例将反驳图论中一些长期存在的猜想”。

要证伪一个数学猜想虽然只需要提出一个反例,但不一定是件容易的事情。比如近期被证伪的单位猜想,从提出到被证伪,相隔了 80 年的时间。这些猜想包括:

  • 关于图的最大特征值和匹配数之和的猜想,由 M. Aouchiche 和 P. Hansen 在论文 “A survey of automated conjectures in spectral graph theory” 中提出,论文发表于 2010 年。
  • Aouchiche–Hansen 提出的关于图的距离谱和邻近性的猜想,由 M. Aouchiche 和 P. Hansen 在论文 “Proximity, remoteness and distance eigenvalues of a graph” 中提出,论文发表于 2016 年。
  • K. L. Collins 在论文 “On a conjecture of Graham and Lov´asz about distance matrices”(发表于 1989 年)中提出的猜想,作者通过证明树的邻接多项式和距离多项式的系数序列的峰值可以相距很远反驳了这个猜想。
  • L. Hogben and C. Reinhart 在论文 “Spectra of variants of distance matrices of graphs and digraphs: a survey”(发表于 2021 年)中提出的猜想,作者证明了在距离拉普拉斯算子的余谱下,图的传输正则性不保持,从而反驳了这个猜想。
  • J. Aaronson, C. Groenland, A. Grzesik, B. Kielak, 和 T. Johnston 在论文 “Exact hyperplane covers for subsets of the hypercube”(发表于 2020 年)中提出的猜想,其提出可以用很少的超平面覆盖超立方体的某些子集。

内容来源:
https://mp.weixin.qq.com/s/Ep_08QbPVfXaBZrAkycj_w

2. 借助 Transformer,DeepMind 新模型自动生成 CAD 草图,网友:建筑设计要起飞了

CAD 模型中最难制作的部件之一就是高度结构化的 2D 草图,即每一个 3D 构造的核心。尽管时代不同了,但 CAD 工程师仍然需要多年的培训和经验,并且像纸笔画图设计的前辈们一样关注所有的设计细节。但是,在不久的将来,CAD 技术将融合机器学习技术来自动化可预测的设计任务,使工程师可以专注于更大层面的任务,以更少的精力来打造更好的设计。

在最近的一项研究中,DeepMind 提出了一种机器学习模型,能够自动生成此类草图,且结合了通用语言建模技术以及现成的数据序列化协议,具有足够的灵活性来适应各领域的复杂性,并且对于无条件合成和图像到草图的转换都表现良好。 具体而言,研究者开展了以下工作:

  • 使用 PB(Protocol Buffer)设计了一种描述结构化对象的方法,并展示了其在自然 CAD 草图领域的灵活性;

  • 从最近的语言建模消除冗余数据中吸取灵感,提出了几种捕捉序列化 PB 对象分布的技术;

  • 使用超过 470 万精心预处理的参数化 CAD 草图作为数据集,并使用此数据集来验证提出的生成模型。事实上,无论是在训练数据量还是模型能力方面,实际的实验规模都比这更多。



内容来源:
https://mp.weixin.qq.com/s/ACti3aE-75qVipPLvqGGkw

3. Facebook AI 研究院在无监督语音识别上取得新突破,wav2vec-U 性能直逼监督模型

近日,Facebook AI 研究院(FAIR)发布了无监督的 wav2vec 架构 ——wav2vec-U。FAIR 表示,这是一种构建根本不需要语音 - 文字转录数据的语音识别系统,性能也很不错,可以与几年前最好的监督模型的性能相媲美,而后者是在将近 1000 个小时的转录语音上进行训练的。



FAIR 表示:由于带标签数据的匮乏,目前语音识别技术仅在少量语言中应用,并且这些数据也还没有通用到可以适应任意的语言、方言和说话方式。因此,他们开发了这一系统。FAIR 使用斯瓦西里语和鞑靼语等语言对 wav2vec-U 进行了测试,这些语言目前尚无法使用高质量的语音识别模型,因为它们缺乏大量的带标签的训练数据。结果表明,wav2vec-U 有很好的广泛适用性。

内容来源:
https://ai.facebook.com/blog/wav2vec-unsupervised-speech-recognition-without-supervision/
https://mp.weixin.qq.com/s/AKrBCnbwHCBr8c_ek28UXQ

二、观点评论解读
1. MIT 科学家开发 AI 预知模型,能更早、更准锁定论文 “隐藏宝石”

目前,业内普遍采用基于引文的指标,比如所著论文的引用量、H-index(H 指数,一个混合量化指标,用于评估研究人员的学术产出数量与水平),以及期刊影响因子在时间和领域内的归一化测度等。

考虑到当前科学发展的现状问题和有限资源,如果能提前预判一篇论文的 “影响力” 大小,就可以帮助行业超越简单的基于引用的度量标准,从而更好地将科研注意力、投资等引导到更正确的地方。

为了实现对论文 “影响力” 的准确分析评估,来自麻省理工学院的科学家 James Weis 和 Joseph Jacobson 建立了一个名为 DELPHI(通过学习预测高影响实现动态预警)的机器学习模型,并用知识图谱加以训练,从而可以更早、更准地锁定那些未来有影响力的科研成果,相关论文于 5 月 17 日发表在《自然 - 生物技术》(Nature Biotechnology)期刊上。

在一次回顾性盲法研究中,DELPHI 准确识别出了 1980-2014 年期间 20 项具有重大影响的生物技术中的 19 项,还以数据驱动的方式发现并促进经费流向那些 “深藏不露” 的好研究项目。DELPHI 未来或将用于更准确地评估科研人员的产出质量和水平,有望成为一种全新的学术影响力评估手段。

内容来源:
https://mp.weixin.qq.com/s/sPBpQC3p_MQxsnXF9-ArJw
https://www.nature.com/articles/s41587-021-00907-6

2. 2021 年机器学习什么风向?谷歌大神 Quoc Le:把注意力放在 MLP 上

最近一段时间,多层感知机 MLP 成为 CV 领域的重点研究对象。谷歌原 ViT 团队提出了一种不使用卷积或自注意力的 MLP-Mixer 架构,并且在设计上非常简单,在 ImageNet 数据集上也实现了媲美 CNN 和 ViT 的性能。

MLP→CNN→Transformer→MLP 似乎已经成为一种大势所趋。谷歌大脑首席科学家、AutoML 鼻祖 Quoc Le 团队也将研究目光转向了 MLP。在最新的一项研究中,该团队提出了一种仅基于空间门控 MLP 的无注意力网络架构 gMLP,并展示了该架构在一些重要的语言和视觉应用中可以媲美 Transformer。


研究者将 gMLP 用于图像分类任务,并在 ImageNet 数据集上取得了非常不错的结果。在类似的训练设置下,gMLP 实现了与 DeiT(一种改进了正则化的 ViT 模型)相当的性能。不仅如此,在参数减少 66% 的情况下,gMLP 的准确率比 MLP-Mixer 高出 3%。这一系列的实验结果对 ViT 模型中自注意力层的必要性提出了质疑。

他们还将 gMLP 应用于 BERT 的掩码语言建模(MLM)任务,发现 gMLP 在预训练阶段最小化困惑度的效果与 Transformer 一样好。该研究的实验表明,困惑度仅与模型的容量有关,对注意力的存在并不敏感。随着容量的增加,研究者观察到,gMLP 的预训练和微调表现的提升与 Transformer 一样快。gMLP 的有效性,视觉任务上自注意力和 NLP 中注意力机制的 case-dependent 不再具有优势,所有这些都令研究者对多个领域中注意力的必要性提出了质疑。

总的来说,该研究的实验结果表明,自注意力并不是扩展 ML 模型的必要因素。随着数据和算力的增加,gMLP 等具有简单空间交互机制的模型具备媲美 Transformer 的强大性能,并且可以移除自注意力或大幅减弱它的作用。

内容来源
https://mp.weixin.qq.com/s/6mUdc2N1jAlh0pW8QIknoA

三、产业动态聚焦
1. 谷歌正式发布 Android 12,但 AI 才是 I/O 大会真正的主角

因为新冠疫情的影响,去年停办一年的 Google I/O 大会今年重新回归线上举行,两个小时的主论坛演讲,几乎囊括了目前 Google 所有的业务线。和之前媒体预测的一样,Google 在此次 I/O 大会上带来了正式版的 Android 12 和回炉重造的 Wear OS。但纵观整场主题演讲,你会发现 Google 不再是那个只专注当下的科技公司,人工智能(AI)成为了整场发布会中被提及最多的词,而 Google 也围绕 AI 向我们展示他们构建的未来世界。

基于强大的人工智能算法,Google 在主题演讲中展示了两个基于 AI 的模型 ——LaMDA 和 MUM,前者是一个基于对话应用程序的语言模型,后者则是基于搜索结果的多任务统一模型。

目前 LaMDA 还只能活在实验室里,但 Google 承诺它将很快会被提供给第三方进行测试,最终 Google 将把 LaMDA 放在 Google 搜索、Google 助手和 Google 工作空间(Work Space)中。而为了丰富搜索的价值,对用户有更强的指导意义,Google 也在此次 I/O 大会上公布了一个全新的多任务统一模型 MUM。

I/O 大会最后压轴出场的是 Google 健康。他们在此次活动中,展示了一项基于人工智能的皮肤检测工具,通过 AI 来帮助人们识别皮肤、头发或指甲的状况。

该团队使用了数百万张皮肤问题图像、数千张健康皮肤图像和 65000 张临床图像对该模型进行训练。该模型当被提出可能的条件还会考虑年龄、皮肤类型、性别和种族等因素。谷歌表示,当它对来自不同患者的约 1000 张皮肤问题图像进行测试时,它识别出皮肤问题前三名的准确率为 84%。

内容来源:
https://mp.weixin.qq.com/s/166TqkttBzU-DPB_qGyH9g

2. 2020 百度奖学金名单出炉!十位顶尖 AI 学子上榜,每人 20 万奖金

5 月 20 日,2020 百度奖学金正式公布获奖学子名单。来自清华大学、麻省理工学院、斯坦福大学等国内外顶尖学府的 10 位 AI 领域中国学霸们通过层层选拔脱颖而出,分别获得百度颁发的 20 万元人民币奖学金。

本届百度奖学金自 2020 年 7 月正式启动以来,吸引了世界范围内顶尖 AI 英才们的关注,不少高校的有志青年纷纷报名。历经了专家团队的初审、复审、终审等层层考核后:

清华大学庞天宇、清华大学陈冲、浙江大学任意、哈尔滨工业大学覃立波、上海交通大学李永露、北京理工大学魏恺轩、悉尼科技大学董宣毅、麻省理工学院王瀚锐、斯坦福大学尤佳轩、卡内基梅隆大学何俊贤最终胜出,成为本届百度奖学金的获得者。

他们多年深耕专业领域,覆盖人工智能机器翻译、自然语言处理、任务型对话系统、图神经网络等多个 AI 专业领域。其中多位获奖精英学术论文多次登上 AI 领域顶级峰会,在国际学术界崭露头角;更有佼佼者研究成果已在 Pinterest、Facebook、Google 等公司得到实际应用,成为行业认可的技术新秀。 

内容来源: 
https://mp.weixin.qq.com/s/q7Y2LyCoo_helQY5dhPOMw



不感兴趣

看过了

取消

本文由“健康号”用户上传、授权发布,以上内容(含文字、图片、视频)不代表健康界立场。“健康号”系信息发布平台,仅提供信息存储服务,如有转载、侵权等任何问题,请联系健康界(jkh@hmkx.cn)处理。
关键词:
机器学习,注意力,AI,模型,论文,数据,语言

人点赞

收藏

人收藏

打赏

打赏

不感兴趣

看过了

取消

我有话说

0条评论

0/500

评论字数超出限制

表情
评论

为你推荐

推荐课程


社群

  • 医生交流群 加入
  • 医院运营群 加入
  • 医技交流群 加入
  • 护士交流群 加入
  • 大健康行业交流群 加入

精彩视频

您的申请提交成功

确定 取消
剩余5
×

打赏金额

认可我就打赏我~

1元 5元 10元 20元 50元 其它

打赏

打赏作者

认可我就打赏我~

×

扫描二维码

立即打赏给Ta吧!

温馨提示:仅支持微信支付!