MOLAR NEWS
2020年第35期
MolarData人工智能每周见闻分享，每周一更新。
抛弃注意力，比EfficientNet快3.5倍，类Transformer新模型跨界视觉任务实现新SOTA
LambdaNetworks 的出现提供了一种解决此问题的方法，人们可以无需建立昂贵的注意力图即可捕捉长距离交互。这一方法在 ImageNet 上达到了新的业界最佳水平（state-of-the-art）。
该研究提出了一种名为「lambda」的层，这些层提供了一种捕获输入和一组结构化上下文元素之间长程交互的通用框架。lambda 层将可用上下文转换为单个线性函数（lambdas）。这些函数直接单独应用于每个输入。研究者认为，lambda 层可以作为注意力机制的自然替代。注意力定义了输入元素和上下文元素之间的相似性核，而 lambda 层将上下文信息汇总为固定大小的线性函数，从而避免了对内存消耗大的注意力图的需求。
来源：机器之心
Nature重磅！清华团队类脑计算首推「神经形态完备性」，通用人工智能要来了
最近，来自清华大学、北京信息科学与技术国家研究中心、美国特拉华大学科研团队的一项突破性研究，或将加速类脑计算和通用人工智能的到来。 这一研究发表在10月14日最新一期的《自然》杂志上。清华大学类脑计算中心主任施路平和清华大学计算机系研究员张悠慧为该论文的共同通讯作者。
该研究在类脑计算通用架构方向取得了重要进展，并提出了「神经形态完备性」的概念。施路平、张悠慧等人在这项研究中提出了「神经形态完备性」的概念，这是一种更普适的类脑计算完备性的定义，它不再要求硬件一定是神经形态完备的，软件和各种硬件的兼容性也更好。
来源：新智元
AI看图说话首超人类！微软认知AI团队提出视觉词表预训练超越Transformer
模板生成方法，在简单场景下可以使用，但无法捕捉深层次的图像文本关系，而基于Transformer的模型又需要海量的标注数据，不适合nocaps。 为解决这些问题，微软认知服务团队的研究人员提出了一种名为视觉词表预训练（Visual Vocabulary Pre-training，简称VIVO）的解决方案。
VIVO可以在没有文本标签的数据上进行文本和图像的多模态预训练，摆脱了对配对图文数据的依赖。
预训练建好词表后，模型只需在有少量共同物体的配对图文的数据上进行微调，模型就能自动生成通用的模板语句，使用时，即使出现没见过的词，也能从容应对，相当于把图片和描述的各部分解耦了。
来源：新智元
FedReID – 联邦学习在行人重识别上的首次深入实践
行人重识别的训练需要收集大量的人体数据到一个中心服务器上，这些数据包含了个人敏感信息，因此会造成隐私泄露问题。联邦学习是一种保护隐私的分布式训练方法，可以应用到行人重识别上，以解决这个问题。但是在现实场景中，将联邦学习应用到行人重识别上因为数据异构性，会导致精度下降和收敛的问题。
这篇论文主要通过构建一个 benchmark，并基于 benchmark 结果的深入分析，提出两个优化方法，提升现实场景下联邦学习在行人重识别上碰到的数据异构性问题。
来源：AI科技评论
没有完整图时，如何使用图深度学习？你需要了解流形学习2.0版本
流形学习，自 2000 年在著名的科学杂志《Science》被首次提出以来，已成为信息科学领域的研究热点。可能很多人会问，流形学习有什么用呢？首先流形学习可以作为一种数据降维的方式，第二，流形能够刻画数据的本质。其主要代表方法有等距映射、局部线性嵌入等。潜图学习也具有流形学习 2.0 之称。
潜图学习是学习具有空边集的图。在这一设置中，输入为高维特征空间中的点云。在集合上进行深度学习的方法（如 PointNet）对每个点应用共享可学习 point-wise 函数，与之不同，潜图学习还寻求跨点信息传递。
潜图学习还有许多其他有趣的应用。
第一是少样本学习：利用基于图的方法从少量样本中进行归纳（重点：只需要少量带有标注的样本）。
第二是生物学领域：人们经常通过实验观察生物分子如蛋白质的表达水平，并试图重建它们的相互作用和信号网络。
第三是对物理系统的分析：其中图可以描述多个对象之间的交互作用。
第四是 NLP 问题：在 NLP 领域中，图神经网络可以看作是 transformer 架构的泛化。
潜图学习，虽然不是全新的领域，但它为旧问题提供了新的视角。对于图机器学习问题而言，这无疑是一个有趣的设置，为 GNN 研究人员提供了新的方向。
来源：机器之心
AI资讯
掌握最新时事新闻
长按扫码关注我们
原创文章，作者：整数智能，如若转载，请注明出处：https://www.agent-universe.cn/2020/10/8492.html
