MolarData| AI领域资讯速递

MOLAR NEWS

2021年第1期

MolarData人工智能每周见闻分享，每周一更新。

前沿丨MIT提出Liquid机器学习系统，可像液体一样适应动态变化

麻省理工学院（MIT）的研究者开发出了一种新型的神经网络，其不仅能在训练阶段学习，而且还能持续不断地适应。他们将这种灵活的算法命名为「Liquid」网络，因为其能像「液体」一样改变其底层的数学方程以持续适应新的输入数据。这一进展能助力基于动态变化数据的决策任务，比如医疗诊断和自动驾驶中涉及到的任务。

Hasani 说，为了理解世界，时间序列数据不仅无处不在，而且至关重要，不可或缺。「真实世界都与序列有关。我们的感知方式也是如此——你感知的不是图像，而是图像的序列。」他说，「因此，时间序列数据实际上创造了我们的现实。」

他指出，视频处理、金融数据和医疗诊断应用都涉及到时间序列，而且这些应用对我们的社会至关重要。这些不断变化的数据流的变化情况难以预测。但是，如果能够实时地分析这些数据，并将它们用于预测未来的行为，那么就能极大促进自动驾驶等技术的发展。

来源：中国人工智能学会

Facebook&哥大等推出实验性AI框架，音视频信息可自由转换文本！

最近，Facebook、哥伦比亚大学、佐治亚理工学院和达特茅斯大学的研究人员开发了Vx2Text——一个从视频、语音或者音频中生成文本的框架。他们声称，相比之前的最先进的方法，Vx2Text可以更好地创建说明文字并回答问题。

与大多数人工智能系统不同，人类可以很自然地轻易理解文本、视频、音频和图像在上下文语境中的含义：

例如，一些给定的文本和图像，在分开讨论的时候似乎无害，比如“看看有多少人爱你”和一张贫瘠沙漠的图片，然而，人们会立即意识到，这些元素在结合在一起的时候，其实是具有潜在伤害性的。

多模态学习可以包含一些潜在互补的信息或者趋势，不过，只有在学习中完全包含相关信息的时候，这些含义才能显现。

对于Vx2Text,，“模态独立“的分类器将来自视频、文本或音频的语义信号，转换为公共语义语言空间，这使得语言模型能够直接解释多模态数据，从而为通过谷歌的T5等强大的语言模型进行多模态融合——即结合信号来支持分类——提供了可能。

来源：新智元

近千片段、25种类别，阿里等开源了遮挡场景的视频实例分割数据集OVIS

来自阿里、华中科大、牛津等多个机构的研究者构建了一个针对强遮挡场景的大型视频实例分割数据集 Occluded Video Instance Segmentation (OVIS)。

研究者一共采集了近万段视频，并最终从中挑选出了 901 段遮挡严重、运动较多、场景复杂的片段，每段视频都至少有两个相互遮挡的目标对象。其中大部分视频分辨率为 1920×1080，时长在 5s 到 60s 之间。他们按每 5 帧标注一帧的密度进行了高质量标注，最终得到了 OVIS 数据集。

OVIS 共包含 25 种生活中常见的类别，如下图所示，其中包括人、交通工具以及动物。这些类别的目标往往处于运动状态，因而也更容易发生严重的遮挡。此外，OVIS 的 25 个类别都可以在大型的图片级实例分割数据集（MS COCO、LVIS、Pascal VOC 等）中找到，以方便研究人员进行模型的迁移和数据的复用。来源：机器之心

模型压缩6倍，无需重训练：数学家团队提出量化新方法

近日，来自俄罗斯人民友谊大学（RUDN）的数学家团队找到一种方法，可以将训练后的神经网络的大小减小六倍，而无需花费更多的资源来对其进行重新训练。该方法基于找到初始系统及其简化版本中神经连接权重之间的相关性。这项研究的结果发表在《Optical Memory and Neural Networks》期刊上。