MolarData| AI领域资讯速递

MOLAR NEWS

2020年第50期

MolarData人工智能每周见闻分享，每周一更新。

南大周志华团队开源深度森林软件包DF21：训练效率高、超参数少，普通设备就能跑

2017 年，周志华和冯霁等人提出了深度森林框架，这是首次尝试使用树集成来构建多层模型的工作。具体来说，通过引入细粒度的扫描和级联操作（cascading operation），该模型可以构建多层结构，该结构具备适应性模型复杂度，且能够在多种类型的任务上取得有竞争力的性能。研究者们提出的 gcForest 模型利用了集成学习多样性增强的各种策略，然而该方法仅适用于监督学习设置。

2018 年，周志华等人又在研究《Multi-Layered Gradient Boosting Decision Trees》中探索了多层的决策树。该工作力求利用两个方面的优势：树集成的出色性能和分层分布式表征的表达能力（主要在神经网络中进行探索）。具体来说，该研究提出了首个多层结构，每层使用梯度提升决策树作为构造块，明确强调其表征学习能力，训练过程可以通过目标传播的变体进行联合优化。

在不断努力下，研究人员已经证明了深度森林模型可以在有监督和无监督的环境下进行训练，人们可以使用决策树来获得分层和分布式表征。

经过 LAMDA 徐轶轩等人的不懈努力，2021 年 2 月 1 日，新的深度森林软件包 DF21 在 GitHub 与开源中国同时开源了。该软件包尝试解决了这一方向在上述实际应用过程中所遇到的关键问题，未来在各类在数据建模过程中，我们也可以便捷地使用深度森林了。

来源：机器之心

更高清！谷歌推出生成文本到图像的新框架 TReCS，效果超过AttGAN

本月初，OpenAI官宣了一个基于Transformer的语言模型DALL-E，使用了GPT-3的120亿参数版本，引起了不小的轰动。

根据文字提示，DALL-E生成的图像可以像在现实世界中拍摄的一样。

谷歌当然不甘落后。

最近，谷歌研究院的成员们发表了一篇新论文：以细粒度用户注意力为基础的文本到图像生成.

作者在论文中提出了一个新的框架：Tag-Retrieve-Compose Synthesize system (TReCS)。该方法通过改进语言对图像元素的唤醒方式和痕迹对图像元素位置的告知方式，显著提高了图像生成过程。该系统使用了超过250亿个样本来进行训练，并有可能处理103种语言。

TRECS的亮点在于可以同时利用文本和鼠标痕迹。相比对于其他策略，尤其是那些需要场景图的策略，说话时用鼠标指着是一种更自然的方式，供用户在图像合成过程中指示其意图。

来源：新智元

果蝇能学会Word Embedding吗？丨麻省理工联合团队ICLR 2021论文

当前的深度学习方法从生物学中获得了极大的灵感启发。虽然神经网络模仿的是生物神经网络，但其实这两者之间有着极大的区别，有些重要的机器学习机制没有任何自然界的版本。这就向我们发问了一个很现实的问题：生物系统是否可以进一步促进新的网络架构和学习算法的发展，从而引发在机器学习任务处理上的突破创新，或者提供对智能行为的深刻见解呢？

本文介绍来自 MIT-IBM 实验室联合团队的工作 CAN A FRUIT FLY LEARN WORD EMBEDDINGS，正是受此动机的启发。这一次，他们将目光放在了最常见的模式生物之一 —— 果蝇身上。

这支团队以果蝇大脑中建立的成熟神经生物学网络模体（motif）为研究对象，将之数学形式化后构建的网络，用在了自然语言处理中常见的机器学习任务上。
结果发现，这个网络可以学习语义表征，并且可以生成静态的、依赖于上下文的词嵌入。而且与传统的方法（如 BERT、GloVe）不同的是，这些方法使用的是密集的表征。
果蝇的网络模体所达到的性能不仅可以与现有 NLP 方法相媲美，令人惊喜的是，它仅仅使用了很小一部分的计算资源，即需要的训练时间更短，内存占用率也更小。

在上下文单词任务中，果蝇网络的表现比 GloVe 高出近 3%，比 word2vec 高出 6% 以上，但比 BERT 低 3.5%。

来源：数据实战派

中国学者研发新型电子纹身，实现8倍延展，有望用于医疗、VR和可穿戴机器人等领域

“电子纹身” 是一张可以直接贴在人体表面的超薄电路，与普通纹身不同，电子纹身无需外创即可紧紧贴在皮肤上，随皮肤可随意拉伸、弯曲，可用于检测心电、肌电等人体健康数据，被认为是可穿戴设备的终极形态。

近日，来自南方科技大学、首都医科大学和中国科学院大学的联合研究团队在电子纹身这一研究方向实现了新突破。他们开发出一种集成多层电路的电子纹身（multilayered electronic transfer tattoo，METT）。
这种电子纹身兼具高延展性（8 倍）、保形性和粘性等优点，可以嵌入手指皱褶和指纹等一些皮肤上细小的特征中，能够牢固地附着在皮肤上，且在皮肤表面经反复变形后也不会脱落。

实验结果表明，该结构所使用的传感器在经过 1000 次拉伸后，也表现出了出色的可重复性，同时这种多层电路电子纹身能够实现皮肤折痕放大效果。当变形集中在皮肤的皱纹上，会使得电子纹身上应变传感器的输出信号放大到 3 倍，且由折痕放大引起的局部变形不会影响应变传感器的性能。