MOLAR FRESH 2021年第24期
人工智能新鲜趣闻 每周一更新
AI资讯抢先看
2021年8月16日
01
放话挑战GPT-3！以色列推出参数多30亿、词条多5倍的新语言模型
GPT-3有多厉害不用多说了吧？
现在，以色列特拉维夫一家AI公司——AI21 Labs表示要挑战一下这个巨星在NLP领域的主导地位。
GPT-3模型拥有1750亿个参数，而他们这个叫做Jurassic-1(侏罗纪-1)的模型有1780亿个。
GPT-3模型的词汇表有5万个token，而Jurassic-1使用的词汇表则有25万个！
Jurassic-1模型的规模大了30亿参数，GPT-3能干的活它自然也“不甘示弱”：生成“人话”自不用说，文本转表格、话题分类、Python转JavaScript、从产品描述中生成简短的产品名称、写歌、算数等从简单到复杂的任务都能hold住。
实验显示，Jurassic-1模型在一系列任务中的表现与GPT-3相当或更好 (尤其是在回答学术和法律问题方面)。此外，与GPT-3相比，Jurassic-1在零样本学习中与之性能持平，但在少样本学习中略胜一筹。现在，Jurassic-1模型的公测版本已通过AI21 Labs的Studio平台提供给开发人员使用，大家训练只需提供50-100个样本，就能搭建一些诸如聊天机器人的应用程序原型。
（来源：量子位）
No.
02
Mobile-Former —MobileNet+Transformer轻量化模型
如何设计有效的网络来有效地编码局部处理和全局交互?
微软提出Mobile-Former，MobileNet和Transformer的并行设计，可以实现局部和全局特征的双向融合。Mobile-Former是MobileNet和Transformer的并行设计，中间有一个双向桥接。这种结构利用了MobileNet在局部处理和Transformer在全局交互方面的优势。
结合提出的轻量级交叉注意力对桥接进行建模，Mobile-Former不仅计算效率高，而且具有更强的表示能力。
在分类和下游任务中，Mobile-Former性能远超MobileNetV3等轻量级网络。Mobile-Former的主要限制是模型大小。这有2个原因：首先，由于Mobile，Former和bridge都有各自的参数，因此并行设计在参数共享方面效率不高；虽然Former由于token数量少，计算效率高，但它并不节省参数的数量。其次，在执行ImageNet分类任务时，Mobile-Former在分类头(2个全连接层)中消耗了很多参数。
（来源：集智书童）
03
单张人像生成视频！中国团队提出最新3D人脸视频生成模型，实现SOTA
稀疏人脸特征点生成的人脸图像视频通常会利用人脸图像的稀疏特征点（landmarks）结合生成对抗网络（GAN）,通常会遇到图像质量损失、图像失真、身份改变，以及表情不匹配等问题。
为了解决这些问题,一支中国团队设计了一套三维动态预测和人脸视频生成模型(FaceAnime)来预测单张人脸图像的3D动态序列。通过稀疏纹理映射算法进一步渲染3D动态序列的皮肤细节，最后利用条件生成对抗网络引导人脸视频的生成。实验结果显示，FaceAnime能从单张静止的人脸图像生成高保真度、身份不变性的人脸视频，比其它方法效果更好。
作者分别对人脸视频重定向、视频预测以及目标驱动的视频预测三个任务做了相应的大量实验。作者提出的方法可以将参考视频的姿态和表情变化重定位到source人脸上，并且对于一个随机的人脸图像，其可以生成合理的未来视频序列。对比其他最先进的人脸生成方法，所提出的方法在生成高质量和身份信息保持的人脸方面具有更好的效果。
（来源：新智元）
04iLearnPlus:核酸和蛋白质序列分析、预测模型构建和数据可视化的开源自动化机器学习平台
随着机器学习方法在解决生物学问题中的广泛应用，在完成主要实验的基础上，越来越多的团队选择使用基于机器学习的法方法对生物序列进行精准预测和分析。河南农业大学陈震教授、美国弗吉尼亚联邦大学Lukasz Kurgan教授和澳大利亚蒙纳士大学宋江宁教授等团队合作于2021年6月份在生物学顶级期刊Nucleic Acids Research上发表了一个开源自动化机器学习平台。该平台采用“一站式”的方式对生物序列（包含DNA、RNA以及蛋白质序列）进行特征提取和选择、聚类分析、构建和评测的机器学习模型，并将预测结果可视化。
iLearnPlus能够在所有主流的操作系统（Windows、Linux、Mac OSX等）上运行。它包含四个主要的模块：Basic模块、Estimator模块、AutoML模块和LoadModel模块，以满足不同用户的序列分析和建模需求。iLearnPlus的成功开发不仅使非生信背景的研究人员能够方便的进行基于机器学习的序列分析和预测，而且也能够降低生信背景研究人员的开发量，进而提高开发效率。
（来源：DrugAI)
原创文章，作者：整数智能，如若转载，请注明出处：https://www.agent-universe.cn/2021/08/8417.html
