人人可成为漫画主角；机器学习都能预测未来了；输入文字即可P图；GAN靠「伪造思维」登上Nature子刊

MOLAR FRESH 2021年35期

人工智能新鲜趣闻 每周一更新

强烈安利试试这个！效果爆炸的漫画变身AI，火到服务器几度挤爆

“排队1241人，等待2600秒……”这届网友为了看一眼自己在动漫里的样子，可真是拼了！

“始作俑者”是一款可以把人像变动漫的生成器——AnimGAN。

再看看GitHub上的相关项目，果然也冲上了趋势榜第一名。

看完展示的效果，你是不是也想打造一个自己专属的漫画脸了呢？

第一种方法很简单，只需要上传一张照片就可以。

提供在线玩法的网站（链接见文末），就是那个著名的抱抱脸（Hugging Face）。

它专门开设了一个在线AnimeGANv2的App，直接把图片“丢”进去就好。

第二种方法了——上代码！

热心网友在苦等了3小时之后，终于还是忍不住了，强烈安利Colab版本（链接见文末）

先运行一下文档里的前两段代码，然后只需要简单修改照片路径即可。

AnimeGAN是来自武汉大学和湖北工业大学的一项研究，采用的是神经风格迁移 + 生成对抗网络（GAN）的组合。

它其实是基于CartoonGAN的改进，并提出了一个更加轻量级的生成器架构。

AnimeGAN的生成器可以视作一个对称的编码器-解码器网络，由标准卷积、深度可分离卷积、反向残差块、上采样和下采样模块组成。

而此次的V2版本，是基于第一代AnimeGAN的升级，主要解决了模型生成的图像中存在高频伪影的问题。

在线Demo：

https://huggingface.co/spaces/akhaliq/AnimeGANv2

Colab版本：

https://colab.research.google.com/drive/1jCqcKekdtKzW7cxiw_bjbbfLsPh-dEds?usp=sharing#scrollTo=niSP_i7FVC3c

GitHub地址：

https://github.com/TachibanaYoshino/AnimeGANv2

https://github.com/bryandlee/animegan2-pytorch

来源：量子位

机器学习都能预测未来了！Google华人博士在ICCV 2021发布新模型，打个鸡蛋就知道你要做煎饼！

预测未来一直是人类梦寐以求的事，而刚好机器学习模型正好擅于预测。

最近Google、布朗大学的华人博士在ICCV 2021发表了他的新工作，在菜谱视频数据集中可以合理预测未来，还不受时间限制，打个鸡蛋就知道你要做煎饼！

Google提出了一种自监督的方法，使用了一个大型、未标记的人类活动数据集。

所建立的模型具有高度的抽象性，可以任意时间间隔对未来进行远距离预测，并能够根据上下文选择对未来的远期预测。

模型具有多模态周期一致性（Multi-Modal Cycle Consistency，MMCC）的目标函数，能够利用叙事教学视频来学习一个强大的未来预测模型。

研究人员在文中还展示了如何在不进行微调的情况下，将MMCC应用于各种具有挑战性的任务，并对其预测进行了量化测试实验

人人可成为漫画主角；机器学习都能预测未来了；输入文字即可P图；GAN靠「伪造思维」登上Nature子刊

模型从叙事视频中的一个样本帧开始，学习如何在所有叙事文本中找到相关的语言表述。

该模型能够用到整个视频来学习到如何预测潜在未来的事件，并估计该帧的相应语言描述，并以类似的方式学习预测过去帧的函数。

循环约束（cycle constraint）要求最终模型预测等于起始帧。

在实验部分研究人员设计了一系列新的定性和定量实验来评估不同的方法。

首先是数据，研究人员在无约束的真实世界视频数据上训练模型。

使用TOP-K召回指标评估模型预测行动的能力来衡量了模型预测正确未来的能力（越高越好）。

人人可成为漫画主角；机器学习都能预测未来了；输入文字即可P图；GAN靠「伪造思维」登上Nature子刊

对于MMCC，为了确定整个视频中有意义的随时间推移的事件变化，研究人员根据模型的预测，为视频中的每个帧对（pair）定义了一个可能的过渡分数，预测的帧越接近实际帧，则分数越高。

人人可成为漫画主角；机器学习都能预测未来了；输入文字即可P图；GAN靠「伪造思维」登上Nature子刊

参考资料：

https://ai.googleblog.com/2021/11/making-better-future-predictions-by.html

来源：新智元

给几个关键词就能出摄影大片，英伟达GauGAN上新2.0：将文本转成逼真图像

英伟达官方推出了GauGAN2，允许用户创建不存在的逼真风景图像。

GauGAN2将分割映射、修复和文本到图像生成等技术结合在一个工具中，旨在输入文字和简单的绘图就能创建逼真的图像。

英伟达表示：「与类似的图像生成模型相比，GauGAN2的神经网络能够产生更多种类和更高质量的图像。」只需输入一个简短的短语即可快速生成图像的关键特征和主题。

例如输入「海浪打在岩石上」，模型会根据生成的内容逐渐进行相应的调整。

目前GauGAN2 还在研发阶段，但英伟达已为用户提供了一个demo地址，可在线试玩。

试玩地址：https://www.nvidia.com/en-us/research/ai-demos/

除了输入文字之外，GauGAN2还提供了其他模式

输入简笔画

输入图像并编辑部分内容

GauGAN2作为生成对抗网络（GAN）的一种变体，由生成器和鉴别器组成。

生成器用于获取样本，例如获取与文本配对的图像，并预测可能与图片中元素（例如山水、树木）对应的数据。

生成器试图通过「欺骗」鉴别器来进行训练，鉴别器则用于评估预测结果是否真实。

GauGAN2 背后的 AI 模型使用 NVIDIA Selene 超级计算机，在 1000 万张高质量风景图像上进行了训练，这是一个 NVIDIA DGX SuperPOD 系统，是世界上最强大的 10 台超级计算机之一。

GauGAN2还借助神经网络来学习词汇与其对应的视觉效果之间的联系，例如「冬天」、「有雾」等。

GauGAN2在电影、软件、视频游戏、产品、时尚和室内设计中具有潜在应用，未来也将提供开源代码并投入应用。

参考链接：https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/

来源：机器之心

GAN靠「伪造思维」登上Nature子刊：首次合成神经活动数据，脑机接口训练速度提升20倍

GAN这回玩了票大的，把手伸向了“人脑思维”，这是AI首次在该领域被应用。

直接就是一个“合成思维”——生成用来喂给脑机接口的那种大脑活动数据。

并且这项技术一举把训练脑机接口系统提取、分析大脑信号的时间，提高了整整20倍。

为什么要用AI去“伪造”神经活动数据呢？

算法效果依赖于巨量训练数据的支撑，而在实际实验中存在各种问题：

数据获取量有限、不同受试对象的神经元信号存在差异、一个人的数据训练出来的解码算法要应用到另一个人身上必须重头再来等。

GAN可以解决上述问题。

这次研究的被试者是两只小猴子，它们需要完成的任务很简单。

屏幕上会有物体在随机位置出现，小猴子用摇杆控制屏幕上的光标去接触这个物体。

小猴子手臂处植入的电极阵列会采集神经的运动控制（Motor Control）信号。

初级运动皮层的神经元会以1-2毫秒间隔释放100毫伏左右的间歇性脉冲，神经元每次激发就会产生一个峰值。

这种活动模式被叫做峰电位序列（Spike Train）。

研究人员先用双向LSTM网络设计了GAN中的生成器和鉴别器，用采集到的神经数据加上随机高斯噪声来合成新的数据。

最终他们只用不到1分钟的真实数据加上合成数据，就能当20分钟的真实数据用。

这篇论文提出的方法是通用的，如果用于其他神经的编码解码问题，只需要做最小限度的修改即可。

论文地址：

https://www.nature.com/articles/s41551-021-00811-z

参考链接：

“Deepfaking the Mind” Could Improve Brain-Computer Interfaces for People with Disabilities

https://www.stat.cmu.edu/~kass/papers/SpikeTrain.pdf

来源：量子位

原创文章，作者：整数智能，如若转载，请注明出处：https://www.agent-universe.cn/2021/11/8404.html

人人可成为漫画主角；机器学习都能预测未来了；输入文字即可P图；GAN靠「伪造思维」登上Nature子刊

关于作者

相关推荐