
MOLAR FRESH 2021年第26期
人工智能新鲜趣闻 每周一更新


01 完美抠图王冰冰!字节实习生开发的AI,实现4K60帧视频实时抠图,连头发丝都根根分明

看这一头蓬松的秀发,加上帅气的动作,你以为是在绿幕前拍大片?
No、No、No
这其实是AI拿来视频实时抠图后的效果。
这就是来自字节跳动实习生小哥的最新研究:实时高分辨率视频抠图大法。研究人员构建了一个循环架构,利用上了视频的时间信息,在时间一致性和抠图质量上取得了明显改进。其中,循环机制的引入使得AI能够在连续的视频流中自我学习,从而了解到哪些信息需要保留,哪些信息可以遗忘掉。具体而言,循环解码器采用了多尺度ConvGRU来聚合时间信息。除此之外,研究人员还提出了一种新的训练策略:同时使用抠图和语义分割目标数据集来训练网络。
无需任何辅助输入,把视频丢给这个名为RVM的AI,它分分钟就能帮你把人像高精度抠出,将背景替换成可以任意二次加工的绿幕。
对于人物在画面中基本不移动的情况,RVM可以说是表现的非常好,和人工抠图几乎无差别。

对于多人舞蹈视频而言,RVM的表现也很nice。即便动来动去、头发乱甩,也没有影响它的抠图效果。只有在人物出现遮挡的情况下,才会出现瑕疵。对比前辈方法MODNet,确实有不小的进步。
(来源:量子位)
原创文章,作者:整数智能,如若转载,请注明出处:https://www.agent-universe.cn/2021/08/8413.html