铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批

铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


MOLAR FRESH   2022年01期

人工智能新鲜趣闻    每周一更新


01

铲屎官依靠姿势监测模型设计狗粑粑探测器

想象你拥有一个宽阔的后院,还有一只可爱的狗子~

你的狗子,每天都在院子里玩耍,随机产出一些粑粑……

你的后院,夏天小草野蛮生长,冬天积雪厚厚覆盖……

作为一名优秀的铲屎官,如何才能快速找到并处理掉这些粑粑,同时在铲屎过程中避免自己踩中呢?


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


有一位外国小哥灵机一动,运用一个摄像头外加一个姿势检测模型制作出了智能狗粑粑探测器,完美解决了上述的铲屎难题。

模型一旦识别出小狗正在拉粑粑的姿势,就会在你家院子的地图上标记相关位置,呈现一个红圈儿。

铲屎官照着这个地图就可以“寻宝”去了~


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


据小哥描述,他先在网上搜索了很多“开箱即用”的图像识别模型,最终发现了一个叫做DeepLabCut的免费的动物姿态追踪工具。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


该工具由瑞士洛桑联邦理工学院的两名研究人员开发,可以将任何包含动作的视频转换成动捕信息。

上手很简单,除了终端、Colab、Jupyter Notebooks,还提供图形操作界面。只需你花几个小时标记要跟踪的样本,剩下的都可以交给工具本身。

小哥心想,与其识别粑粑,不如通过观察狗子的行为来定位粑粑的位置。

于是他拍了很多自家狗子正在拉粑粑的照片。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


通过观察发现,如厕的狗子会保持一个脊柱弓起、尾巴坚挺的姿势。需要标记的关键点一共就有6个。

全部标记好后,用DeepLabCut进行训练,然后接入监控信息就可以使用了。

为了让结果更准确,防止某些动作干扰,小哥还写了一个“投票机制”——对影像中狗子的每个动作进行系统评分,得分超过75%,才判定小狗正在便便中,然后记录此时的位置。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


小哥表示,这个功能表现得非常优秀,判断很准确——即使在深夜、小狗部分身子都不在监控范围内都能准确检测。

精益求精,小哥自述他还请了一位动物cosplayer来扮演狗子试探这个探测器。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


结果很满意,模型不会识别出假扮狗子如厕的人类。

未来的话,他还打算继续完善其中的逻辑,将检测目标扩展到更多种类的狗子身上,并把图像处理迁移到云端实现自动化。

这样大家就都能拥有同款“狗粑粑探测器”了~


来源:量子位

参考链接:

[1]https://www.youtube.com/watch?v=uWZu3rnj-kQ

[2]https://www.reddit.com/r/MachineLearning/comments/s4c6ob/p_built_a_dog_poop_detector_for_my_backyard/


02

研发急得都“爬树”,这个“书生”真会“找茬”

2021年11月,上海人工智能实验室联合商汤科技、香港中文大学、上海交通大学,共同发布新一代通用视觉技术体系“书生”(INTERN),该体系旨在系统化解决当下人工智能视觉领域中存在的任务通用、场景泛化和数据效率等一系列瓶颈问题。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


这个“书生”的厉害之处就在于它能够持续学习,举一反三。

它在训练阶段被“喂下”大量数据成为通才,只需要看到少量样本,就具备了举一反三的能力。

例如,让“书生”识别花的种类,每一类只需要提供2个训练样本,它的识别准确率高达99.7%。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


其花卉数据集由102种英国常见的花组成,每个类别有40至258张图片。其中包含有很大的比例、姿势和光线变化。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


要问这样的模型好不好做?

研发急得都直上树!

为了测试模型在zero-shot下的精度如何,“书生”研发团队的模型科学家都亲自上演了“爬树”特别节目。通过创造特殊场景,以随机生成图片,去考验模型能力。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


“书生”看到后,歪嘴一笑。

这不就是“爬树”嘛,置信度0.96给你。

铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批

“书生”不仅有触类旁通的能力,而且在自动驾驶、智慧城市、智慧医疗等场景均已经实现了落地应用。

此外,智慧制造、智慧医疗等应用中还会存在很多类似的长尾场景。通用视觉“书生”的推出能够让业界以更低的成本获得拥有处理多种下游任务能力的AI模型,并以其强大的泛化能力支撑实际场景中大量小数据、零数据等样本缺失的细分和长尾场景需求。

前途无量呐~


来源:新智元

论文地址:

https://arxiv.org/abs/2111.08687

参考链接:

https://mp.weixin.qq.com/s/dS_eklfseJ8BVdqNR-r30


03

英伟达5秒训练NeRF模型,谷歌研究员惊呆了

“这太疯狂了!”

“18个月前,训练NeRF需要5小时…”

“2个月前,训练NeRF需要5分钟!”

“现在,训练NeRF需要5秒!!??”

究竟发生了什么?竟让谷歌研究科学家惊叹至此。

此前,风靡的NeRF模型是由伯克利&谷歌联合打造,以少数静态图生成3D逼真效果。

如今,来自于英伟达的最新技术——基于多分辨率哈希编码的即时神经图形基元,使得一只狐狸的NeRF模型只需要训练5秒钟!


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


而且不光训练NeRF,该技术还在其他任务上也达到了惊人的训练速度:实现了几个数量级的组合加速,能够在几秒钟内训练高质量的神经图形基元,并在几十毫秒内渲染分辨率1920×1080的图形。


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批

除了NeRF之外,还有三个神经图形基元的实现。

Gigapixel Image

铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


作者还友情提示,网络是从头开始训练的,如果眨眼的话,可能会错过它。

Signed Distance Function


铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


Neural Radiance Cache

铲屎官设计狗粑粑探测器;这个“书生”真会“找茬”;英伟达5秒训练NeRF模型惊呆谷歌研究员;Meta电子仿生眼专利获批


每种情况都是用tiny-cuda-nn框架训练和渲染的,其实验是在RTX 3090测试的。

以全连接网络为参数的神经图形基元,训练和评估成本较高。于是他们使用了一种多功能的新输入编码来降低成本。这种编码允许在不牺牲质量的情况下使用更小的网络,从而大大减少浮点数和内存访问数量。


来源:量子位

GitHub链接:

https://github.com/NVlabs/instant-ngp

论文链接:

https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf

项目链接:

https://nvlabs.github.io/instant-ngp/

参考链接:

https://twitter.com/ak92501/status/1481818982005063681


04

电子仿生眼专利获批,Meta元宇宙大业已集齐视听触三大感官体验

Meta(原名Facebook)正致力于将尽可能多的用户从现实世界中转移出来,并将他们转投于充满化身的

原创文章,作者:整数智能,如若转载,请注明出处:https://www.agent-universe.cn/2022/01/8395.html

Like (0)
Previous 2022-01-17 17:05
Next 2022-02-14

相关推荐