3D点云标注有哪些好用的开源工具

“

在人工智能自动驾驶领域中，准确的环境感知和精确的定位是自动驾驶汽车在复杂动态环境中能够进行可靠导航，信息决策以及安全驾驶的关键。虽然现代相机可以捕捉到非常详细的真实世界特征，但是可以提供给自动驾驶汽车神经网络的信息有限。与此同时，相机在使用过程中存在诸多限制，例如在天气情况不佳时，雨水或雾气降低了能见度，使相机能捕捉到的信息密度和质量大打折扣；又比如在光线不足的夜晚或隧道内，相机接收到的光线有限，影响了道路信息的捕捉。

正因相机的这些缺点，通过激光雷达来增强感知能力的方式得到了关注。激光雷达最初被安装在飞机上用于扫描飞机飞过的地形，它发射的光脉冲以光速传播，光脉冲打到物体表面反射后被激光雷达接收，通过记录光脉冲射到目标的时间从而测出距离等测量值，这些测量值被聚合成点云，它本质上是一组坐标，代表系统已经感应到的物体。

经过几代技术的迭代，3D点云采集技术的发展，如今激光雷达的采集性能得到了极大的提高，3D点云数据可以提供比以前更细致的信息，并且它的价格越来越实惠。与此同时，越来越多的公开点云数据集的发布进一步推动了深度学习在3D点云上的研究，深度学习技术的发展使其处理3D点云数据的效果越来越好。近年来，自动驾驶领域对激光雷达感知技术的要求越来越高，因此对3D点云数据的标注需求自然也随之扩大。

3D点云标注开源工具推荐

Semantic Segmentation Editor

简介

该工具是一个使用React、Paper.js和three.js开发的Meteor应用程序，是用于创建AI训练数据集（2D和3D）的基于Web的标注工具。它是在自动驾驶研究的背景下开发，支持对2D图像数据（.jpg或.png）和3D点云数据（.pcd）进行语义分割标注。

该工具的PCD（Point Cloud Data）支持以ASCII、二进制和二进制压缩格式输入，支持的输入字段有x、y、z、label（可选）、RGB（可选），输出的PCD格式为ASCII，字段为x、y、z、label、object和RGB。

工具演示

GitHub地址

https://github.com/Hitachi-Automotive-And-Industry-Lab/semantic-segmentation-editor

安装要求

OSX / Linux / Windows
需安装Meteor

亮点/优势

2D语义分割：有多种工具可用于创建标注多边形，包含了多边形绘图工具、魔法工具（使用对比度阈值检测自动创建多边形）、操作工具、切割/扩张工具、连续多边形工具
3D语义分割：距离衰减功能可使点云随距离增加而缩小大小，任务中可调整点云大小使目标点云分布更清晰，可先分割出注意区域再在注意区域中进行语义分割，完成语义分割后可一键生成目标物体的Bounding Box

不足

2D与3D互相分离，不能做到2/3D融合标注
该平台通过绘制分割区域来进行语义分割，这样的方式容易选中非目标区域的点云，此时就需要对其进行修正

Point Cloud Annotation Tool

简介

用户为每个目标类别提供了一个种子，随后为网络预测的分割提供修正笔画。与手工方法相比，该工具能够以更少的点击次数实现目标标注。工具使用了PointNet网络在ShapeNet数据集上训练，ShapeNet数据集中的主要类别是室内物体，所以当工具用来标注自动驾驶场景时，其自动标注的效果会差一些。但是该工具通过点击的方式进行语义分割，对于工具的开发是一个很好的启发。

工具演示

GitHub地址

https://github.com/siddhantjain/PointCloudAnnotationTool

安装要求

Windows
创建虚拟环境并在其上安装Tensorflow
安装PCL和OpenCV

亮点优势

仅以点击的方式就能实现目标物体的语义分割
工具中的神经网络算法能够根据用户的点击位置分析出附近的点云是否属于同一类标签

不足

没有完整的UI界面，很多操作通过命令行来进行
无法直接运用到自动驾驶场景

SAnE

简介

SAnE是一款基于Latte的对用户更加友好的标注工具。与Latte相比，SAnE可以获得一个更具有竞争力的结果，平均IoU为84.27%，召回率为86.42%。而在众包环境下进行测试时，SAnE的IoU和召回率分别为79.36%和80.64%。

工具演示

GitHub地址

https://github.com/hasanari/sane

安装要求

安装虚拟环境及依赖项，依赖项在github地址requirements.txt文件中
下载预训练的去噪权重
（可选）下载基于PointCNN的智能模块

亮点/优势

去噪点式分割，这是一种新颖的几乎无噪音的语义分割策略，能够实现强大的一键式标注技术
引导式跟踪，基于一个运动模型，通过所有的帧提供基线跟踪，并使用启发式方法（贪婪搜索和回溯算法）进行改进。对于人类标注者来说，只需要最小的调整来追踪连续的点云场景
改进的标注流程，通过基于人工智能的功能（一键式标注、引导式追踪和全自动边界框建议）和基于用户界面（UI）的改进（如只用键盘注释、多用户环境、用户调整参数和三维边框估计）来加强标注

不足