谷歌AI推TensorFlow 3D，智能汽车好用

进一步提高对3D场景的建模，简化研究人员的工作，Google AI发布了TensorFlow 3D (TF 3D) ，一个高度模块化、高效的库，旨在将3D深度学习能力引入TensorFlow.

TF 3D提供了一系列当下常用的操作、损失函数、数据处理工具、模型和度量，使更多的研究团队能够开发、培训和部署最先进的3D场景理解模型。

TF 3D包含用于最先进的3D语义分割、3D目标检测和3D实例分割的培训和评估任务，还支持分布式训练。

另外，TF 3D还支持其他潜在的应用，如三维物体形状预测、点云配准和点云增密。此外，它提供了一个统一的数据集规范和训练、评价标准三维场景理解数据集的配置。

目前，TF 3D支持Waymo Open、 ScanNet和Rio数据集。

然而，用户可以自由地将其他流行的数据集，如NuScenes和Kitti，转换成类似的格式，并将其用于已有或自定义的pipeline模型中，还可以利用TF 3D进行各种3D深度学习研究和应用，从快速原型设计到部署实时推理系统。

边显示的是TF 3D中3D物体检测模型在Waymo Open Dataset的一帧画面上的输出示例。右边是ScanNet数据集上3D实例分割模型的输出示例。

在这里，我们将介绍在TF 3D中提供的高效且可配置的稀疏卷积骨干，这是在各种3D场景理解任务中获得最先进结果的关键。

此外，我们将逐一介绍TF 3D目前支持的3个流水线任务: 3D语义分割、3D目标检测分割和3D实例分割。

3D稀疏卷积网络

传感器采集到的3D数据通常包含一个场景，该场景包含一组感兴趣的物体（如汽车、行人等），其周围大多是开放空间。所以，3D数据本质上是稀疏的。

在这样的环境中，卷积的标准实现将需要大量的计算、消耗大量的内存。因此，在TF 3D 中，我们采用了流形稀疏卷积（submanifold sparse convolution）和池操作，这些操作可以更有效地处理3D稀疏数据。

稀疏卷积模型是大多数户外自动驾驶(如Waymo，NuScenes)和室内基准测试(如 ScanNet)中应用的sota方法的关键。

（编辑：应用网_丽江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!