上海交通大学直博生王光明：自动驾驶中的3D点云场景流和激光雷达点云里程计

　　 「自动驾驶新青年讲座」由智东西公开课全新企划，将邀请全球知名高校、顶尖研究机构以及优秀企业的新青年，主讲在环境感知、精准定位、决策规划、控制执行等自动驾驶关键技术上的最新研究成果和开发实践。

　　有兴趣分享的朋友，可以与智东西公开课教研团队进行邮件（class@zhidx.com）联系。

　　自动驾驶和机器人中的许多应用都可以从理解动态环境中点的三维运动中获益，这种运动被广泛称为场景流。场景流表示动态环境中每个点的 3D 运动。以往的方法大多以立体图像和RGB-D图像作为输入，很少有直接从点云估计场景流的方法。

　　来自上海交通大学的在读博士王光明等人在研究了来自两个连续 3D 点云的场景流估计问题后，提出了一种新颖的具有双重注意力的分层神经网络HALFlow ，用于学习相邻帧中点特征的相关性，并逐层细化场景流。实验表明，HALFlow 在 FlyingThings3D 和 KITTI Scene Flow 2015 数据集上优于 3D 场景流估计的最新性能。

　　而为了解决场景流估计中的前后估计不一致问题，王博等人基于流嵌入技术，并调查和比较了 3D 场景流网络关键组件中的几个设计选择，包括点相似度计算、预测器的输入元素以及预测器和细化级别设计。在仔细选择最有效的设计之后，他们提出了一种新颖的带有反向验证的all-to-all的3D场景流学习方法3DFlow。3DFlow在 FlyingThings3D 数据集上超过所有现有方法至少 38.2%，在 EPE3D 度量的 KITTI 场景流数据集上超过 24.7%。

　　同时，他们还将提出的网络应用于自动驾驶激光雷达里程计中，提出了一种基于3D点云输入的激光雷达里程计网络，名为 PWCLO-Net。该里程计的卓越性能和有效性在 KITTI 里程计数据集上也得到了证明。在大多数 KITTI 里程计数据集上，PWCLO-Net优于所有最近的基于学习的方法，并且优于基于几何的方法、具有映射优化的 LOAM。

　　8月15日晚6点，「自动驾驶新青年讲座」第6讲，上海交通大学直博生王光明将主讲《自动驾驶中的3D点云场景流和激光雷达点云里程计》

　　讲者

　　王光明，上海交通大学直博生；目前在苏黎世联邦理工学院（ETH）访问交流。上海交通大学国家奖学金获得者，在CVPR、ECCV、ICRA、TIP、T-ITS等期刊和会议上发表多篇论文；主要围绕自动驾驶场景下的感知与定位问题进行研究，包括深度估计、光流估计、3D点云场景流估计、3D点云语义分割、视觉和激光雷达里程计等。

　　第6讲

　　主 题

　　《自动驾驶中的3D点云场景流和激光雷达点云里程计》

　　提 纲

　　1、基于双注意力的3D点云场景流学习

　　2、3D点云场景流和激光雷达点云里程计的关系

　　3、基于3D点云输入的激光雷达里程计网络

　　4、带有反向验证的all-to-all的3D场景流学习

　　直 播 信 息

　　直播时间：8月15日18:00

　　直播地点：智东西公开课知识店铺

　　成果

　　HALFlow/PWCLONet/3DFlow

　　《Hierarchical Attention Learning of Scene Flow in 3D Point Clouds》

　　《PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization》

　　《What Matters for 3D Scene Flow Network》

　　论文地址

　　https://ieeexplore.ieee.org/abstract/document/9435105

　　https://openaccess.thecvf.com/content/CVPR2021/html/Wang_PWCLO-Net_Deep_LiDAR_Odometry_in_3D_Point_Clouds_Using_Hierarchical_CVPR_2021_paper.html

　　https://arxiv.org/abs/2207.09143

　　开源地址

　　https://github.com/IRMVLab/HALFlow

　　https://github.com/IRMVLab/PWCLONet

　　https://github.com/IRMVLab/3DFlow