星行科技周光:用多传感器融合技术 打造有中国特色的无人驾驶解决方案
“GIV全球智能汽车前沿峰会”于6月20-21日在深圳隆重举行,本次大会由中国电动汽车百人会主办。大会邀请了行业内专家讨论智能汽车的发展进程与发展路线,研究当前智能汽车核心技术进展与未来发展,并就智能汽车中的5G通信技术与智能汽车测试技术与测试方法、智能汽车的法律法规与标准等核心问题展开研讨。
6月21日以“智能汽车前沿技术 ”为主题的前沿技术与领袖峰会( I) 召开。此会议主要内容包括:智能汽车在环境感知、算法、决策等方面的领先技术;雷达等先进部件;关键芯片技术;智能汽车相关信息安全技术;光学技术及应用;智能驾驶操作系统;先进仿真技术;驾驶行为与心理学研究。
星行科技联合创始人、首席科学家周光出席会议并作主旨演讲。
以下为发言实录:
大家早上好!今天给大家带来的主题是“用多传感器融合技术,打造有中国特色的无人驾驶解决方案”,我是星行科技的联合创始人及首席科学家,我之前是在百度美国团队负责传感器标定、时间同步和感知深度学习算法,之前我们是大疆全球开发者大赛的冠军。
首先跟大家讲一讲无人驾驶到今天分为两个不同的派系,第一种是以科技公司为主导的无人驾驶,以及第二种以OEM以及车厂为主导的无人驾驶,两种不同的公司有着不同的技术路线,车厂出于成本的考虑,还是主导以摄像头等的L3技术,代表的厂商有丰田、日产、戴姆勒,另一套是科技公司的,最早L4的无人驾驶公司来自于美国,Google吸收了斯坦福的开发团队,之后5年时间内,,在2014年的时候百度、优步等公司开始在无人驾驶上进行研发,之后出现了更多的参与者,到2017年、2016年底的时候滴滴、腾讯等国内公司已经开始进入无人驾驶领域。这是目前中美的无人驾驶运营的状态,美国有Uber,日本有SB Drive,这是我们的合作伙伴。
这是我们发布的一个平台,这个是全国产的传感器,整个传感器会通过我们的平台做数据的预处理,由一根总线输出到无人驾驶的电脑里面,电脑会对整个系统做感知和决策的处理,最终实现无人驾驶控制。
这是目前的两代系统,左边的是第一代系统,以百度为方案,采用高线束的64线,价格非常昂贵,另一个是目前主流的方案,这个方案有一个非常明显的优势,就是一个传感器的冗余性,传感器同时损坏的概率相当低。
之前那套方案有天然的优势,对接固态激光雷达,固态激光雷达由于每个盒子非常狭窄,要实现无人驾驶必须实现多个固态激光雷达的连接,单一的技术并不能连接到激光雷达的这个方案里。
这是Roadstar的两个技术,这个技术包括了Heterosyne技术,是基于之前在百度的经验以及创业的尝试做出来的,这包含了在时间、空间上对LiDAR,对毫米波雷达实现像素级的精度,以及针对这个数据集开发的算法。
这是无人驾驶,除了这两个蓝色的部分,其他的模块我相信90%的公司都会拥有,整体来说包含了传感器模块、感知模块、定位以及决策模块。感知模块包含了红绿灯、物体识别以及行为预测,在定位地图方面也需要定位技术。Roadstar有一个时空的同步,在目前所有的创业公司中,我们是唯一一家采用这套方案的,这套方案可以极大提高感知的精度。
这是一个环视系统,这套系统也是谷歌采用的一套方案,上面的彩色点是激光雷达投影到摄像头中的实时数据,一共有5颗激光雷达投射到里面,这不是单颗激光雷达可以达到的效果,所有的激光点都是像素级的,即使是在高速运动下也能达到。这套系统最好的特征就是可以提高10个点以上的感知精度。我们的感知在业界也是第一,单一传感器能接近90%,融合以后能够达到接近99%的检测精度。
之后跟大家放一段我们全感知的视频,可以看到在整个场景中是没有任何物体丢失。
这里给大家介绍一下无人驾驶的感知技术,目前以百度为代表的公司采用的这个方案,单独的传感器做单独的事,激光雷达进行物体识别,比如人、车的识别,摄像头进行红绿灯识别,毫米波雷达进行停车识别,会做一些算法,这套算法第一次单独做感知没有信息的流失,是最优的方案。
神经网络的架构大概是这样的,可以看到,通过神经网络进行物体识别等。
这是一个像素级别的分割,比如车道线识别,相信很多做ADAS的会强调这块。
这个是我们KITTI,我们是是业界第一,而且在我们之上有两家算法,是非实时的算法,大概在最顶级的电脑上耗时2秒,我们是30毫秒,而且区分度大概在万分之三的精度,我们是唯一一家能实时在车上跑而且达到这样的结果,这只是单一传感器的结果,在内部我们接近了99%的精度。
这是刚才我们强调的感知系统。可以看到这是对物体的识别,在左上角有物体的ID,同一个物体会有同一个ID,右下角是车速,这个车是50公里/小时,旁边的车也是50公里/小时。这套感知系统已经做到了在80米以内的物体识别,整个视频大概有3倍的加速,有了物体的三维空间识别才能做到决策以及完美控制。可以看到这段路的交通场景非常复杂,有特别多的车、人,甚至有逆行的场景。
刚才讲了这么多多传感器的融合。在低维空间里线性不可切,在高维空间是线性可切的。可以看到高维空间的投影是用简单的平面切割的,这和传统的所谓的PCA不太一样,因为PCA对应的是10年、20年、50年计算机的性能以及算法在没有足够好的情况之下用这套方案。这是大家都非常直观的可以看到,右边是能区分开的。
这是我们基于开发的一个定位算法,我相信多数的公司会采用右边这套算法,我们公司采用的是纯三维的地图,可以看到左边的这个地图场景是三维的,树、房屋是三维的数据,包含了基于摄像头的图片数据,右边的数据是平面的数据,平面的数据有一个缺点,首先说没法解决多层停车场的定位,没法解决一些场景的定位。
这是我们定位能力的一个展示,这是一个多层的停车场,通过右上角的摄像头可以看到,这是一个绝对的室内,车辆在里面能够实现厘米级的定位,绿色的是车辆实时感知到的点,蓝色的背景是地图的解读。大家可以看到这是网点拼接的,我们去年就已经在停车场以及隧道等类似的场景中实现。
这是我们的Roadmap,我们公司成立在2017年5月,在9月份就实现了在硅谷的商用,到11月份在硅谷就已经达到了数亿小时的无人工接管,到今天3月份我们实现了在深圳的一个无人驾驶以及在硅谷数天的接管,我们MPI的数据大概是1000公里左右实现无人接管,在国内深圳也能实现数百公里的无人接管。
这是我们的运营计划,首先2018年实现50辆车的小型车队,采集一些数据,完善我们的算法,在2019年,会发力平台系统,比如调度系统,到2022年或者2021年,技术逐渐成熟,成本开始下降,支撑我们批量的在城市里面推广这个车,实现运营。
这个是丰田的一个无人驾驶模块,在2020年的时候丰田想用全固态激光雷达整合车体,这是在今年年初的CES上展出的,跟我们的想法非常相似,我们首先实现目前车辆的无人驾驶,到2025年实现移动空间的概念。右边这个是所有的互联网公司以及科技巨头、车厂的最终目的,控制移动空间、控制用户的接口,好比今天控制安卓手机与苹果手机,谁能控制这套系统谁就有话语权,谁能够实现,谁就能控制下一个比手机更大的设备。
这个是目前无人驾驶经历的几个阶段,最早的阶段是2007年—2015年,所有公司都是这个方案,目前国内多数公司也是采用这个方案。2016年—2019年,是跟我们公司非常像的。2020年—2024年采用的是整合成车身,之后是移动空间,这是我们总结出来的四个阶段,也是得到了丰田及美国一些巨头的承认。
我们2017年完成了天使轮融资,包括云启资本、松禾资本在内等实现了1000万的天使轮融资,我们最近完成的是A轮融资。
最后大家看一下我们的路测情况,这是一个10公里左右的测试路端,刚开始有一个车想调头,我们的车对其进行了识别,并实施了避让。右下角这个显示屏是摄像头实时的数据,这是车辆的实时感知。我们相信是最原始的素材才能真实反映问题,而不是后期经过处理的数据。这段路有45公里/小时的限速,我们的车在路上能进行换道以及一些避让。对于突然插入的情况,可以做到识别并实施刹车。
我今天就讲到这里。
(能见App根据速记整理,未经发言嘉宾审核)