9月24日,由新浪汽车、牛车网、汽车智能、汽车观察杂志联合主办的第七期轮语汇自沙龙、牛车网第四期汽车智能沙龙——“无人驾驶,未来何时到来”在清华大学旧经管报告厅举办。国内学术前沿专家、自动驾驶领域创业者、知名投资人和权威分析师就“无人驾驶,未来何时到来”进行了精彩的介绍和讨论。其中双髻鲨联合创始人/CTO伍宽发表了题为“双髻鲨的双目ADAS之路”的主题演讲,详尽介绍了双目技术的定义和特点,在场观众对于双目技术有了更加深刻的理解。
双髻鲨联合创始人/CTO伍宽
以下为现场演讲内容实录:
我们公司叫“双髻鲨”,双髻鲨的特点是头特别宽,眼睛长在两端,它会形成特有的立体视觉和
360
度环视,这与我们公司在汽车领域做的技术非常类似,所以我们公司以及产品和技术的名字都命名为“双髻鲨”。
这是我们的三个创始人,跟
其他
兄弟公司不太一样的是,我们三个创始人基本在图像领域都没有背景,创立公司以后才开始涉足这个领域。按照邓教授刚才讲座中的分类,我们做的产品是完完全全的L0级,毫无干预的ADAS辅助驾驶系统。
一、双目算法和效果
先给大家介绍一下双目算法的基本情况,假如前面有两个车,我有两个摄像机,那么我会从两个图像中同时看到场景,远处的车在图像中距离相对近一些,而近处的车在两个图像中的成像距离远一些,就可以区分它们两个与你的距离是多少。这就是双目最基本的原理。
得益于九十年代一些论文的推动,现在有非常量化而且并不复杂的算法,也就是说我们完全可以摄像机安装不是特别平,经过简单的操作以后可以得到非常平整的图 像,并且通过两个物体在成像中的距离,推算出它和你的真实距离。所以双目在原理上非常的清晰简单,而且是工作比较可靠的一个技术。
最早将双目用在汽车领域的是
斯巴鲁
,在1999年推出它的第一代产品,现在已经到了第三代产品,2014年它的ADAS系统拿到了当年世界第一的排名。据我们所知,现在博世也提供了双目方案,宝马、奔驰等很多高端车上也配置了双目的技术。
我们看一下大概的效果,这是我们产品所做出来的一个实际效果,我们划出梯形车子即将通过的区域,把障碍物标在这里,这是进行
SUV
、面包车、公交车的实际测量。
我们再提高点难度,第一个是比较脏的货车,因为它是敞棚的,这两种车在图像识别、视觉识别是比较大的压力。然后这是三轮车,这是中国的特色。右边是个电动车。
我们再提高一下难度,这里是多个行人,行人的小孩还骑了一个滑板车,第二个是护栏,第三个是不规则的障碍,第四个图是绿化带。
我们再把难度提高一点,第一个是北京非常有特色的雾霾的时候,它跟大雾还是不一样的,第二个是大雨的状态,第三个是没有路灯时候前面还有一个三轮车,第四个图片是在比较逆光的情况下。
可 以看出来,双目的技术很有特点,很多场景看起来非常完美,障碍能够认出来,把精确的距离也能标出来,用于ADAS领域非常理想。如果再配合产品的优秀外 观,外观非常重视用户的观感接受度,因为国内而言大家对汽车内室要求很高,像Mobileye大黑盒子太丑了,配不上宝马,就不装了,所以颜值上我们非常 重视。一个非常稳定可靠的效果,加上产品的价格,再加上外观还不错,在市场上的前景一定非常美好。
二、双目ADAS的挑战
大 部分做ADAS的摄像头底下都完全包起来,一直延伸到挡风玻璃,是为了回避掉从中控台或者别的地方引过来的反光,做ADAS都把摄像头包得严严实实,因为 它容易受到干扰。北京车反光特点跟深圳车反光特点还不一样,因为深圳太
阳光
大,颜色贴膜会比较深,反光会更加强烈。另外,车子越高档反光越厉害,因为车子 越高档的话挡风玻璃越斜,角度就会越大,完全把东西反射到跟司机视线平行。
这是个逆光场景,它除了带来更强烈的反光,还会把你本来能够识别出来的车、车牌子,变成了车子背面是黑乎乎的一片,这也是摄像头非常大的缺点。虽然摄像头技术发展很多,但是目前达到人眼的动态范围还完全不可能。很多公司会用宽动态,但是面对太阳直射仍然是无能为力。
这是另外一个情况,左边的摄像头还可以,但是大家看这些白花花是什么东西?因为这个车不是无骨雨刷,刮不干净,虫子或者树胶用雨刷一刮就就出现了这些东西,影响到双目的信息采集。
这是大雨的情况,因为雨点打在挡风玻璃上的时候,飞溅出来的水滴是不规则的,根本无法保证左摄像头和右摄像头看到是同一个东西,这里再次推荐大家一定要用无骨雨刷。同样的雾霾情况下摄像头也非常难工作。。
刚才我们看到很多实例,在图像完好、天气完好情况下摄像头和双目能够工作很不错,但是在实际应用过程中会遭遇各种各样的挑战,为了克服这些问题我们付出了极大的努力。
三、双目技术特点
双目这么有特点的一个东西,但是在日常生活中接触到得却非常少。我觉得大家可以从这个角度想一想,为什么一个看上去很好的东西没有被普遍应用?
微 软的Kinect原理就是利用双目,只不过一个是发射,一个是接收,基于Kinect有很多应用,比如体感等。但是自从微软有了二代以后就不开放一代的 SDK了,导致近年来基于Kinect做开发的越来越少。很遗憾,左边是一代,右边是二代,效果差别很大。一代是用双目原理做的,二代是用激光做的,这个 问题让我作为双目的人来说感觉很尴尬,因为其中有双目可能会被激光所取代的感觉。
大 家可以仔细看看一代和二代的区别,左边图像右侧有很重的黑影,为什么?因为双目两个摄像头,一个物体在它跟前时,左摄像头看到的东西有可能在右摄像头看不 见,比如这支笔放在这里,左眼能够看到它的左边,右眼能够看到它的右边,右眼看不到它的左边。如果一个物体不能同时在右图和左图找到的话,双目测距是不成 立的。但是对于激光而言,就不存在这个缺陷。
随 着技术的发展,用双目形成一个从远到近的图,这个图看起来非常好,从近到远很连续。但是左图中这个杆只有很细,在右边却这么大。用双目检测肯定会出现这样 的黑影,黑影露在那不好看,有一些算法会做补偿,把黑的地方给填上,比如用周边的东西做填充,这种类似的算法严格来说是一种作弊,因为实际上它是没有任何 道理的。
这是汽车ADAS领域用双目做出来的效果,如果把真的实际图片拿过来的话看上去没有这么好看,然后通过一些算法把它补偿上去后大家感觉会好一点。
双目是非常有特点的技术,它的优点和缺点非常明显,从优点上来说,第一、双目是比较便宜的技术,只比单目多了一个摄像头,摄像头目前也比较简单和便宜,双摄 像头拍照发展起来以后,硬件接入双摄像头会越来越方便。第二,它的分辨率越来越高,激光是64线,雷达就更少了,只有发射和接收的维度,摄像头就不一样, 至少可以比较好的勾勒出一个图形的轮廓。第三,易于部署,双目毕竟是摄像机设备固定在车上就可以了,不像雷达或者激光必须固定在车外,它固定在车内虽然会 有挡风玻璃造成的干扰,但是它毕竟可以固定在车内。
以分辨率上来说,有车厂跟我研讨过一个问题:“为什么给车厂送测的毫米光雷达,如果前面的车子是运动的,它就能够很好的跟踪;如果车子停在路上不动就会撞上 去?”这个现象跟分辨率有关系,雷达发射一个波再回来,并不能很好的区分是路面还是汽车,路面和车都有回波,我的车比如是50公里,我检测到很多东西跟我 的相对速度是50公里,我就认为它是个固定的东西,如果我检测出是20公里的东西,那么它肯定在动,根据这样的逻辑来判断是路面还是车。
特斯拉
撞道路清扫 车,或者撞了停在路上的桑塔纳,很可能跟这个有关系。
总结一下双目的缺陷,第一,它易受干扰,第二,它远距离精确度非常低,第三,理论尚不完善,没有解决受到遮挡等问题。对于毫米波,因为毫米波雷达对金属体检 测比较多,一个人站在前面,毫米波雷达检测不到,这时候可以用双目的优势把人检测出来,并且摄像头的角度非常大,我们用的摄像头都是60度或者是90度 的,可以看到车子侧面的情况。对于单目的摄像头而言,单摄像头识别物体以后,双目可以帮助确定距离。一般识别技术都需要资料库里面有图像本身作为训练,为 什么很多产品不能在中国运用?因为中国路上稀奇古怪的东西太多了,对于这些稀奇古怪不能被识别的东西,双目能够很好的把它补充进来。
在自动驾驶领域很多公司做了积极的尝试,优点、缺点目前比较清楚,我觉得双目在里面形成一个很好的补充,说不定是一个能够从成本上、开发难度上、性能上把大家短板补充的一个好选择。
责任编辑:范赫
第一场分论坛的主题是“自动驾驶技术从实验室走向产品化的可行性和必要性”,参与讨论的嘉宾为清华大学计算机系教授,博士生导师邓志东、图森互联联合创始人郝佳男、MINIEYE联合创始人王启程、北汽产投总监贾广宏。
新浪简介
|
About Sina
|
广告服务
|
联系我们
|
招聘信息
|
网站律师
|
SINA English
|
通行证注册
|
产品答疑