adas视觉方案入门教程,从摄像头角度切入很可观-太阳城集团彩票

欢迎来到太阳城集团彩票    [ 请登录 ]  [ 会员注册 ]

返回首页|English|设为首页|加入收藏|

您现在的位置:太阳城集团彩票 - 技术资料
adas视觉方案入门教程,从摄像头角度切入很可观
作者: 佚名 时间:2018-8-1文章来源:访问量:934

是核心传感器,相比毫米波和激光雷达,最大优势在于识别(物体是车还是人、标志牌是什么颜色)。汽车行业价格敏感,摄像头硬件成本相对低廉,因为近几年计算机视觉发展迅速,从摄像头角度切入adas感知的创业公司数量也非常可观。

这些创业公司可以统称为视觉方案提供商。他们掌握核心的视觉传感器算法,向下游客户提供车载摄像头模组,芯片以及软件算法在内的整套方案。前装模式下,视觉方案提供商扮演二级供应商的角色,与tier1配合为oem定义产品。后装模式里,除了提供整套设备,也存在售卖算法的模式。

本文中将对视觉adas功能、硬件需求、评价标准等进行解析,在《【车云报告】adas视觉方案入门盘点(下篇)》内容中将参考mobileye,对国内11家供应商的产品进行详细解读。

视觉adas供应链体系视觉adas供应链体系

一、视觉adas可实现功能

因为安全记录、停车等需要,摄像头在车上的大量应用是行车记录仪、倒车影像等辅助功能。一般通过安装在车身各个位置的广角摄像头采集影像,经过标定和算法处理,生成影像或拼接形成视图补充驾驶员视觉盲区,不用涉及整车控制,因此更加注重视频处理,技术已经成熟并逐渐普及。

目前在行车辅助功能中,摄像头可用来单独实现很多功能,并且按照自动驾驶发展规律逐渐演进。

这些功能更加强调对输入图像的处理,从拍摄的视频流中提取有效目标运动信息做进一步分析,给出预警信息或直接调动控制机构。相比视频输出类功能,强调高速下的实时性,这部分技术正处在发展上升期。

二、视觉adas软硬需求

视觉系adas产品由软硬件组成,主要包括摄像头模组、核心算法芯片以及软件算法。硬件方面考虑行车环境(震动、高低温等),大前提是要符合车规级要求。

(一)车载adas摄像头模组

车载adas摄像头模组需要定制化开发。为了适应车辆全天候全天时的需要,一般要满足在明暗反差过大的场合(进出隧道),很好平衡图像中过亮或太暗部分(宽动态);对光线比较灵敏(高感光),避免给芯片带来太大压力(并不是一昧追逐高像素)。

摄像头模组是基础。好比一张底子不错的照片才有修饰美化的余地,保证拍摄图像够用的基础上,算法才能更好地发挥效力。

另外在参数上,adas与行车记录仪对摄像头的需求不同。用于行车记录仪的摄像头需要看清车头周围尽可能多的环境信息(后视镜位置看向两个前轮,水平视角约要110度)。adas的摄像头更讲究为行车时预留更多判断时间,需要看得更远。类似相机镜头广角和长焦,两项参数不能兼得,adas在硬件选取时只能取其平衡。

(二)核心算法芯片

图像相关算法对计算资源有很高的要求,因此芯片性能讲究。如果在算法上叠加深度学习来帮助识别率提升,对硬件性能的要求只增不减,主要考虑的性能指标是运算速度、功耗、以及成本。

目前用于adas摄像头的芯片多数被国外垄断,主要供应商有瑞萨电子(renesas electronics)、意法半导体(st)、飞思卡尔(free scale)、亚德诺(adi)、德州仪器(ti)、恩智浦(nxp)、富士通(fujitsu)、赛灵思(xilinx)、英伟达(nvidia)等,提供包括arm、dsp、asic、mcu、soc、fpga、gpu等芯片方案 。

arm、dsp、asic、mcu、soc是软件编程的嵌入式方案,fpga因为对硬件直接编程,和嵌入式相比处理速度更快。

gpu和fpga并行处理能力强。图片这样的文本,尤其在使用深度学习算法需要多个像素点同时计算,fpga和gpu会更有优势。两类芯片的设计思路类似,都是为了处理大量简单重复的运算。gpu的性能更强但耗能也更高,fpga因为编程和优化都是直接在硬件层面进行的,能耗会低很多。

因此在平衡算法和处理速度,尤其是用于前装并且算法稳定时,fpga被视为一个热门方案。fpga是个好选择。但同时,fpga对技术要求也很高。原因在于计算机视觉算法是c语言,fpga硬件语言是verilog,两种语言不同,将算法移植到fpga的人既要有软件背景,又要有硬件背景。在人才最贵的今天,是笔不小的成本。

现阶段可用于传统计算机视觉算法的车规级芯片有多种选择,但是适用于传统算法叠加深度学习算法的低功耗高性能芯片,还没有真正出现。

(三)算法

adas视觉算法的源头是计算机视觉。

传统的计算机视觉识别物体大致可以分为图像输入、预处理、特征提取、特征分类、匹配、完成识别几个步骤。

有两处尤其依赖专业经验:第一是特征提取。在识别障碍时可用特征很多,特征设计尤其关键。判断前方障碍物是不是车,参考特征可能是车尾灯,也可能车辆底盘投在地面的阴影等。第二是预处理和后处理,预处理包括对输入图像噪声的平滑、对比度的增强和边缘检测等。后处理是指对分类识别结果候选进行再处理。

科研中的计算机视觉算法模型运用到实际环境中,不一定就能表现得很好。因为科研得出的算法会增加诸如天气、道路复杂情况在内的条件限制,现实世界里除了关注复杂环境的算法表现,还要考虑各种环境下算法的鲁棒性(是否稳定)。

算法上比较重要的一个变化是深度学习的渗透。

深度学习让计算机模拟人类思考的神经网络,可以自己学习判断。通过直接向计算机输入标定后的原始数据,比如挑选一堆异形车图片,然后丢给计算机让它自己学习什么是一辆车。这样就可以免去计算视觉特征提取、预处理等步骤,感知过程可以简化为输入图片-输出结果两步。

业内比较一致的观点认为,在感知方面,深度学习将会弯道超车传统视觉算法。目前深度学习的算法模型已经开源,而且算法种类不多,因此有降低门槛大量优秀结果涌现的可能。但是受限于没有合适的车端平台,离产品化还有一段距离。

业内对深度学习在adas应用的看法都比较客观冷静。不少观点认为深度学习算法是一个黑箱(blackbox)算法,类似人感性决策的过程,可以很快输出一个结果,很难在发生事故后反查原因,因此在使用深度学习时要加入理性决策部分,并且分区块设计。

也有观点认为传统计算机视觉算法比我们想象的“智能”,在不断寻找车辆图片共性和差异的过程中,也能检测出一些异形车辆。并且在叠加深度学习算法后,传统计算机视觉算法也可以帮助减少深度学习神经网络的层数,简化算法。

可以肯定的是,无论哪种算法,数据都是用来训练测试的宝贵资源,而且不是单纯的越多越好,而是越有效越好(符合实际用车环境并保证多样化)。

(四)不同摄像头平台

单目和双目

视觉方案要完成adas任务,一般要实现测距(本车与前方障碍物距离)和识别(障碍物是什么)两项工作。按照车载摄像头模组的不同,目前主流adas摄像头可以分为单目和双目两种技术路线。

单目摄像头的算法思路是先识别后测距:首先通过图像匹配进行识别,然后根据图像大小和高度进一步估算障碍与本车时间。在识别和估算阶段,都需要和建立的样本数据库进行比较。想要识别各种车,就要建立车型数据库,想要识别麋鹿,就要建立麋鹿数据库。

双目摄像头的算法思路是先测距后识别:首先利用视差直接测量物体与车的距离,原理和人眼类似。两只眼睛看同一个物体时,会存在视差,也就是分别闭上左右眼睛看物体时,会发现感官上的位移。这种位移大小可以进一步测量出目标物体的远近。然后在识别阶段,双目仍然要利用单目一样的特征提取和深度学习等算法,进一步识别障碍物到底是什么。

因为视差越远越小的缘故,业内有观点认为,双目在20米内有明显的测距优势,在20米距离外,视差减小测距存在难度,可以用高像素摄像头和更优秀的算法来提升测距性能,该处是难点也是核心竞争力。

双目镜头间距和测距是两个此消彼长的参数,镜头间距越小,检测距离越近,镜头间距越大,检测距离越远。考虑车内美观和adas需要,小尺寸远距离双目产品更受欢迎。

因为增加了一个镜头,带来更多运算量,整个摄像头模组的性能要求和成本都更高了。而且在两者都有的标定工作上,双目要比单目更加复杂。

而且选择双目方案切入市场并不能完全绕开单目方案的难点,在第二个阶段,你依然要需要一个庞大的数据库,依然需要打磨算法。

单双目比较单双目比较

多摄像头方案

除了单双目之外,还有多摄像头组成的平台。有的方案中选用长焦和广角摄像头于adas主摄像头配合,兼顾周围环境与远处物体探测。比如mobileye方案,在下文会介绍。

也有在环视平台上叠加adas功能的情况。例如对于环视做车道偏离预警(ldw),与单目实现该功能比有一定优势。在大雨天气或者前方强光源的情况下,前视摄像头有可能看不清车道线,环视摄像头斜向下看车道线且可以提供多个角度,基本不会受到地面积水反光的影响,功能可以比前视做得更稳定。但同时也要考虑侧向无车灯照射时,摄像头的夜间表现。

这几种方案在技术路线上和单目没有本质差别,更多是基于不同平台,发挥不同类型摄像头模组的优势分配任务,或者提供更多视角来解决一些复杂环境中单目势单力薄的情况。

资讯关键词】:    【打印】【关闭】【返回顶部

  • 资讯
  • 政策
  • 市场
  • 技术

资讯投稿

邮箱:791495700@qq.com

电话:0571-28331524

版权所有:太阳城集团彩票|太阳城娱乐手机版传媒研究中心

地址:杭州市滨江区西浦路1503号滨科大厦11楼(杭二中斜对面) 浙B2-20080178-6

联系电话:0571-87774297 传真:0571-28290892 Email:donemi@163.com 技术支持:杭州滨兴科技股份有限公司