IT技术互动交流平台

基于FPGA的高动态范围图像信号处理

来源:IT165收集  发布日期:2011-11-30 17:44:20

视频图像信号处理(ISP)从模拟信号时代发展而来,已经经历了很长一段时期。今天,数字信号处理实现了可以在位级进行图像数据处理,为图像质量提供了前所未有的控制。数字信号处理显然不等同于数字信号处理器或DSP.虽然DSP已经被广泛用于视频图像信号处理的数字领域,ISP可以由各种处理器件实现,如DSP、ASIC、ASSP和越来越多的现场可编程门阵列,即FPGA.

为什么使用FPGA?

有几个原因推动了FPGA的日益普及。这些原因中的两个反映了安防摄像机的最新趋势,大大增加了需要处理的图像数据量,第三个是经济方面原因,即摄像机元器件材料成本(BOM)。

安防摄像机的趋势:有两个主要趋势正在改变安防摄像机的结构设计方法:
1.百万像素传感器的问世
2.对高(或宽)动态范围(HDR/WDR)的需要

百万像素传感器

曾经有一段时间,VGA分辨率传感器对于安防目的的摄像机来说已经足够了,当时通常由操作人员来监查或者仅是存档以备日后查看。然而,随着安防摄像头在全球范围内使用的数量急剧增加,没有足够的操作人员来监查,所以安防产业已经开始依靠软件来分析视频,用以监控是否在“关注的区域”有任何异常发生,无论是实时的或留作日后分析。复杂的视频分析(VA)算法已发展到可以将异常情况从正常情况中分辨出来;然而,为了更加切实有效,这些算法需要比VGA分辨率的摄像机所能提供的更多的细节信息。

摄像机需要更高的分辨率使得VA能够识别出有限和/或大面积区域内的一般活动,例如:一个停车场。一个摄像机需要约30像素/输入用于车牌识别,以及约150像素/输入用于查看更细节的活动,如确定收银机交易。一百万像素涵盖了7英尺X7英尺范围内的详细信息,并且4个VGA摄像头才能抵得上一个一百万像素的摄像头。
图像传感器已经开发出来并且已经商业投产,适用于1百万、2百万、5百万甚至1千万像素的分辨率。显然,随着像素数的增加,因此必须处理的数据量也利用了更高的分辨率这一优势。

高动态范围(HDR)

HDR也称为宽动态范围(WDR),用以测量传感器和ISP功能是否能够很好地区分黑暗和明亮区域。我们都对业余拍摄的以太阳为背景的家庭照片非常熟悉。虽然沐浴在阳光下的风景明亮清晰,但是人们的脸上都非常暗。这是因为(通常是自动)相机调整在阳光下的场景的曝光。然而,这个曝光时间太短,以至于无法正确识别较暗的对象。如果手动设定曝光或者使得光圈获得更多的光线,这样就能分辨出暗部的细节,但是这样做的结果是,现在明亮区域的细节已经过度曝光,甚至彻底洗白。这对于操作人员或者VA软件来说都不是一个好的结果,因为很多关注区域的细节信息都已经丢失。

HDR传感器使用创造性的方式解决了这个问题,根据不同的曝光时间拍摄多张照片,然后通过ISP流水线组合并融合这些图像,保存并呈现所关注区域的亮部和暗部区域的细节信息。显然,当对于同一个图像进行多次曝光,造成了所需处理的数据量增加。例如,当一台摄像机可以输出每秒60帧的全高清1080p图像,带有HDR传感器,每帧3次曝光,在其工作时,摄像机内的ISP流水线实际处理的是60×3,即相当于180帧每秒。

FPGA和增加的处理负荷

一个百万像素的传感器和HDR相结合大大提高了ISP流水线的处理负荷。DSP器件本质上是“顺序处理引擎”,很难负荷巨大的数据处理负载。它可能仍然可以处理我们上述示例中高端DSP中的1080p60HDR流水线的数据,但成本和功耗高得令人望而却步,并且在经济上无法负担。FPGA由于其固有的并行性,非常适合承担高清、高动态范围图像信号处理所增加的负载。

可编程的重要性

除了以极低的功耗和成本提供高性能之外,FPGA定义为可编程的,这提供了超越ASIC和ASSP的显着优点。ASIC的设计和构造都极其昂贵,一旦完成就不能更改。基于ASSP的摄像头设计可能会受到已经制成的标准件功能的限制,这也就无法再进行修改。事实上,在视频图像处理市场中的一些DSP和其它的ASSP器件,需要一个FPGA来桥接传感器和标准部件,以适应新的传感器制造商正在使用的新的串行接口,用于接收其传感器传输的百万像素数据。随着基于FPGA的实现方法的出现,摄像机制造商可以利用可编程的优势,迅速在其设计中采用新的传感器和技术,或迅速改变他们的ISP算法。

在FPGA中实现带有HDR的ISP

为了在FPGA实现带有HDR的ISP,至少必须实现如图1所示的图像信号处理流水线中的ISP块。

图1图像信号处理流水线

Tag标签: FPGA   图像信号处理  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规