分享好友 资讯首页 频道列表

自动驾驶从小白到小强49~摄像头的ISP

2024-11-29 08:03

1.ISP的定义和功能

2.ISP的组成

3.ISP的作用与工作流程

4.ISP的挑战与发展趋势


1.ISP的定义和功能

       由前文“”可知,摄像头主要由镜头、感光元器件、滤光片、图像信号处理器ISP (Image Signal Processor)、图像传输接口等组成。


图片


        其中图像信号处理器ISP是摄像头的核心组件,其主要作用是对前端感光元件(CMOS/CCD)输出的原始信号进行后期处理,通过一系列复杂的算法处理,实时处理图像信号,最终输出高质量的图像。它是相机成像流程中的关键一环,对图像质量有着决定性的影响。        ISP的功能涵盖了整个图像处理的方方面面,从最初的信号处理到最后的图像优化。包括自动曝光AE (Automatic Exposure)、自动白平衡AWB ( Auto White Balance)、自动对焦AF (Auto Focus)、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正、图像裁剪、颜色空间转换、图像稳定等功能。

       ISP的架构方案主要分为外置ISP和内置ISP两种:
        外置ISP:在AP (Application Processor,应用处理器)外部单独布置ISP芯片用于图像信号处理。


图片


       内置ISP:封装在AP内部,与AP紧密联系在一起。
       在激烈的市场竞争下,能够存活到现在的外置ISP生产厂商在此领域一般都有很深的造诣,积累了丰富的影像质量调试经验,能够提供比内置ISP更优秀的性能和效果。因此,选用优质的外置ISP能提供专业且优秀的图像质量。
       外置ISP的选型基本不受AP的影响,因此可以从各个优秀ISP芯片供应商的众多产品中甄选最合适的器件,从而设计出更多优秀的产品。

       相对的,外置ISP也就意味着更高的价格。

2.ISP的组成

        ISP包括固件及运行在上面的逻辑部分 (软件),它内部包含中央处理器CPU (Central Processing Unit)、功能模块SUB IP、图像传输接口IF等设备,可以认为是一个独立的SOC (System on Chip,系统级芯片)。

        CPU:即中央处理器,可以运行AF(自动对焦)、LSC(镜头阴影校正)等各种图像处理算法,控制外围设备。现代的ISP内部的CPU一般都是基于ARM架构的,例如ARM Cortex-A系列,其中Cortex-A5和Cortex-A7是较为常见的型号,适用于入门级智能手机、低成本手机和智能移动终端等设备。ISP对实时图像处理的需求需要CPU具备高性能、低功耗的特点。


图片


       SUB IP:是各种功能模块的通称,对图像进行各自专业的处理。常见的SUB IP如DIS(数字图像稳定)、CSC (色彩空间转换)、VRA(视觉识别算法)等。
        IF:即图像传输接口,主要分两种,并口ITU和串口CSI。在手机相机、车载一体机领域,广泛使用MIPI-CSI接口传输图像数据和各种自定义数据。MIPI CSI全称为Mobile Industry Processor Interface Camera Serial Interface,移动产业处理器接口相机串行接口,是由MIPI联盟开发的一种高性能、低功耗、低成本的串行通信接口标准。
        MIPI CSI主要用于连接摄像头模块和处理器,支持高带宽的数据传输。它包含应用层、协议层和物理层。物理层定义了传输介质、输入/输出电路信号的电气特性和时钟机制,主要使用的物理层协议有D-PHY、C-PHY和A-PHY。其中,D-PHY和C-PHY主要用于短距通信(例如几厘米,一般是板内通信),A-PHY适用于长距离通信(例如十几米),并被应用于车载领域。
      外置ISP一般包含MIPI-CSIS (Camera Serial Interface Sender,相机串行接口发送器)和MIPI-CSIM (CameraSerial Interface Master,相机串行接口主设备)两个接口,内置ISP一般只需要MIPIC-SIS接口。


图片


       此外,ISP还包含通用外围设备,如I2C (Inter-Integrated Circuit,两线式串行总线)、 SPI (Serial Peripheral Interface,串行外设接口)、PWM (Pulse Width Modulation, 脉冲宽度调制)、 UART (Universal Asynchronous Receiver/Transmitter,通用异步收发传输器)、WATCHDOG等。

     I2C控制器,用于读取OTP (One Time Programmable,一次性可编程)信息,控制VCM (Voice Coil Motor,音圈马达) 等。对于外置ISP,ISP本身还是I2C从设备,应用处理器AP可以通过I2C控制ISP的工作模式,获取其工作状态等。


3.ISP的作用与工作流程


        ISP的主要作用是对前端图像传感器输出的信号做后期处理,大致流程如下:
        从传感器获取原始数据:图像传感器(通常为CMOS传感器&CCD传感器)首先捕捉图像的原始数据。这些数据通常是带有噪声、缺少颜色信息和对比度较低的RAW图像数据。

        数据预处理:原始图像数据经过初步的处理,如信号放大、模数转换等,以准备进入后续的图像处理阶段。
       图像处理:ISP对原始数据进行复杂的处理,包括去噪、色彩校正、去马赛克、动态范围优化、锐化等,最终得到一张视觉效果优化的图像。        输出和显示:经过处理后的图像可以传输到显示屏,或者存储到存储介质中。


图片


黑电平补偿 BLC(Black level Correction)
       物理器件不可能是理想的,由于杂质、受热等原因的影响,即使没有光照射到感光器件上,感光器件也会产生电荷,这些电荷产生了暗电流。而且,暗电流与光照产生的电荷很难进行区分。


图片


Black Leve 是用来定义图像数据为0时对应的信号电平。由于暗电流的影响,传感器出来的实际原始数据(数据不为0)并不是我们需要的黑平衡。所以,为减少暗电流对图像信号的影响,可以采用的有效的方法是从已获得的图像信号中减去参考暗电流信号。
       一般情况下,在传感器中,实际像素要比有效像素多,像素区头几行作为不感光区(实际上,这部分区域也做了RGB 的color filter),用于自动黑电平校正,其平均值作为校正值,然后在下面区域的像素都减去此矫正值,那么就可以将黑电平矫正过来了。没做黑电平矫正的图片会比较亮,影响图像的对比度。


图片


线性纠正        

通过校正传感器输出的非线性信号,使图像信号与实际光线强度成线性关系,确保成像精度。


噪声去除
       噪声可能由多种因素引起,如传感器噪声、传输错误或环境干扰。图像处理器能够减少或消除图像中的噪声成份,使得最终输出的图像更加清晰、细节更加丰富。常用的去噪方法包括:
        高斯滤波:一种平滑线性滤波器,通过加权平均的方式去除噪声,但会损失部分边缘和细节纹理特征。
        中值滤波:一种统计排序滤波器,通过取邻域内像素的中值来去除噪声,适合处理离散的点噪声,但可能会破坏图像的细节纹理。        P-M方程去噪:基于热传导方程的图像去噪方法,能够去除高斯噪声并保护边缘不被平滑。

TV法去噪:以全变分理论为基础,能够去除高斯噪声和孤立点噪声,同时保护图像边缘和细节。

某些ISP还集成了基于机器学习的去噪算法,以更智能地处理复杂的噪声场景。


图片镜头阴影校正LSC(Lens Shading Correction)


      由于镜头的光学构造,导致了经过镜头进入sensor的光线中间多四周少,进而导致了数字图像出现中间区域亮,四周区域暗(shading)的情况。期望通过暗角校正后,图像的四周和中心亮度一致。
       校正算法原理:测定shading的分布情况,采用多项式拟合或同同心圆补偿的方法对其校正。
        镜头阴影有两种表现形式,分别是:
        Luma shading,又称Vignetting,指由于镜头通光量从中心向边缘逐渐衰减导致画面边缘亮度变暗的现象。        Chroma shading,指由于镜头对不同波长的光线折射率不同引起焦平面位置分离导致图像出现伪彩的现象。


图片


自动曝光AE(Automatic Exposure)

根据外界光线的强弱自动调整曝光参数,防止曝光过度或不足,以获得最佳的图像质量。
       曝光量是指光线作用于感光元件(如胶片或传感器)上的总量,由以下三个因素共同决定:
        光圈:镜头内光圈叶片的孔径大小,影响通光面积。光圈越大(数值越小)单位时间内通过的光线越多。
        快门:决定曝光时间,即感光元件受光线照射的时间。快门速度越快,曝光时间越短;反之,曝光时间越长。        ISO:感光度,衡量底片(或感光元件)对光的灵敏程度。ISO值越高,对光的灵敏度越高,但也可能导致噪点增加。
       在自动曝光系统中,相机通过测光系统测量被摄画面的亮度,并根据曝光方程计算出合适的曝光量,然后自动调整光圈、快门速度和ISO等参数以达到该曝光量。
       曝光环路算法是最常见的自动曝光算法,该算法通过一个闭环控制系统流来实现,其中包括:
        初始曝光估值计算:根据当前场景的亮度,通过传感器采集图像象数据来估算初始曝光值。

       曝光调整:根据初始估值结果调整快门速度、光圈和ISO设置。        反馈:拍摄一张图像并计算其亮度,反馈到算法中,进行曝光调整。
       为了实现准确的自动曝光,相机通常提供多种测光模式,包括:
        平均测光(或称分割测光):将取景画面分割为若干区域,计算各区域的加权平均值以确定曝光量。
        局部测光:对画面的某一局部区域进行测光,以该区域的亮度为准来确定曝光量。
        点测光:只对很小的区域进行测光,通常用于拍摄特写或需要精确控制曝光量的场景。        中央重点平均测光:偏重于取景器中央区域的亮度,同时考虑整个场景的亮度分布来确定曝光量。


图片


自动白平衡AWB ( Auto White Balance)
       自动白平衡是通过算法调整图像的色彩平衡,将不同色温的环境光下成像后的白色还原成真实的白色(通常为自然日光环境下人观察到的白色)。

       其原理基于颜色恒常性,即如果一个物体表面对光线的反射特性不随光照条件而变化(大多数物体都满足这一条件),那么该表面的光亮度与环境光亮度的比值也恒等。摄像机或数码相机通过内置的传感器和算法,自动探测环境光的色温,并调整红、绿、蓝三路信号的相对增益,使输出的三基色电压相等,从而在屏幕上重现出标准白色。


图片


去马赛克(Demosaicing)
       去马赛克(Demosaicing)用于将图像传感器(CMOS/CCD传感器)捕获的原始数据转换为完整的彩色图像。由于图像传感器使用的颜色滤光阵列CFA(Color Filter Array)通常是单一的,每个像素只采集一种颜色(红、绿或蓝),因此需要进行去马赛克处理来恢复到完整的彩色图像,重建每个像素的RGB值。
       去马赛克算法可以分为两类:线性插值方法和非线性插值方法。根据不同的策略,算法的复杂性和效果会有所不同。
        线性插值方法通过对邻域像素进行加权平均来推算缺失的颜色值,通常简单但计算速度较快。

        非线性插值方法通过更复杂的算法推算缺失的颜色值,这些方法能够在去噪、锐化和细节保留方面表现得更好。
        近年来,深度学习方法在图像去马赛克中取得了显著的进展。通过训练深度神经网络(DNN)来学习去马赛克的过程,能够更好地重建缺失的颜色信息。       去马赛克的主要挑战就是在每个像素点上,利用周围邻域的信息推测出丟失的颜色值,同时尽量保留图像的细节、避免颜色失真和避免过度平滑。去马赛克算法需要在去噪、锐化、细节保留等方面找到平衡。


锐化       锐化是补偿图像的轮廓,增强图像的边缘及灰度跳变的部分,使图像变得清晰的过程。锐化分为空间域处理和频域处理两类。


图片


动态范围优化
        动态范围是指图像中最亮和最暗部分之间的亮度范围。动态范围优化旨在改善图像的亮度分布,使其更加适合人眼观察或后续处理。常用的方法包括:
       平滑处理法:对图像的邻点进行平均,类似于视频过滤,但这种方法不会降低本底噪声。
       平均值法:通过多次扫描取平均值来降低噪声功率,从而改善动态范围。       降低中频带宽:通过降低数字滤波器的带宽来滤除噪声,从而降低本底噪声并改善动态范围。

4.ISP的挑战与发展趋势


        随着ISP芯片性能的不断提升和AI技术的深度融合,AI-ISP结合人工智能技术和传统ISP的图像处理能力,提供了更强的图像处理效果。通过引入深度学习和神经网络,ISP将实现更高级的功能,如更智能的自动对焦、复杂场景下的多帧合成,以及动态场景识别下的自动参数调整等。AI-ISP能够进行像素级的智能处理,提升图像的清晰度、降噪效果和动态范围的表现力。
       但与此同时,AI-ISP的发展也面临不少的挑战。
       第一个重大目显而易见的挑战就是算力,随着图像分辨率的提升和处理复杂度的增加,ISP所需的算力也在不断增加。目前,很多端侧芯片难以满足AI-ISP的算力需求,这成为了一个显著的挑战。
       第二个挑战是图像质量的检测,目前AI-ISP算法通常采用的是基于数据集的模型训练,但数据集的获取和图像质量的判断都是复杂且困难的问题。目前,还没有统一的图像质量检测标准,这影响了训练模型效果的判断。       第三个是复杂的应用场景,不同应用场景对图像处理的要求各异,如高帧率视频监控需要保持图像的清晰度和稳定性,而无人机则需在低功耗条件下处理深度信息和物体识别。ISP需要适应这些多样化需求,提高产品的竞争力。

未来AI-ISP的发展将主要聚焦于以下几个方面:

       解决极端场景问题:继续提升AI-ISP在夜间、雾天和高动态范围场景下的表现,使其在复杂光照条件下保持图像质量的稳定输出。
        技术标准化:随着AI-ISP技术的快速发展,逐渐形成统一的行业标准,帮助开发者在不同设备和平台间更好地实现技术对接和兼容。       扩大端侧使用场景:通过优化AI-ISP效果,进一步扩大其在常用场景的使用频率,降低其实现难度并提高与传统的ISP效果差别,以满足更广泛的实时处理需求。

来源:智驾小强

评论 0
同类信息