4. 未来工作：面向计算机视觉的专用图像信号处理器（ISP）
4.1. 调优算法
调优算法通常需要一个可优化的标量度量指标。度量指标既可以在图像层面定义，也可以在计算机视觉算法层面定义。针对人类观看需求进行的图像信号处理器（ISP）调优传统上是基于各测试对象偏好分数的汇总，以主观方式完成的。也存在客观的图像质量度量指标，如均方误差（MSE）、结构相似性（SSIM）等，但它们通常与感知相似性并不对应。对于计算机视觉算法的调优而言，直接对算法的关键性能指标（KPI）进行调优效果更好。通常会有多个应用，如深度学习、运动恢复结构、视觉同时定位与地图构建（SLAM）等，各个算法的不同精度需要通过加权求和来进行衡量。在对多个算法关键性能指标（KPI）进行调优时，主要挑战在于每次迭代的时间复杂度，对于参数搜索空间较大的情况，这可能变得不切实际。因此，必须采用一些高效的策略。可以先对图像质量度量指标进行调优，以便为计算机视觉算法调优方法提供良好的初始值。值得注意的是，就深度学习算法而言，可能根本不需要图像信号处理器（ISP）组件，因为深度学习网络能够隐式地学习必要的变换。不过，在深度学习网络中显式地对其进行建模以利用成像方面的先验知识，或许效果会更好。戴蒙德等人 利用这一思路对一个可微的图像信号处理器（ISP）模块进行建模，该模块可与识别网络一起进行端到端的训练。
一旦确定了调优度量指标和策略，优化算法就会找出最佳参数集。最简单的方法是手动试错，即由开发算法的专家根据经验对参数集进行调整。通常，会将计算机视觉领域常用的标准参数集作为起点，再进一步细化。一般来说，这是一个繁琐的手动过程，无法系统地得出最优参数集。对于具有数百个参数的图像信号处理器（ISP）的大型搜索空间而言，手动调优尤其困难。最简单的优化算法是网格搜索和随机搜索。在网格搜索中，会基于所有可能的组合在网格上定义参数范围，然后使用暴力搜索的方式对其进行评估。对于参数组合较多的情况，这种方法并不实用。一种改进的方法是随机搜索，即采用一种巧妙的采样策略随机选择参数。在 [95] 中，针对大型搜索空间已成功展示了这种方法。然而，它并不能保证收敛到最优参数集。
近来，出现了许多更智能的、适用于大型搜索空间问题的优化方法。贝叶斯优化 [96] 是一种常用于优化大规模问题（特别是评估函数计算成本较高的情况）的形式化方法。原则上，它有可能将其他搜索启发式方法（如遗传算法或群优化技术）融入先验模型中。因此，它是一种更通用且更强大的方法。从形式上讲，问题可定义如下：一个算法有一个参数空间 P = {p1, p2, …, pn }，它是由所有可能的参数配置组成的集合。参数通常是数值型的，也可以是类别型的，如启用 / 禁用某个模块。每个参数的分辨率和范围将是关键的设计选择。对于具有数百个参数的图像信号处理器（ISP）配置，集合 P 的基数可能会超过 10²⁰，暴力搜索是不可行的。
算法调优问题可定义如下：popt = argmax (pi∈P)(Faccuracy (p))，其中 popt 是使精度成本函数 Faccuracy (p) 最大化的最优参数配置。通常，会有多个算法，其精度需要联合优化。标准方法是通过加权求和将不同的精度标量化。也有多目标优化方法，其目的是在多维空间中同时优化关键性能指标（KPI）。通常，这种方法相对复杂，也需要大量的人工干预。基于序列模型的算法配置（SMAC3）（是一款用于优化配置的热门工具，它结合了贝叶斯优化、梯度下降以及其他启发式方法。
单图像信号处理器（ISP）与双图像信号处理器（ISP）
人类视觉（HV）和计算机视觉（CV）的需求可能不同。传统上，出于成本考虑，在处理片上系统（SOC）板载或配套芯片上只有一个图像信号处理器（ISP），而且通常是针对人类视觉进行调优的。来自同一流水线的图像被用于机器视觉应用。已有研究表明，针对人类视觉（HV）和计算机视觉（CV）优化的图像信号处理器（ISP）是不同的 [94,97]。我们也将在下一节展示更多这方面的实证证据。将图像信号处理器（ISP）拆分为分别用于人类视觉（HV）和计算机视觉（CV）的独立流水线，能够对二者分别进行独立调优，以便各自实现性能最大化。这对于机器学习算法尤其重要，因为机器学习算法理想情况下是基于特定的图像信号处理器（ISP）设置进行训练的。双图像信号处理器（ISP）流水线如图 19 所示。人们对独立图像信号处理器（ISP）的重要性有了更深入的理解，而且现在大多数汽车片上系统（SOC）都具备了支持双图像信号处理器（ISP）流水线的计算能力和内存带宽。尽管采用了多个图像信号处理器（ISP）的实现方式，但存在一个关键限制，即动态反馈回路算法必须由一个主控制器来控制。相应图像传感器的底层行为，例如特定曝光下某个像素的曝光时间，必须进行唯一控制。
图 19. 双图像信号处理器（ISP）示意图
来源：智驾社
