浅析ISP流程：从传统到AI的演进与展望.pdf

浅析ISP流程：从传统到AI的演进与展望

1.背景

ISP（Image
Signal
Processor）
指的是对图像或视频信号进⾏实时处理和优化的专⽤处理器或专⽤硬

件模块。它通常集成在⼿机、摄像机、⽆⼈机、监控设备、⻋载系统等影像采集系统中，为图像/视频

信号提供⾼质量、低延迟的处理能⼒。核⼼⽬的：对传感器采集的原始图像（RAW）数据进⾏处理，

输出质量更⾼、细节更丰富的可⽤图像或视频流（如YUV、RGB等格式）。

传统ISP的发展历程

在20世纪末⾄21世纪初，ISP主要依赖于固定算法和硬件流⽔线处理。这些算法包括⽩平衡校正、⾊彩

插值、降噪、锐化等，⼴泛应⽤于数码相机和早期⼿机中。传统ISP的优势在于其稳定性和⾼效性，但

其固定的处理流程难以适应复杂场景和多样化需求。

AI
ISP的崛起

近年来，随着AI的爆发和新兴智能终端的崛起和需求，AI
ISP逐渐成为⾏业热点。通过将神经⽹络与传

统ISP相结合，AI
ISP不仅继承了传统ISP的稳定性，还具备了神经⽹络的⾃适应性和智能化能⼒。AI

ISP的出现标志着ISP技术进⼊了⼀个全新的阶段。

ISP流程

2.ISP的基础介绍

2.1传统ISP

传统ISP的软件部分依赖于经典算法，其处理流程通常分为以下⼏个步骤：

1.⿊电平矫正（Black
Level
Correction）

⿊电平形成的原因有多种，主要的形成原因如下⾯两点：

(1)
CMOS传感器采集的信息经过⼀系列转换⽣成原始RAW格式数据。以8bit数据为例，单个pixel的有

效值是0~255，但是实际AD芯⽚（模数转换芯⽚）的精度可能⽆法将电压值很⼩的⼀部分转换出来，

因此，sensor⼚家⼀般会在AD的输⼊之前加上⼀个固定的偏移量，使输出的pixel
value在5（⾮固

定）~255之间，⽬的是为了让暗部的细节完全保留，当然同时也会损失⼀些亮部细节，由于对于图像

来说，我们的关注度更倾向于暗部区域，ISP后⾯会有很多增益模块（LSC、AWB、Gamma等），因

此亮区的⼀点点损失是可以接受的。

(2)
sensor的电路本⾝会存在暗电流，导致在没有光线照射的时候，像素单位也有⼀定的输出电压，暗

电流这个东西跟曝光时间和gain都有关系，不同的位置也是不⼀样的。因此在gain增⼤的时候，电路

的增益增⼤，暗电流也会增强，因此很多ISP会选择在不同gain下减去不同的bl的值。

如多sensor输出raw数据中附加的⿊电平值，需要在ISP最前端去⼲净。如果不去⼲净，⼲扰信息会影

响后端ISP各模块的处理，尤其会导致AWB容易不准，出现画⾯整体偏绿或者整体偏红现象。

矫正前

































矫正后

2.去坏点（Defect
Pixel
Correction）

由于传感器是⾼精密⼀起，⾥⾯包含的像素点⾮常多，难免会出现做⼯问题导致局部像素产⽣坏

点。

去坏点前
































































去坏点后。

3.镜头阴影校正（Lens
Shading
Correction）

由于镜头天然的缺陷导致成像会出现暗⻆，⼀般分为luma
shading和color
shading。

Luma
shading的主要原因是镜头中⼼到边缘的能量衰减导致的，如图所⽰，蓝⾊和绿⾊⽤相同的数量

线条表⽰能量，中⼼位置的蓝⾊⼏乎所有能量都能达到最右侧的的成像单元，但是边缘的绿⾊由于有

⼀定⻆度射⼊，经过镜头的折射，有⼀部分光（最上⽅的⼏条绿⾊线条）就没法达到成像单元，因此

成像单元中⼼的能量就会⽐边缘的⼤，表现在亮度上就是亮度向边缘衰减变暗。

color
shading主要是因为不同颜⾊的光的折射率不同，导致⽩光经过镜头后达到成像⾯时不同颜⾊的

光的位置不同导致偏⾊。当然偏⾊还会和CRA有关，但是⼀般镜头选型的时候都会注意和sensor的CRA

进⾏匹配，⼀般两者不会相差太⼤，所以CRA导致的偏⾊不做重点讨论。

4.解⻢赛克（Demosaicing)

如今⼏乎所有彩⾊sensor输出的都是bayer
pattern的数据，即每个像素点仅有⼀种颜⾊分量数据。

demosai