Canon VLSI2025 paper解析-SPAD 2D imaging HDR应用

dreamWx

1 背景
Canon VLSI2025 paper（2/3-inch 2.1Megapixel SPAD Image Sensor with 156dB Single-Shot Dynamic Range and LED Flicker Mitigation based on Weighted Photon Counting Technique）中实现了156dB HDR的SPAD 2D image sensor，并且功耗只有Max 179mW@full chip，如果只考虑SPAD功耗的话仅有Max 93mW@2MP。传统SPAD 2D imaging的一个缺陷就是功耗太高，一般是同等规格的CIS的5~10倍。
Canon如今打破了限制SPAD 2D Image Sensor的应用瓶颈之一，因此他们也在会议论文解禁后，立即在其官网上发布了新闻（https://global.canon/en/news/2025/20250612.html）宣传了这块HDR sensor，并表明将尽快开始量产。Canon之所以如此有信心，是因为这块sensor确实性能突出，忽略它底层的SPAD技术，对比Image Sensor功能，它具有以下特性：156dB HDR、2.1MP、2/3英寸、LEM、单帧HDR、最高179mW功耗、0.1lux@100m。和paper中介绍的一样，这颗sensor打的就是车载、ADAS应用市场（交通安防也能用），尤其是156dB HDR和0.1lux@100m的特性，没有看见现在有哪颗同等规格的CIS能做到。
国内做SPAD 2D imaging的人很少，而在产业里做的人那估计一双手数的过来（也可能一只手。。），不巧我正好就是其中之一，在年初看到这篇paper的brief的时候就已经大概能知道它技术方案的细节是怎么回事了，还有一些疑惑再看完完整paper后也澄清了。一直感慨还是IDM牛逼，技术预研得好，paper做的好，后续还真的能够量产，进产业赚钱。
我刚做这种芯片的时候，首先是参考CIS技术，买了两部圣经来看（CMOS的和数字图像处理的），还是不够，毕竟SPAD和CMOS差太多（差在哪里可以挖个坑再填）。于是找最近几年的paper来看。几个半导体顶会（IEDM，VLSI，ISSCC，JSSC）以及SPAD限定的ISSW中，SPAD相关的paper还是很多的，其中Lidar占大部分，2D imaging占第二大部分，而在产业方背景方面，sony和Canon是最突出的，并且也是技术最领先和商业化做得最好的。
作为一个身在相关产业中的从业者，需要把sony和canon的paper当作重点来分析，他们的SPAD 2D imaging paper这些年加起来也有10多篇，基于技术方向可以分为以下几大类：

• SPAD器件（Top wafer）；
• PFE电路（Bottom wafer）；
• 其它（其实是我不怎么关心的）。
  

SPAD器件关注的就是怎么把SPADsize做小、PDE做高、光谱响应范围做大、DCR做小、FF做大等等；PFE（pixel front-end）电路则是负责SPAD器件的控制和后处理，重点就是把功耗做小、读出延迟做小、算法优化、芯片PPA优化。SPAD器件+PFE电路=SPAD IS 像素。
要讲的这篇canon paper中核心技术方案则是PFE电路方向。
2 SPAD DR怎么定义
背景介绍完了，现在来解析下这颗sensor实现156dB所用的技术方案。就像它的标题所讲的，这篇paper最突出的特点就是HDR，接近恐怖的10^8:1（1亿比1）。
要想不被人忽悠，看到唬人的数字的时候（吃饼的时候），就问问这数字怎么来的。CIS中定义DR的方式是：
DR = 20*log(FWC/readout noise)  dB
即满阱容限比上读出噪声。大部分CIS厂商都是这么标定他们sensor的DR，原理就是满阱容限表达可探测的最大光强，readout noise则是表达可探测的最小光强（要继续讲清楚为什么就太麻烦了，先挖个坑）。而EMVA1288中计算DR的方式就有点区别，原理更接近DR的本质：DR是传感器（同时地）可探测的最大和最小光强之比，最终体现在图像中就是暗场和亮场的细节表现。
两种方式本质上没有太大区别，算得的值也不会差多少，主要是最大和最小的定义方式不同。只要不是用图像的动态范围表现来评价Sensor的能力就行，中间隔了太多的处理和抽象过程（说的就是多帧算法和AI）。。
现在问题来了，SPAD 2D Image Sensor的DR怎么定义呢？它既没有FWC，又没有readout noise。所以一种方式使用EMVA1288的方式，基于测试得到的光响应曲线结果得到最大和最小可探测光强，计算出DR。Canon paper中则是用了结合的方式：

• readout noise替换成基于DCR计算得到的暗随机噪声（dark random noise RMS）;
• FWC则替换成可探测最大光强（单位为光子通量）；
  

paper中提到DCR为1 cps/pixel（取中位数，相当优秀），即一个像素一秒钟产生一个暗计数，考虑帧率为30FPS，那么dark random noise则为：
dark random noise = (1/30)^(0.5)= 0.18
可探测最大光强则是通过测试结果绘制的光响应曲线得到，即SNR≥24dB下最大的入射光子通量（单个像素面积，1/30秒），结果为11.2M photons。
好了，那DR结果就是156dB = 20*log(11.2M/0.18)。如上托所示
这种定义方式Canon在之前的论文中也有采用，原理是没什么问题的，只不过将饱和光强定义在SNR≥24dB下是否合理还不清楚（而且这个SNR是算的时域还是空域？）。可以对比的是，Sony的饱和光强定义在了SNR≥30dB。
3 底层原理：SPAD非线性响应
OK，搞清楚了SPAD DR怎么来的，那做HDR的方向就清楚了：

• 搞低DCR；
• 搞高饱和光子通量。
  

搞低DCR需要在SPAD器件层面下功夫，不是paper研究核心（这篇paper的技术方向是PFE电路，并非SPAD器件）。它更想做的是提高SPAD饱和入射光强，这也和它的目标应用市场（ADAS/车载 Camera）的需求强相关。
SPAD 2D Image Sensor和CIS(CMOS Image Sensor)在成像特性上最大的区别就是前者是非线性光响应，后者是线性响应。线性响应就是说，像素的灰度值N和入射光子数P之间的响应函数为N=R*P（忽略了黑电平、暗噪声等）。猜猜R参数是什么？
良好的线性关系对后端ISP算法是必要的，因此CIS有一项性能指标就是响应非线性L，指示CIS光响应曲线的线性度有多好。SPAD这个指标就相当差了，因为它的器件特性决定了它的响应非线性的（淬灭死区时间导致的，这里值得挖个坑）。
所以SPAD 2D IS的一个关键算法就是linearization（再挖个坑），通过PFE和ISP将像素灰度值还原成线性关系，Canon和Sony sensor中都有这样的处理。虽然SPAD响应非线性特别差，但是它是有一个好处，那就是提高了饱和光子通量。

借助paper的附图，可以看到，暗场下，入射光子少的时候，计数值（灰度）和入射光子（光强）之前还是有很好的线性关系；但是到亮场下，线性曲线变为了log曲线。懂的人这个时候应该就想到了CIS的一种HDR技术：Logarithmic response。理论上（理想情况），入射光子一直增加，SPAD pixel的计数器记满的概率也不会达到100%，换句话说，饱和光强没有上限。实际中，这个饱和光强是多少取决于SNR，但是非线性响应特性无疑是提高了SPAD 2D IS的饱和光子通量，从而提高了DR。
此外，既然SNR限制了饱和光强，那么也限制了DR。因此提高DR也是需要提高SNR的，这就涉及到很多技术点了，芯片物理实现、功耗、SPAD一致性、PDE等。
4 鱼与熊掌兼得：功耗和HDR的取舍
讲了这么长多，好像还没有涉及paper的技术方向PFE电路。上面提到，SPAD HDR特性源自于器件的非线性响应特性，这是SPAD器件特性，大家都有，那这篇paper的HDR有什么特点：特殊设计的PFE电路不仅进一步优化了非线性响应，还降低了功耗。
功耗和HDR是一对矛盾，在CIS中如此，在SPAD 2D IS传统方案中更是如此。传统的SPAD像素统计光强的方式是自由计数，即只要SPAD淬灭（随机事件）产生一次脉冲，计数器就+1。可以想象，在饱和光强下，SPAD按最高频率产生脉冲的时候，功耗有多恐怖（淬灭时间10ns，增益为10^6，1MP像素工作时电流轻松达到数安培，电压还是20V高压）。因此传统SPAD想利用非线性特性实现HDR话，没等饱和光强信号探测完，电池就已经没电了，硬件供电电路设计开销也变得很大。
SPAD增益不好降低，高压不好降低，那降低功耗的方式就剩下玩淬灭时间了，简单的拉长淬灭时间意义不大，会牺牲DR。进阶的玩法是定时充电（Clock Recharge)，有兴趣的去看Sony去年的paper（再挖个坑）。简单来说，SPAD就是从随机地自由计数，转为固定时间计数，把曝光时间拆散成一个个固定周期（ns~us，长度和数量都可控），每个周期SPAD只进行一次充电，因此只能探测一个光子。这个周期time slot可以和自由计数方式中的淬灭周期类比，但是前者是定时的、可控的，重点好处就是可以限制一帧曝光最多探测多少个光子，进而它可以控制最大可探测光子通量！
传统自由计数方案最高光子通量探测可能需要数万甚至几十万次计数，定时充电方案则是降低到数千次。那对DR的最大可探测光强有没有影响呢？理论上是有的，但是有限，定时充电方案依旧是非线性响应，DR还是可以做到很大，Sony paper中达到120dB；实际情况后者可能还高于前者（因为存在功耗墙）。

上图是Canon paper的附图，其中PCLK就是SPAD的充电周期。和Sony不同的是，它采用了加权光子计数方案，把每个充电周期，再拆分成数个长度从小到大排列的8个时间窗口TCLK。论文中认为，亮场下，光子倾向在PCLK的早期到来，而暗场下，更倾向在后期到来；换句话或，亮场下，光子在t0,t1周期到来的概率更高，暗场下，光子在t7,t8周期到来的概率更高。于是不同时间窗口到来的光子产生不同的计数权重，t0t1到来的计数权重最高（+8），表示更高的入射光强，t7t8权重最低（+1）。产生这个权重控制的电路也很简单，SPAD响应后把TCLK转递给计数值作为计数脉冲即可，如下图所示。

于是，一个充电周期中可以探测8种不同的光强，还只需要一次真正的SPAD雪崩事件；举个例子，像素值为200，最少里面只有25次真正的SPAD响应，相较于之前的定时充电方式，功耗降低为1/8。
这种优化的定时充电方案（定时充电+推理计数）好处是明显的，进一步降低了亮场响应时的SPAD功耗，并且提高了可探测最大光强（提高了DR），有没有坏处呢？
当然，坏处就是牺牲了暗场下的SNR。在某一周期内，光子入射的个数服从泊松分布，它是个概率密度函数，简单来说，光强越高或周期越长，入射n个（对于SPAD来说，假设雪崩效率100%，入射一个光子即可）光子的概率越高，反之，概率越低。如果只看t0t1周期，确实是亮场下，此周期探测到光子的概率高，t7t8的概率低（因为只能探测一个光子，t0t1探测到后，t7t8就空闲了），因此前者分配更高的权重以表示更大的入射光强是合理的。暗场下也是相同的道理，t0t1概率变低，t7t8概率变高。但是，上面也说探测是有概率的，概率就意味噪声，有噪声就需要考虑SNR dip了。亮场下SNR dip还好，为啥？因为它信号强（+8），噪声弱（+1）;暗场下就不行了，信号弱（+1），噪声强（+8）。这也是我看paper brief的时候，就是Figure1，最大的困惑，就把原本的一个定时周期做不等长划分就可以了？Canon没有忽视这个问题，他们的研发工程师是真的厉害。

在Figure3中展示的像素电路中，有一个和WPC功能无关的触发器存在，它的时钟是PCLK，数据是POUT（淬灭信号），输出信号CED则控制了计数器的计数脉冲是来自POUT还是POUT有效后的TCLK。当上一个PCLK周期没有POUT的时候，即没有探测到光子（也就是光比较弱的时候），下一个周期计数脉冲直接来自于淬灭脉冲，也就是回到普通的定时充电方案，不会引入WPC方案的噪声；反之，上一个周期有POUT的时候，不管是在哪一个TCLK，那下一个PCLK周期，计数脉冲都是来自于POUT有效后的TCLK，也就是定时充电+推理计数的方案。也就是说，这个电路可以自适应地在两个方式中切换，避免暗场下WPC的SNR dip风险。对应的工作电路时序变为下图。

这一个简单的电路就可以提高WPC功能在暗场下的SNR表现，太厉害了。
以上就是paper中的重点PFE电路和核心功能和方案讲解了，它的实际拍摄表现也很突出，不仅能shot in dark scene，还能shot in far scene。

此外，这种PFE设计方案，其实有个好处就是提高了SPAD响应一致性（再挖个坑），上面也说了，这可以提高SNR，进而也提高了DR。不过这不是paper解决的关键问题，重点还是HDR+low power。期待它量产的消息。
5 结语
之前学习CIS的HDR时，从论坛大佬的帖子（CMOS图像传感器专题 - 1 高动态范围（HDR）成像 - Analog/RF IC 设计讨论 - EETOP 创芯网论坛 (原名：电子顶级开发网) -）中学到了很多，他在最后提到“用SPAD做2D imaging时该怎么做HDR？”，本贴可以算是一个回答，这也是我写本贴的原因之一。另外一个原因就是调FPGA调崩溃了，换换脑子，把之前一直没做的paper review给做了。还有没有一样的从业者交流下啊。