CMOS图像传感器专题 - 1 高动态范围（HDR）成像

feynmancgz · 发表于 2024-4-3 06:23:48

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要登录才可以下载或查看，没有账号？注册

x

本帖最后由 feynmancgz 于 2024-4-6 23:50 编辑

本来是想把《CMOS图像传感器系列 - 5 传感器架构》写了的，刚好前段时间公司让我给同事做个HDR imaging的培训，手上有现成材料，就把他搬上来啦！（当然删掉了跟本公司相关的内容）不过我“传感器架构"部分，等我腾出点时间出来，还是会和大家见面的（主要是懒，所以一直没写

），OK，进入正题。。

首先，我们来说说为什么要做HDR成像，做这个东西有没有用。有很多paper会说在极限情况下，自然界中最低光照可以到1e-6 cd/m2, 最大可到1e+8 cd/m2，这就是280dB；当然一般是不会达到这么大的DR的，而通常情况下室外的DR会达到120~140dB，而人眼的在某一时刻的DR一般说也在120dB的级别，人眼的瞳孔伸缩直径大概在2~8mm的范围，人眼通过瞳孔变化，DR又会大概再增加25dB左右；生活中最常见的需要大DR的情况就是汽车进出隧道的时候，所以做车载图像传感器的人目标常常就是把DR做到140dB，次一点也要到120dB；另外一些科学级应用，比如天文望远镜，大家可以想象也是需要很大的动态范围，当然天文应用有些软件啊，拍摄技巧啊去弥补传感器本身DR的不足，但最好肯定是传感器本身DR就大比较好；而对于车载或者工业级应用，HDR就是刚需了。所以high dynamic range（HDR）在图像传感器领域是非常重要的！

那么设计一款HDR CIS难不难呢？当然难！这里稍微解释一下。我们之前讲像素设计的时候提到，要想CIS的噪声低，那么他的CVF就必须高，假设我们CVF大致为100uV/e-，相当于FD的电容为1.6fF（做到这个值已属不易，除非是非常好的工艺），那么当我们有10ke-时，FD上的电压摆幅就已经是1V了，如果我们能将CIS的噪声做到1e-（已经是非常好的值了，为什么呢？想要CVF高，那么source follower就要做的小，但source follower小呢，flicker noise就会变大，想压到1e-已经很不容易了），这样我们的CIS的DR即是80dB！>13bit，在此情况下我们的ADC也至少是14bit，做过ADC的朋友大概清楚，除了delta-sigma，任何ADC结构想要做到14bit都是很不容易的。通常情况下，没有使用任何HDR技术的CIS大多都只有70dB，部分能做到75dB就已经非常难了。现在我们通常将DR>90dB的CIS都叫做HDR image sensor。

这里再强调几个CIS领域常常被弄混淆的概念：高信噪比（High SNR），高动态范围（High DR），高对比度（High Contrast）。
在图像领域，我们都知道底噪有个最根本的限制，那就是photon shot noise，我们之前也讲过CIS的信噪比的极限就是sqrt(N)，所以提高信噪比的唯一办法就是增加进光量，那么在一定光照条件与积分时间一定的情况下，对于CIS来说，唯一的办法就是提高QE，或者也可以说提高满阱！这就是摄影界常说的“底大一级压死人”，越大的传感器，通常就需要越大的镜头，那么也就意味着越大的进光量，这样SNR就会高，成像质量就会高。
而对于高动态范围来说，无论是QE低还是高，无非是积分时间长短的问题，总是能达到一定的满阱的，那么关键就是要降低噪声才能提高动态范围！
那么对比度呢，其实对比度就是MTF，所以想做一个高对比度传感器，值提高QE，或者降低噪声是不够的，关键是要提升MTF。

下面简短的说说HDR成像历史上的重要事件吧~
      - 1850年，Gustav Le Gray将胶片的不同部分采用不同的曝光，最终合成一张照片
      - 1954年，Charles Wyckoff对美国马绍尔群岛上的核试验拍摄了大量照片
      - 1988年，Greg Ward发明了被称为RGBE的HDR文件格式
      - 1990年，Georges Cornuejois发明了第一台HDR照相机

      - 1993年，Steve Mann & Rosalind Picard 发表了onbring ‘undigital’with digital cameras: extending dynamic range by combining differently exposedpictures
      - 1997年，Paul Debevec & Jitendra Malik 发表了recovering High Dynamic Range Radiance Maps from Photographs
      (这两篇文章基本都奠定了所有HDR图像文件格式及信号处理的基础）

      - 2003年，HDRsoft发布了第一个可以对HDR图片进行编辑的Photomatix Pro
      - 2010年，Apple首次将HDR成像引入手机（当时使用的是软件HDR）
      - 2013年，Sony首次将HDR视频引入手机
      - 2014年，Google开售Nexus 5手机，其中具有他们发明的HDR+算法
所以HDR成像真正进入我们日常生活也就近10年的时间，但人们发明的各种HDR技术已经多种多样了，下面我们一一道来。

首先大的分类，我们可将各种技术分为软件实现（这个我们称为High DR）和硬件实现（这个我们称为Wide DR，这个是一次开IISW，HDR成像领域的前辈Orly Yadid-Pecht纠正我的，她说硬件实现的应该叫WDR，具体原因我们后面会讲到），不过通常HDR和WDR称呼都是可以互换的，实际上无太所谓，但为了尊重前辈，也为了便于区别，我们这里将HDR和WDR做软硬件的区分。

HDR技术1：Bracketing
这个可以说是最通用，最有效的方法了。所谓的Bracketing即将多帧采用不同曝光(大多采用不同曝光时间)的图像通过软件合成一张HDR图像的方法。最早采用该方法的是2010年发布的iPhone 4，当时采用的sensor是豪威的OV5650，这个sensor本身的DR只有69dB。因为是全软件实现，所以实现起来最方便与‘最便宜’；显然这种问题最大的问题是需要很大的计算量，另外因为需要几帧图像（通常2～3帧，一帧需要十几ms到几百个ms左右），所以HDR成像速度很慢，也容易因为抖动然产生各种motion artifacts。

为了解决相机抖动的问题（特别是对于长曝光），后来在2012年由诺基亚率先在手机Lumia 920中引入了Optical Image Stabilization (OIS) 技术：即用MEMS传感器（通常是陀螺仪或者加速度计）来感知相机的移动，然后再用音圈马达去移动镜头，或者是CIS本身来补偿相机的这种抖动。
HDR技术2：HDR+
为了缓解Bracketing速度慢的问题，Google于2014年发明了HDR+技术。这种技术就是拍取很多张图像，而每一张图像都是短曝光（或者欠曝光）然后用软件找到那些aligned最好的图像，最后通过平均的方式得到高质量HDR图像。这个方法虽然很聪明，但是还是存在问题的。正因为每张图像都是短曝光的，所以在真正很暗的地方，可能sensor的信号出来全是0，这样你是怎么平均都没法恢复出暗处的图像细节的。

HDR技术3：HDR+ with Bracketing
后来在2021年Google通过一个简单的办法解决了HDR+的暗处细节问题，即融入Bracketing。可能很多人都不知道，我们手机拍摄照片的时候，你拍摄的照片其实是你手按快门之前的，而Google的这个解决方案呢，就是在你按快门之后，再加一帧长曝光的图像，这样就能得到暗处的细节了。非常简单，非常有效！

HDR技术4：HDR with QIS
QIS （Quanta Image Sensor）这个是Eric Fossum大概在2005年左右提出来的东西，后来在他去了Dartmouth教书之后就一直在做这个。他的学生JJ Ma之后于2019年和普渡大学的老师Stanley Chan提出了如何用QIS实现HDR的方法，主要的想法就是用时域和空域的oversampling去得到HDR图像。目前这个还是停留在concept阶段，同时也只还是相当于软件实现。具体的大家可以去参考IISW 2019的文章。

以上就是高动态范围成像的软件实现了--即HDR。下面说一下为什么软件实现就叫HDR，而硬件实现就叫WDR。我们看看如下图，是一个图像传感器典型的SNR曲线。大家可以想象之前介绍的软件实现，他们是不是本质上并没有改变sensor本身的DR，而是通过软件让图像在一定光照条件下的SNR提高了，那么我按SNR>0dB算，我图像的等效DR是不是就提高了，所以软件实现是将整个SNR曲线在纵轴方向上往上提，所以我们就叫High DR。而硬件实现呢，主要是让sensor在横轴方向上加宽，而SNR是不是往上提就不一定了，所以我们叫Wide DR，当然你要叫HDR，也没人怪你。。。OK，下面我们来看看硬件是怎么实现高动态的。。。。。。

我们可以看到，软件实现的HDR成像有个通病：慢！他需要做大量的计算，来得到最终的成像结果。所以很长时间以来，软件实现只能用于still image，那么硬件实现呢就是为了解决这个问题，让我们在录视频的时候也能很容易的实现HDR成像。

硬件实现呢，我们他们分为几个大类：
      - 基于空间的 Spatial-based WDR
      - 基于时间的 Time-based WDR
      - 基于光响应的 Response-based WDR
下来我们来一一分说。。。。。。

Spatial-based WDR - 1. Super CCD
Fujifim从1999年便开始研究此技术了，并于2000年发布了第一代产品用于FinePix S1 Pro相机如下图所示。Fujifim还因此技术而获得了当年的Walter Kosonocky奖。但最开始此技术并不是因为HDR而诞生的，真正用于HDR要等到2003年第4代产品Super CCD SR的发布（亦如下图所示），即在两个大pixel间插入一个小pixel，因为曝光量的不同，小pixel就需要在更强的光照条件下才能达到满阱，如此DR就获得了提升。此后Fujifilm在此技术方向上持续研发，直到2011年因为BSI CMOS image sensor的成熟和其优越的性能，而停止了使用该技术的相机的生产。但是该技术并没有死亡，而是在CMOS中又获得了重生。。。

Spatial-based WDR - 2. BME & SME-HDR
Binning-Multiplexed-Exposure（如下左图）和Spatially-Multiplexed-Exposure （如下右图）HDR这两项技术最开始均由Sony研发出来。BME很简单，就是行与行采用不同的曝光时间，最后再去用插值算法得到最终的HDR图像，该技术Sony于2013年用在了IMX135里（这也是第一个可以进行HDR录制视频的传感器），类似的技术也被其他公司所采纳，例如ONsemi的AR1335和OmniVision的OV2775。很明显，BME最大的问题是损失了纵轴方向上的resolution，那么如何解决这个问题呢？Sony随后便提出了SME技术，如图中黑，灰，白像素分别才采用了不同的曝光时间，Sony声称这种方式只损失一点点resolution，但他们也从没完全公布过他们的算法，不过应该不会简单，如果你仔细查文献的话，会发现Sony从2000开始就开始研究此算法了。同样，类似的技术也被其他公司所用，例如OmniVision的OV13A10，当然他们把这个叫做ZigZag HDR。

Spatial-based WDR - 3. Quad-Bayer HDR (QHDR)
当像素的尺寸不断减小之后，Sony干脆于2017年又推出了QHDR技术。之前不是BME&SME都会损失resolution吗，那好，我做2x2的小像素阵列，他们共用同一种color filter，而这2x2的像素中，又采用不同的曝光时间，再去插值，那我最后出来的不就是不损失resolution的HDR图像了吗，聪明！此技术被用在了IMX294上。其他的公司自然也是不会放弃抄Sony作业的，例如OmniVision推出了OV24A1Q，他们把这个技术叫做4-Cell Technology；棒子公司三星是最恶心的，估计是因为名称被OmniVision抢了吧，他们改了个名字，叫做Tetra-Cell Tech。。。呵呵。。。到了如今，该技术仍然在发光发热，但更多的是被用在PDAF（Phase Detection Auto-Focus）上

Spatial-based WDR - 4. Split-diode
2012年OmniVision让Super CCD技术在CMOS image sensor中涅槃重生！率先推出了OV10620，但当时可能是出于试验性质，两个PD做的是同样大小，但不久之后就推出了OV10640和OX01D10，采用了如下图所示的大小像素的排列方式；几年之后，Sony同样在IMX390中采用了该技术。但是该技术对工艺要求极高，不同大小的microlens，像素间的crosstalk，使得工艺，信号处理上的优化难度大大提升，这点可以从Sony在2017推出sample，在2019才得以量产中可以体现。故而近些年，该技术逐渐被各大产商所抛弃，不知道还有没有重生的机会呢。。。不胜唏嘘。。。

Time-based WDR - 1. Dual Sampling
该技术的出现时间极早！该技术由前面提到的前辈Orly Yadid-Pecht在JPL在Eric Fossum手下工作时于1996年提出。该技术说起来非常简单，就是一行像素从下面读出后，隔几行的时间，同一行像素再从上面读出。我们可以想到，这样下来，从下面读出的像素具有长曝光，而从上面读出的同一行像素具有短曝光，再将数据合成起来，就是HDR图像了。在当年依靠此技术便达到了惊人的108dB的DR！要知道这离现代4T pixel的提出也就间隔了一年的时间，可以说Yadid-Pecht教授是非常厉害的！由此技术可见，改变曝光时间对于HDR成像来说是多么的简明有效！该技术后来复杂一些的版本也被冠以不同的名字，例如Multi-Explosure，Multi-Slope，但本质都是改变曝光时间。
Dual Sampling.png

Time-based WDR - 2. DOL / Staggered HDR
这个技术可以说是dual sampling在现代sensor上的延续。Sony将其称为Digital-OverLap，OmniVision和三星将其称为Staggered HDR，而ONsemi又将其称为Line-Interleaved HDR，但其实都大同小异。都是结合不同曝光时间，那该方法和以前软件实现的最大的不同在于长短曝光信号的读出是交叠完成的，而不是像软件实现里那样是一帧一帧完成的，这样做最大的好处就是将motion artifacts降到最低（例如下面我给出的一个时序例子）。这种长短曝光相结合的方式，最大的问题是在两种不同曝光像素响应交叠的地方会有明显的SNR dip（如下面右图所示，这个是OmniVision在IISW2009上发布的结果）。这种SNR dip其实在很多不同的WDR实现方式中都会出现，后面我们还会碰到。那个这个SNR dip下降到多少是能够承受的呢？

回答这个就要提到我们在《CMOS图像传感器系列 - 2 一些必要预备知识》中提到的人眼的1000个光子的阈值了，即SNR=30dB。所以只要SNR不降到30dB以下，我们人眼是看不太出来的，所以大家在看各家的HDR sensor的datasheet时会发现，在大于一定光照强度后，大家一般都会将SNR保持在30dB以上，当然咯，SNR降到20dB，25dB的sensor也不是没有。但如果有可能的话，还是尽量做到30dB以上比较好。

Response-based WDR - 1. Logarithmic response
这个技术的基本思想便是模拟人眼的响应曲线，即Weber-Fechner law。最早提出该想法的是S.G. Chamberlain和J.P.Y Lee于1984年发表于JSSC，后来又由IMEC的N. Ricquier和B. Dierickx于1992年发表于ESSDERC上，以此构成了现代对数响应像素的雏形。对数响应像素是很轻松能够做到120dB以上；但他的问题也非常明显：因为是对数响应，所以他的响应contrast比较低；像素和像素间的FPN也因为这种非线性响应而让校准变的困难；另外还可能存在低照度响应不足和image lag等问题。正因为由这么多问题，所以该技术并不是很popular，只有法国的New Imaging Technologies一直在采用该技术，但近些年由于他们前任CTO的出走（这里多说一句，他们的前任CTO原是中国人，是个人非常nice的图像传感器领域的专家），好像也没有在该技术上继续研发了。。。

Response-based WDR - 2. Lin-Log & Multi-Log
为了解决前面提到的对数响应像素的低照度响应不足的问题，Dalsa于1999年提出了改进版本的Lin-Log和Multi-Log结构，即在低光照时，让pixel处在线性响应区，只有到了高照度时才进入对数响应区。虽然Dalsa发了专利，但似乎是没找到他们在商用芯片中使用该技术的痕迹。可能是即使采用了该技术，还是存在calibration困难的问题吧，当然这个只是我个人猜测。

Response-based WDR - 3. LOFIC
Lateral OverFlow Integration Capacitor技术最早由日本的Tohoku University的Sugawa的团队于2005年提出。该结构有两种基本变形，分别发表于当年的ISSCC和VLSI上。该技术是怎么实现HDR的呢？简单的说就是将M3的gate偏置在某个电压下，让其处于半关断的状态。当只有少量电子时，电子就全部待在FD里面；而如果有大量电子时，过多的电子就会overflow到大的CS电容上，这便是该技术名字的由来。那么我们读取像素两次，一次只读FD，我们将该信号称为高增益HG信号；再一次将M3 fully turn on，这样就能得到FD+CS的值，我们将该信号称为低增益LG信号。如果HG信号未饱和，我们就使用HG信号，若其饱和了，我们就使用LG信号。这样将两个不同增益响应的信号结合起来，我们就得到了HDR图像。和改变曝光时间一样，该技术也存在SNR dip的问题的（见右图）。Sugawa的学生，LOFIC的发明人Nana Akahane专门就有一篇文章介绍这个SNR dip降到多少是可以承受的，她专门就提到，最好保持在30dB以上，是对成像质量基本无影响的。其实该技术真要追根溯源的话，可以追溯到1991年的CCD时代，不过那时lateral overflow主要是用于anti-blooming，这个大家有兴趣的话可以自己去找老文献 “A 1/2-in CCD imager with lateral overflow-gate shutter”

Response-based WDR - 4. DCG (Dual Conversion Gain)
DCG技术在HDR成像领域有如不同曝光时间合成一般有名，因为他同样是如此的简明，有效！该技术最早由Micron的Howard Rhodes于2003年申请了专利US7075049B2，大家可以想下近些年为何各大厂家出现了如此多使用DCG的sensor了呢？专利过了20年有效期了啊！再个，他确实好用啊！我们可以看到他和LOFIC是非常像的，唯一的不同只是他的DCG管子要么是完全打开，要么是完全闭合。信号处理上跟前面LOFIC是一模一样的。

Response-based WDR - 5. DAG （Dual Analog Gain）
DAG跟DCG在思想上是非常相近的，主要就是产生两个不同增益的响应。不同点在于DCG主要是增加像素的满阱，而DAG主要是降低像素的噪声，这两者在扩宽DR的方向上是不同的。DAG其实还有一个名字，就是scientific CMOS（sCMOS），该技术的主要发明人是原来在Fairchild Imaging的Boyd Fowler（现任OmniVision CTO；一个非常强大的专家，他和现在在Meta的Chiao Liu一起发了非常多厉害的专利！）sCMOS由Andor，PCO和Fairchild Imaging合作发布于2009年，依靠此技术终于让CMOS image sensor可以和CCD有一战之力，由此CIS才终于在各应用层面爆发的，对此后10年的CIS发展都产生了深远的影响。
该技术就是在一个column内引入两个ramp ADC，一个ADC前面只是buffer，另一个ADC前面使用高增益放大器。这个现在说起来似乎如此显而易见，但往往最简单的东西，却也是最有效的！该技术强大在哪里呢？大家可以从下面右图中的结果可以看出，他在融合处是几乎没有SNR dip的！这是他和其他HDR技术最大的不同，这也是他能够被称为scientific CMOS的原因！

Response-based WDR - 6. Skimming HDR
Skimming这个思想最早的来源也非常早，在1982年在文章Hybrid infrared focal-plane arrays一文中就有体现了。而在现代CIS中，他主要是指将TG偏置到某个中间状态，让他处于半开半合的状态。跟前面LOFIC类似，当只有少量电子时，电子就不会从PPD转移到FD，而当有大量电子时，他们就会从TG overflow到FD上。最早在CIS使用该技术的是Toshiba，后来Sony在2007年也发表了类似技术的文章，其他一些公司也陆陆续续的发表了类似的技术。该技术的技术难点在于像素间TG的Vth的不匹配，TG偏置电压的优化，及电源噪声带来的variation。
其实也有人把LOFIC也叫做skimming，但我还是习惯把和TG相关的叫做skimming，因为从历史来源来看，TG的skimming跟原来CCD时期的skimming更贴近一些。

除了以上较详细叙述的HDR技术外，此外还有time-to-saturation，PWM，conditional reset，stepped reset，cascaded integration，push-back等等，另外还有些更为现代一点的技术，总之，HDR的技术选择还是非常非常多的，具体该怎么做，就要看具体的应用了。以上呢，就是我之前在公司上课讲的一大半的内容，剩下的一些呢，主要是对一些最新的HDR技术的评述，这里因为一些原因我就不说了。大家有兴趣，反正可以自己去找文献，找专利，看datasheet。。。。。。

HDR成像其实涉及的面非常广，有很多东西都是没法在一篇文章里去详细叙述的，举几个例子：
      - 用SPAD做2D imaging时该怎么做HDR？
      - dToF，iToF应用该怎么考虑HDR？
      - X-ray imaging的HDR？
      - 镜头对HDR成像的影响
      - HDR文件格式？如何压缩？
      - HDR图像如何显示在显示屏上？
另外这里对技术的介绍都很粗略，具体的技术实现，各种技术的优劣，如何进行选择。。。这些都是要大家在下面自己下功夫的！好了，希望大家能从本文中能学到一些东西。另外，本文对一些技术最早出现时间的介绍及评述，由于本人水平因素，也不一定完全正确，望各专家发现后能批评指正，谢谢！