CMOS图像传感器系列 - 1 图像传感器概述

feynmancgz

首先介绍一下我的背景吧，我呢，在欧洲做全定制CMOS图像传感器，摸爬滚打了也8，9年了，然后做为坛子Analog/RF IC讨论区的版主也有十几年的时间了，在坛子里最活跃的时候大概是2011到2017这段时间吧，后来工作确实是太忙了，其实逛坛子的时间就少了。这段时间刚好放假，闲一些，就想着写写这自己对image sensor设计及行业的理解吧
我算不上这个行业的顶级大牛，就还凑活吧。前些年国内呢，在CMOS image sensor这个行业的寥寥无几，现在那就非常多了，至少开始吹牛和忽悠的，已经是多如牛毛了，但技术上做的好的公司其实也有不少了。但在学校里呢，真懂这个的老师就比较少了。我记得是2013年吧，当时跟国内老师聊天，我说我在做CMOS image sensor，然后他说这个用的比较少吧，CCD还是用的多，但其实呢，那个时候在国外大多厂家都已经转到CMOS来了。而且据我所知，国内高校无论是本科还是研究生课程，都没有为图像传感器开一门课程的情况。所以呢想写点东西，也希望能激起大家对这个行业的兴趣吧，投入到 image sensor 的队伍中来！  后面写的时候，一些专有名词可能会用到英文，因为确实不熟该怎么翻译，望大家谅解。

好了，不说废话了，我们进入正题！如有幸被行业大牛看到此文，如有不妥之处，请批评指正。

首先，我想介绍一下CMOS图像传感器这个行业的公司的概况。这个行业国际上的顶尖公司有：索尼，三星，豪威（现在算是中国的公司），意法半导体，安森美，这几家呢，基本就占据了全球80～90%以上的市场份额，在一些细分领域，这几家也分别占据着各自的龙头地位。国内呢，最大的就是豪威(OmniVision)了，这是韦尔股份从美国买过来了的，但是豪威本身创始团队就大多中国人（清华系的），所以咱再买过来也属正常；然后出货量最大的算是格科微(Galaxycore)了，刚刚上市，创始人赵立新也是清华的，他家产品上相对是打低端，物美价廉系的，中高端也在布局，最近听说还准备建Fab；然后就是思特威(SmartSens)，他家在安防领域是很强的，创始人徐辰是从豪威出来的人；还有长光辰芯(Gpixel)，他家最开始是依托于长春光机所，以做科学级传感器起家，然后进入工业领域，现在消费级也在布局，创始人王欣洋是从欧洲回去的，这个就比较熟一点儿 这是比较大的几家，其他其实还有很多小厂，比亚迪其实也有做这一块儿，我就不一一列举了，“广告" 没能打到的，大家也不要怪我 （其他还有些厂，后面可能还会提到）。我这里只介绍芯片厂商，国内还有很多做相机的厂商，我就不提了，大家感兴趣可以搜搜。

下面来说说图像传感器的分类吧，首先基于硅的图像传感器目前大致可分为CCD和CMOS两大类，当然其实还有一些其他技术，比如CID(Charge Injection Device), CMD(Charge Modulation Device), TFT(Thin Film Transistor) 等等，甚至更老的还有用真空管做图像传感器的，这些都比较小众，都没有发展起来，我就不详述了，各位看官可自己搜。硅吸收光子的能力也是有限的，硅的禁带宽度大概是1.2V左右，所以硅所能吸收的光子的极限波长到1.1um左右，理论上只要波长小于1.1um的光子，都能用硅做，我为什么要强调这个呢，因为大多数人的日常经验只是可见光(380~780nm)，但基于硅的传感器在UV, EUV, X-ray, Gamma ray, Near-Infrared 这些领域是可以用的。1.1um以上的光子就进入到真正的红外领域了，红外领域又可分为Near-Infrared(0.75~1.0um), Short-Wave IR(1~3um), Medium-Wave IR(3~5um), Long-Wave IR(8~15um) 这些细分领域。这里首先有个问题：5-8um去哪了？因为大气对这个频段有很强的吸收，所以用不到。红外可用的材料就非常多了，用的最多的就是HgCdTe了，这个材料最大的好处就是调整不同元素的占比可以调整他对不同波长的灵敏度，但这个材料就是造起来比较麻烦；其他的材料比如还有InGaAs, InSb, PbS等等，另外还有量子点(Quantum Dot)，量子阱(Quantum Well)，超晶格(Superlattice)这些了，但这些东西都有个共同的毛病，就是不好用来做电路，所以他们一般都会在下面连一个ROIC(ReadOut IC)把信号读出来，这个自然就是基于硅的了。红外其实还有一个大的方向，就是热辐射计(Bolometer)，热电偶(thermopile) 这些直接检测热辐射的，而不是光子，相信这个大家由于疫情就很熟悉了吧，小区，商场总有人拿着把“枪”朝你头上怼一下:) （硅在红外领域是不是完全不能用呢？也不完全是，有人就做过基于肖特基结的短波红外传感器，太冷门，就不多说了） 最后再提一下近几年出现的新型领域：太赫兹成像，2D material（主要就是基于石墨烯的能检测从可见光一直到中波红外的传感器），但这些目前就相当不成熟了。

作为主流传感器，接下来就说说CCD和CMOS图像传感器的历史吧。CMOS作为图像传感器的历史其实比CCD还稍早，最早的像1967年由Fairchild的Gene Weckler提出的将PN结反偏，然后不断积累光子的理论（见附件1），可以说现在所有的CMOS图像传感器都是基于这个理论的。稍晚一点儿，1968年Plessey的Peter Noble第一个提出了所谓的APS(Active Pixel Sensor，当时当然不这么叫，这个名字是后来Olympus的Tsutomu Nakamura取的)，即在像素中使用source follower将pn结上的信号读出（见附件2）。然而，1969年于Bell Lab的CCD横空出世使CMOS图像传感器的研究几乎戛然而止，大家瞬间意识到这个技术在图像传感器领域的巨大潜力，而将精力全部投放在CCD上面，直到90年代初期，然后这期间为CCD打造的技术，并没有终结，反而为后来CMOS的迅猛发展奠定了坚实的基础，这其中就有70年代初期有Marvin White发明的CDS(Correlated Double Sampling) 及 80年代 Nobukazu Teranishi发明的PPD(Pinned PhotoDiode)，现在所有的CMOS图像传感器都无一例外的会用到这两项技术。而将CMOS图像传感器发扬光大，就要等到1993年由JPL的 Eric Fossum 的团队做出了（见附件3）；随后的1995年，使用PPD的4T pixel也由Fossum的团队做出（见附件4），由此现代CMOS图像传感器像素的雏形便诞生了。之后，Canon，Nikon，Kodak等一众单反相机厂商投入到CMOS image sensor的研制中，开始蚕食CCD的市场份额。而真正让CMOS图像传感器爆发的是在2000年后将其引入手机，而之后的故事，我想大多数人也就知道了。第一台用于手机的CMOS传感器只有110k个pixel，而如今的手机有110M pixels，大家用20年的时间将pixel数量翻了1000倍。当然，最初的CMOS传感器的性能是无法与CCD相媲美的，其中最大的问题便是FPN(Fixed Pattern Noise，以后我们会介绍），还有暗电流（Dark Current)，因此很长一段时间，CMOS传感器虽有长足发展，但一直都停留在消费类电子，无法进入高端领域。直到2010年左右，由Andor，Fairchild和PCO共同发布的 sCMOS(scientific CMOS) 技术，让CMOS打入了科学级图像传感器的市场，其后CMOS传感器便几乎在所有成像领域取代CCD。如今，CCD除了在 TDI(Time Delay and Integration) 这个领域，部分天文台，微光成像（由于Electron-Multiplying CCD）还有所残留外，几无容身之地了。

那么CMOS传感器现在都用在哪些地方了呢？可以列举如下：

• 消费类：这个就多了去了，手机是最大头，这也是Sony能在市场独占鳌头的原因，然后还有玩具，单反相机等等
• 工业类：所谓的Machine Vision，主要是屏幕检测啊，生产线监控啊，等等
• 科学类：这就比如像天文台啊，各种显微镜啊（比如现在比较火的冷冻电镜）
• 安防类：主要就是商场啊，银行啊，马路上这些监控，国内大的相机厂就有海康威视，大华这些
• 汽车类：现在哪台车没个摄像头呢？360度全景那更是不用说，还有ToF(Time-of-Flight)
• 医疗类：主要就是像X光，CT，内窥镜啊这些东西
  

所以你看，现在CMOS传感器的应用领域是非常广的，融入你生活的方方面面。正因为CMOS传感器有这么多的应用，所以芯片的尺寸也是变化非常大的，像最小的内窥镜芯片，最小的现在有大约 0.5x0.5 mm2，也有像X光的，大的能到 10x10 cm2，一片wafer就能放一个die。不过一般的sensor都在几个mm2到几个cm2大。正是图像传感器有这么多好玩的东西，所以我在这个行业也是越玩越觉得有趣，能接触到各种不同的东西 另外，我想说的是，设计一个图像传感器所能获得的快感绝对不是设计一个ADC，一个PLL, 一个Bandgap能够比拟的，因为图像传感器是一个庞大的系统，所有你在模拟电路领域接触过的东西，在image sensor上面都要有！当然图像传感器还有一个他最特别的地方，就是：像素。设计一个好的像素是非常困难，但也是最好玩的，你需要将器件物理，电路，工艺，光学等知识全部综合起来才能设计一个“完美”的像素！最最让人兴奋的是，当你用你自己设计的传感器成功拍出一张图片的时候！所以我们公司，每次有一块芯片能出图了，就让设计师用自己设计的芯片拍一张自己的肖像，那感觉是非常爽的！设计一个ADC，你能干啥？给个正弦，测一堆数据，然后出个SNR图。。。设计一个PLL，你能干啥？给个时钟，诶，我出来另一个不一样频率的时钟。。。多无聊啊，是不是？设计一个Bandgap，呵呵，我就不说了，自己体会。。。（我去，他竟然能产生出一个恒定电压耶）哈哈哈哈哈 开个玩笑，各ADC，PLL，Bandgap设计师勿喷 反正我觉得，图像传感器设计师，是芯片设计领域最让人觉得幸福的工作！

下面再来说说如果你想进入这个行业，然而，学校又不教，那你该学些啥呢？怎么学呢？

• 首先单就这个领域来说，想读到博士不是那么容易的，因为国内没啥老师做这个，国外的话，其实也不是很多
• 第二，正因为图像传感器涉及模拟设计的方方面面，其实学什么都好，只要学的好，真正感兴趣，博士毕业找个图像传感器领域的好公司就好。（当然，你想学pixel设计的话，这个不是很好搞，国内会这个的老师可以说几乎没有，另外，pixel设计对任何一个图像传感器公司来说都是顶级机密，所以，除了去公司学外，几乎另无他途）
• 模拟电路设计的基本功真的要掌握好，应该就是要做到信手拈来的东西。任何一个图像传感器都是一个极其复杂的系统，所以我们需要将更多的心思放在整个系统的优化上。有时候一点点儿系统架构上的改变，是你无论怎么优化电路都无法达到的效果的。
• 看一些这个领域的论文，个人不建议初学者去看ISSCC上的，image sensor领域大多都是公司在发文章（学校现在在这个领域很难做出好东西了），公司发文章最大的问题是绝对绝对不会讲任何细节解释，大多都是系统上形而上的东西，初学者基本看完了也是一头雾水（我记得我是在公司待了3-5年之后，各种东西都摸了一遍，看ISSCC的文章才真正有些感觉了）
• 那JSSC呢，这个可以看看，毕竟比ISSCC要多不少细节，但对初学者还是不太建议的
• 那么问题来了，该看哪些文章呢？这里我推荐去看IISW(International Image Sensor Workshop)上的文章，虽然只是workshop，但绝对是图像传感器领域最大的盛会！这里的文章都不长（4页纸），但这里的文章涉及到图像传感器设计的方方面面，有的时候是一个非常非常小的细节，所以4页纸足以把问题说明白了。这里奉上链接https://imagesensors.org/
• 看一些专门讲图像传感器的书籍，这个对于初学者来说其实是主要的，这里推荐几本，我也都放进附件里了。有了图像传感器的基本认识之后（这个我后续会出一系列讲解），你就可以开始看一些高大上的东西了，比如JSSC或是其他一些Journal类的文章
  

这第一讲放到最后，想说一下如何紧跟行业动态：

• 图像传感器领域大家最常跟踪的便是 Image Sensor World 这个Blog，http://image-sensors-world.blogspot.com/ 这个网站唯一的问题是：需要翻墙。但这老头儿真的特别好，会经常发布这个领域发生的一切大事小情，非常有意思！
• 国内的话，还可以去一个论坛，大话成像 http://dahuachengxiang.com/ 大家还是要坚守eetop这个坛子，但关于成像的话，可以去那里。这个论坛相对比较新，其实东西还不太多，还有一个问题就是图像传感器这个圈子真的非常小，所以人也不是太多，有专家有时间去上面发帖子的就更少了。但总之这是个开始吧，希望图像传感器在国内越来越繁荣吧！
  

OK，这就是第一讲的全部了，后面就开始讲解图像传感器设计的一些相关知识了。但因为工作比较繁忙，可能更新频率不会太高，望各位谅解！

feynmancgz

CMOS图像传感器系列 - 2 一些必要预备知识
CMOS图像传感器系列 - 3 像素设计基础
CMOS图像传感器系列 - 4 传感器关键指标概述

feynmancgz

feynmancgz 发表于 2021-11-19 21:28
CMOS图像传感器系列 - 2 一些必要预备知识
CMOS图像传感器系列 - 3 像素设计基础
CMOS图像传感器系列 - 4  ...

CMOS图像传感器专题 - 1 高动态范围（HDR）成像

iclogin

火前留名，感谢楼主系统地分享CIS领域的工程经验

icroad

多谢分享

guoxiliang

火前留名，感谢版主。

398144753

感谢楼主汇总，想起了自己前几年做CIS工艺的时光了，当时很痛苦，现在回想起来也算是一种经历了

尼猫

先马克一下，谢谢分享

15139909423

有幸拜读，几年后会看到消费领域的崛起，mark一下。

15139909423

streaking 黑带白的机理，楼主能不能讨论一下？

feynmancgz

15139909423 发表于 2021-11-14 18:14
streaking 黑带白的机理，楼主能不能讨论一下？

这问题一看就知道是对CIS有一定程度了解的。好的，后面我可以出个关于这个的专题。这里我先给你一篇2009年IISW上的文章，里面对这个问题有一定的阐述

feynmancgz

398144753 发表于 2021-11-14 13:04
感谢楼主汇总，想起了自己前几年做CIS工艺的时光了，当时很痛苦，现在回想起来也算是一种经历了 ...

你是在哪个厂啊？方便告知吗？国内好像没Fab会做CIS工艺的，或者说做的一般