光源大小怎樣影響條紋對比度

小米MIX4將會採用三星1。08億畫素感測器的新聞大家應該都聽說了，一時間大家都開始討論小尺寸感測器高畫素是否有意義，那麼迴歸本源來看，畫素的作用就是對鏡頭傳遞的空間資訊進行取樣，畫素數就是取樣樣本數，它與灰度級，也就是模數轉換位數共同決定了數字影象的質量，直觀上不難理解：樣本越多、灰度級越大，影象質量越好，這也是廣義上“畫素即正義”的根本。

不過影象處理並不能這麼直觀的來理解，空間域的濾波處理用數學化的方法複雜度很高，所以數字影象，也就是一個受限非週期函式往往透過傅立葉變換到頻率域來進行處理，以降噪為例，噪聲在空域來看就是一條條紋理，但傅立葉變換後就是點狀：

透過濾波處理再做一次反變換就能實現降噪後的重建，這比直接在空域進行處理要簡單很多，當然，快速傅立葉變換主要針對規律噪聲消除，隨機噪聲需要更復雜的濾波方法。而ISP在處理資訊時也必須把連續函式轉換為離散值序列，在影象中取一條一維連續函式f（t），以T為單位間隔的衝激串作為取樣函式去乘以它，就能得到一個取樣後的函式，算式我就不列了，影象會比較直觀一點：

豎虛線為衝激串示意，對應紅點的就是積分並使用衝激取樣得到的值，於是1/T就是取樣率，而取樣率要足夠高才能為週期之間提供有效的間隔，以保證頻域資訊的完整性，下圖是一個帶限函式的傅立葉變換：

下面是過取樣、臨界取樣和欠取樣條件下采樣後的函式的傅立葉變換：

很明顯，較高的1/T值在週期之間有明顯的間隔，從上圖2也不難看出，以1/T取樣率對一個訊號取樣的最大頻率是1/2T，也即是：一個連續帶限函式取樣率等於函式最高頻率2倍，不會產生訊號損失，這就是奈奎斯特取樣定律。低於此值的取樣率樣本可參考上圖3，最終結果是週期重疊，無論如何濾波都不可能再分離出變換的一個單週期，這種效果就是混淆，經典的代表是邊緣鋸齒和摩爾紋。

而且奈奎斯特頻率也不是絕對的安全值，下圖為在兩個方向上無線擴充套件的正弦波sin（πt），週期為2秒，頻率為1/2週期/秒：

若準確按照2倍頻率，也就是1秒取樣1次來恢復訊號，於是在t=0，1，2，3……位置取到sin（0），sin（π），sin（2π），sin（3π）……而它們的值都是0，這顯然無法正確還原訊號，而比它更低的取樣率會導致明顯的混淆，所以在現實應用中我們往往需要取樣率在函式頻率的更多倍，也就是比奈奎斯特取樣率更高，才能進行有效重建。

有了這些基礎知識後，高畫素密度的問題自然迎刃而解，對無限遠處2個點光源透過理想光學系統在焦平面形成的衍射光斑最小可分辨間距為：

D為入瞳徑、f為焦距、F為光圈值，以可見光波長0。38-0。78微米，F值1。6來計算，不難得到0。74176-1。52256微米的間距值，而按照奈奎斯特取樣定律，作為取樣點的畫素邊長也就是0。37088-0。76128微米，顯然，目前還沒有畫素設計達到了這個標準，當然，這是理想光學條件下的結論，實際受鏡頭像差（這才是影響最大的）和工藝的影響，數值比這個要高出不少，但0。8微米畫素依然是在容限範圍以內的，更何況往往奈奎斯特取樣標準還不夠用，所以1/1。33英寸做一億畫素距離理論極限還有一定的距離，依然有益於提升成畫素質。

感測器OK了，那鏡頭會不會拖後腿？小尺寸感測器意味著小像場鏡頭，有相對更小的光線高度h和視場角u，而幾乎所有像差的大小都與這兩項引數有直接關係，隨便舉兩個例子，比如垂軸球差展開式為：

A和a為鏡頭常數，再一個例子，雙膠合物鏡二級光譜值為：

其中f’為複合焦距，PFD1/2、V1/2為膠合鏡片的相對色散和阿貝數。雖然只列了2個例子，但事實上光線高度對整個像差幅度都有明顯影響，因此單純看空間解析度，小像場鏡頭往往會有非常驚人的素質，反過來也應該不難理解大像場鏡頭做大光圈設計為什麼很難達到高MTF，當然，如果只用大像場鏡頭的中心部分來投影小尺寸感測器，效能也不會差。而且無反結構提高了鏡頭的設計空間上限，隨著各家工作重心已經轉移到無反上，無反大光圈鏡頭效能已經逐步跟上，這同時也就為高畫素機型的發展提供了現實需求。

還是用已有的方案來對比吧，隨手找了個手機鏡頭的跑分圖：

從MTF上不難看出中心點MTF50達到了驚人的350lp/mm，邊緣區域徑向MTF50最低也有接近150lp/mm，這是大像場鏡頭無法比擬的先天優勢（全畫幅鏡頭中心點在最佳光圈MTF50能達到120lp/mm已屬頂級），而我們粗暴假設這是一顆1/1。7英寸像場鏡頭，這意味著它的像高為5。58mm，再粗暴地按中心點MTF計算可得到1953LW/PH，也就是說它可以50%的對比度傳遞1953對黑白相間的橫向條紋用於感測器成像，對應的感測器解析度下限就是5208x3906，約2034萬畫素，而結合奈奎斯特取樣定律，所以它需要對應至少4068萬畫素才能以數字形式有效復現鏡頭傳遞的模擬像。從這個角度來看，現有手機攝像頭還遠沒有到設計極限，當然這個演算法非常粗暴，畢竟使用的都是理論高數值。

小感測器有一個比較明顯的問題是更容易受噪聲影響，其中最主要是隨機噪聲，光子隨即入射產生的光電子散粒噪聲與感測器尺寸為正比關係，熱噪聲、暗電流則與製造工藝和環境溫度有關。解決隨機噪聲最行之有效的方案正是手機領域非常擅長利用的多幀技術，因為隨機噪聲分佈符合統計學規律，所以將帶噪影象代數相加後求均值即可有效消除，設g（x，y）是無噪聲影象f（x，y）被噪聲n（x，y）汙染後的影象，對影象進行K次曝光後單個畫素X取均值：

數學上不難推匯出隨K值的增大，每個（x，y）畫素位置的變化會以方差或標準差的形式減小：

這樣一來，代數相加取均值後的g（x，y）就能大幅降低隨機噪聲的影響，使其更接近f（x，y）。這在天文攝影領域也是很常見的方法，結合製冷可以有效消除長曝光時的噪聲影響。目前來看所有手機ISP方案都極其重視這項技術，結合堆疊式工藝，實現難度也不算高。

至於感測器本身的模式噪聲則主要與工藝有關，比如畫素內復位管和源跟隨管閾值電壓變化，列處理器電路開關時的溝道電荷注入，每個畫素對光響應不一致性等問題，可以透過設計消除或改善，而現代手機感測器已經基本普及為背照式，相當多已經用上了堆疊設計，數字層的製造工藝已經進步到了相當高的水準。

不過，小尺寸感測器最大的先天桎梏還在低照度信噪比上，但華為已經為行業指出了一個比較明確的方案：畫素合併+高倍增益+暴力降噪演算法。這次小米的三星1。08億畫素方案依然是4合1方案，合併後實際到ISP的也就是2700萬畫素，而按目前的說法來看這次應該是可以全畫素/合併畫素都能輸出。在讓開口率達到100%的背照式設計與無隙微透鏡全導光的情況下，合併畫素輸出與原生2700萬對ISP來說沒有區別，但結合特定的子畫素彩色濾鏡設計可以實現特定的目的，比如在自動駕駛攝像頭裡會用到只保留紅色分量的RCCC陣列，以及增大光譜透過率的RYYB，此前甚至傳聞MIX4上1。08億感測器是RWB陣列，不過三星S5KHMX公版依然是拜耳，不知道小米是否會如傳聞那樣定製設計。

比起原生單畫素來說，子畫素分量的優點是可提供更符合設計需求的加權，比如RWB就會一定幅度增強量子效率，進而讓合併畫素具備更低的極限靈敏度閾值，也就是用更少的光子就能讓信噪比達到1，在更弱的照度下也能進行有效成像（注意，單純的加大像素面積並不是提高弱光成像質量的充分條件），結合多幀均值並對此訊號賦以高倍程控電壓放大，就會得到一個訊號與噪聲都相當高的輸出，再使用透過神經網路學習得到的降噪演算法進行濾波，獲得一個在手機這種小幅面輸出素質很不錯的結果。當然，這種暴力降噪的代價往往是明顯的影象模糊，但解決了手機攝像頭在弱光環境難以快速成像的問題。

合併畫素還會讓阱容等比增大，從而提升了動態範圍（最大不飽和訊號電壓/本底噪聲電壓）和信噪比（訊號電壓/系統噪聲電壓），這與色彩濾鏡採用何種設計是無關的，在現代工藝下已經可以做到與原生大畫素基本相當的水平。結合可進行1分4的1。08億拆分輸出意味著，它能夠在高解析度和高動態範圍（信噪比）這兩個不可同時獲取的極端自由遊走，不僅僅是單一的輸出，這才是高畫素+合併的意義所在。

至於非拜耳陣列的色彩還原也有很多論文討論過，其實任何需要猜色的濾鏡陣列插值演算法都是一個單純的經驗問題，即便拜耳陣列在數字成像野蠻生長時代也有相當長的時間是色彩還原明顯不準，比如下圖：

這是一張1999年柯達DSC 620拍攝的200萬畫素彩色照片，不難看出色調有點怪怪的。大多濾鏡陣列的插值演算法在商用初期都會有一定幅度的偏色，但這是一個會隨裝機量提升而提升的“軟規格”，能不能成事純粹要看上游的態度和市場是否買單，這也是把新濾鏡先用在對色彩準確性要求沒那麼高，但使用者群迭代很快的手機領域的原因，畢竟色彩還原並不是手機攝影的絕對重點，大多數人甚至會主動加濾鏡來調色，所以這個策略也是非常正確的，RYYB於華為P30系列就是個很好的例子，非生產力工具就適合來做這些新嘗試，而且三星RWB是2015年就已經推出的技術，這些年來應該有持續的研發積累，假設小米會定製色彩濾鏡的話，這方面也並不會成為掣肘之處。

總體來說，目前的一億畫素1/1。33英寸感測器不僅不會成為問題，反倒會給使用者提供新的應用方式，比如6K 30p影片，事實上它還挺適合用在手機端的，而且對目前仍處於高速發展階段的ARM SoC算力而言，開銷也能在接受範圍之內。如果是定製RWB感測器，那鏡頭選型就簡單多了，因為RWB量子效率更高，且感測器面積更大，採用相同通光量鏡頭意味著它接受到的總光子數會更多，換言之它不需要特別高的F值就能達到傳統拜耳陣列較大F值的亮度水準，所以這個一億畫素RWB感測器應該會配相對小F值鏡頭，比如F1。8甚至F2。0，也就比現有最快的手機鏡頭慢了不到一檔而已，解決了口徑和厚度的問題同時效能也不打折，方案明顯優大於劣。

如果沿用Quad Bayer公版，模組尺寸基本就是現有方案的等比縮放，1/1。33的面積接近1/1。7的1。5倍，對角線長1。2倍多一點，這麼粗暴對比一下不難發現其實變化並沒有想象中大，只要不在其他設計上追極限，就沒有太大必要擔心體型的問題。