圖像信號處理（Image Signal Processor，新方ISP）傳統上是新方多媒體市場的重要芯片支柱。從數字照相機到智能手機，新方ISP在一切需要拍攝圖像的新方領域都扮演著重要的作用。而隨著社會生活智能化的新方進一步提升，ISP也在進入許多新的新方市場應用領域，而這些新的新方智能場景對于ISP提出了新的需求。
首先是新方自動駕駛/輔助駕駛領域。機器視覺是新方自動駕駛/輔助駕駛的支柱技術，如果沒有機器視覺那么這些新的新方智能駕駛技術恐怕都很難成功。在自動駕駛/輔助駕駛領域，新方ISP扮演著重要的新方角色。ISP負責把原始影像（RAW Image）作相應處理，使之成為能夠更好地被機器視覺模型處理的圖像。在這個過程中，為了確保自動駕駛/輔助駕駛技術的可靠性，需要確保在低光照等情況下機器視覺模型也能正確工作，這就需要ISP能對于圖像做夜視和降噪處理。傳統上可以通過提高曝光時間來降低噪聲的影響，然而對于自動駕駛/輔助駕駛這類對于延遲非常敏感的場景，提高曝光時間并非一個有用的選項，這就需要ISP能夠使用下一代降噪和夜視技術來滿足相應的需求。
在自動駕駛/輔助駕駛之外，安防也是對于ISP技術有新需求的新智能場景。安防場景中，也需要處理各種低光照等場景，為了確保成像質量不受影響，也需要ISP能很好地處理這些場景，從而確保安防監控能真正在所有時間段和所有場景下都能提供保護。
最后，在多媒體場景下（如手機等），拍攝也在越來越智能化，用戶對于拍攝成像質量的需求也在逐漸提升，除了和前述相似的夜景拍攝之外，還有各種智能化的需求，包括自動場景識別（從而能夠根據場景自動調用最佳的傳感器設定），自動人臉檢測（從而確保自動曝光和對焦等算法的準確性），超分辨（從而實現更好的遠距離拍攝）等等。這些都要么需要對原有的ISP功能做改進，要么就是需要ISP引入新的功能，從而確保用戶體驗。
人工智能能解決ISP的技術挑戰
在前述的智能化應用中，事實上使用新一代的人工智能神經網絡往往是夜視、場景識別、人臉檢測、超分辨等的最佳解決方案。
從夜視降噪來說，目前的最優解決方案就是使用神經網絡來完成降噪。由于噪聲是一個隨機過程，因此很難有解析的公式來完成降噪；而是用神經網絡則可以通過收集大量的同一個場景的低光照／高光照照片對來實現訓練，確保神經網絡能在訓練數據集上能夠將低光照照片擬合到高光照照片上，這樣當訓練數據量足夠大的時候，該神經網絡就能夠有很好的泛化能力，從而在所有的場景下都能夠完成夜視降噪。如下圖所示，右邊使用人工智能神經網絡的解決方案效果遠遠好于傳統ISP的夜視降噪方案。
除了夜視降噪之外，超分辨是人工智能另一個有顯著優勢的場景。超分辨和夜視降噪一樣，很難對于整個問題做數學上的建模，但是通過大量數據的學習，神經網絡可以實現非常好的超分辨效果，其效果遠遠超過普通的數字變焦，從而可以以較低的硬件成本（無需高倍鏡頭）就能實現很好的用戶體驗。
最后，對于場景識別、人臉檢測等功能來說，本來人工智能就已經在這類場景得到大量的廣泛應用，因此把相關的模型使用到ISP相關的領域，讓ISP來根據模型的輸出來做相關的拍攝參數調整，也是自然不過的選擇。值得注意的是，場景識別和人臉檢測使用神經網絡的準確度會比使用其他傳統方法高許多（判斷錯誤的概率甚至可以低一個數量級），因此未來使用人工智能也是自然的方向。
人工智能與ISP的整合
回到芯片設計的角度，為了在ISP中加入人工智能的元素，就需要對于ISP做相應的調整，來和人工智能做整合。
眾所周知，這一代的基于神經網絡的人工智能的一個重要特點是神經網絡參數多，計算量大，因此為了滿足ISP的相關需求，需要能有一個能高效處理人工智能計算的相應模塊（AI引擎）來滿足ISP的需求。同時需要注意的是，由于ISP對于延遲和功耗都有需求，因此AI引擎也必須考慮這兩方面的因素。
為此，有兩種不同的ISP整合人工智能解決方案。第一種方案是把ISP和AI引擎整合到一起，在同一個IP模塊里面。這樣做的好處在于ISP和AI引擎耦合度較高，因此能夠通過ISP和AI引擎的協同優化來實現較高的延遲和功耗。舉例來說，ISP往往是一個流水線，處理像素的時候也是分批處理（而不會一直是等到所有像素都傳到之后再處理）；另一方面，基于卷積神經網絡的AI模型也可以利用類似的流水線特性，將像素分批處理。通過將ISP和AI引擎深度整合在一起，就可以協同設計這樣的流水線，從而實現更好的延遲。另外，神經網絡和ISP事實上對于DRAM訪問都有很高的需求，如果能夠將ISP和AI引擎通過深度整合來協同優化內存訪問的調度，從而確保兩者不會同時大量訪問內存，將會大大減少對于DRAM帶寬的壓力。然而，這樣設計的問題在于AI引擎只能被ISP調用，因此如果ISP不工作的時候，AI引擎事實上就不會被打開，從而就有了dark silicon（芯片面積浪費）的問題；另外ISP和AI引擎的協同設計很多時候是假設AI引擎會跑幾個固定的模型，如果想要更新模型的話類似的硬件上固化的設計就不再是最優的了。
除了深度整合之后，另一種設計思路是將ISP和AI引擎分開，但是確保ISP可以AI引擎之間有順暢的數據通路，同時確保ISP有高優先級調用AI引擎。這樣的好處是AI引擎不會被浪費，就是ISP不啟動的時候也可以給其他應用調用；另外可以靈活配置使用在AI引擎中的模型，從而讓ISP中使用的神經網絡模型可以使用軟件控制。當然，由于ISP和AI引擎耦合度較低，這樣也較難深度地為ISP和AI引擎做協同優化，從而在延遲和能效比方面將會有一定成本。
我們認為，在這兩種整合模式中，如果目標產品本身就是一塊ISP芯片，那么顯然第一種整合方式是最合理的，因為ISP芯片的首要目標就是高性能高能效比，而且其AI引擎本來就不會被系統中的其它模塊所調用。另一方面，如果目標產品是ISP IP的話，那么兩種整合方式都有其合理性，對于追求性能的高端ISP IP，我們認為更有可能會在ISP中集成一個較為強力的AI引擎，確保高性能高能效比；對于中端的ISP IP，未來的方向可能是在ISP IP中整合進一個較為基本的AI引擎，來確保基本的相關模型可以運行，同時也會在ISP上留夠接口，使得ISP能通過片內互聯的方式來訪問SoC上的其他AI引擎，從而如果需要運行較大的模型時候可以使用其他的AI引擎實現。
AI ISP在芯片業界已經漸成主流
AI ISP事實上已經得到了半導體業界的重視，相關的產品已經漸漸問世。
去年年底，海思就宣布推出了下一代用于安放場景的越影ISP芯片，其主要的亮點就是通過與AI引擎的深度整合，實現夜視降噪的高效處理。同樣是在去年，Oppo發布了自研的馬里亞納ISP芯片，其主要特點也是通過整合高達18TOPS算力的AI引擎，從而實現4K影像的實時夜視降噪，從而為手機用戶帶來全新的用戶體驗。
在今年，也有越來越多的廠商推出了AI ISP。今年年初，安霸在CES上發布了AISP，該產品充分利用了安霸在圖像和AI領域的積累，從而實現高效的下一代ISP；上個月，芯原也推出了AI-ISP的IP，同樣是針對夜視降噪場景；愛芯元智的愛芯智眸AI-ISP也正式發布，通過將ISP中的幾個關鍵硬件模塊抽離并用AI算法取而代之，實現整個AI ISP的最佳效果。
如前所述，隨著自動駕駛/輔助駕駛、安防、消費電子的進一步智能化，相應的對于ISP的需求正在推動ISP和人工智能做整合，而上述公司的新產品也恰好是針對了這些重要的應用場景。我們認為，隨著智能化的進一步加深，AI將會成為ISP中越來越重要的一個環節，未來ISP芯片和IP中也會看到AI引擎的進一步整合。
