臺積電董事長劉德音在 SEMICON Taiwan 2023 大師論壇演講時表示，劉德來重接下來 10 年，為為半人工智慧 （AI） 應用於許多實際任務，人類例如臉部辨識、生活商機語言翻譯、和工電影和商品推薦。作帶再接下來的大改導體帶來 10 年，AI 進步到另一個層次，變也能夠 「匯整合成知識」。劉德來重生成式 AI（例如 ChatGPT） 可以創作詩詞及藝術品、為為半診斷疾病、人類撰寫報告和電腦代碼，生活商機甚至可以設計出與人類打造的和工積體電路相媲美的相似產品。AI 為人類的作帶生活和工作帶來重大改變，也為半導體產業帶來龐大的大改導體帶來商機。
劉德音強調，AI 應用的突破性發展來自三個因素。首先是高效深度學習演算法的創新；其次是透過網路取得的大量訓練資料；第三是半導體技術的發展提升了節能運算的能力。
而 AI 發展過程中的幾個重要里程碑是由當時領先的半導體技術實現的。例如，深藍超級電腦採用 0.13 微米技術，深度神經網路的初始圖像辨識採用 45 奈米技術，著名的 AlphaGo 採用 28 奈米技術，最初用於訓練的 ChatGPT 伺服器採用 5 奈米技術，最近的 ChatGPT 則是由採用臺積公司 4 奈米技術生產的伺服器提供支援。ChatGPT 已廣泛應用於日常生活中，展現了 AI 普遍使用於高效能運算技術，為社會中的每個人帶來助益。
然而，在過去的 5 年，AI 訓練所需的運算能力和記憶體容量增加了好幾個數量級。例如，GPT-3 模型需要超過 5,000 peta-FLOP-days （5E18 Flop-days） 的運算量和 3 兆位元組 （3E12 位元組）的記憶體容量。
因此，生成式 AI 應用所需的運算能力和記憶體仍在快速增長，半導體技術要如何以如此快的速度發展呢？
劉德音表示，自從積體電路發明以來，半導體技術一直在進行尺寸微縮，試圖將更多的半導體元件（或電晶體）置入指甲般大小的晶片中。現今，整合技術已往上提升了一個層次，將許多晶片整合到一個緊密且大規模互連的系統中。這是我們十多年來見證到的半導體技術整合中的「典範轉移」。我們超越了 2D 微縮，進入到 3D 系統整合。
而在人工智慧時代，系統的能力與系統中整合的元件（或電晶體）數量成正比。我們可以利用中介層將整合系統的尺寸擴展到曝光光罩尺寸之外，整合系統晶片比單晶片容納更多的元件。臺積公司基於 CoWoS 技術開發的超級載體中介層能夠容納高達 6 個光罩曝光面積的運算晶片，以及 12 個 HBM3 高頻寬記憶體堆疊。
對人工智慧來說，3D SoIC 是另一項越來越重要的關鍵技術。現今傳統的高頻寬記憶體（HBM）依賴矽穿孔（TSV）和焊接凸塊進行堆疊。臺積公司的 3D SoIC 技術可以為現今的 HBM 技術提供替代方案。在此 HBM 測試結構中，有12 層面對背堆疊（F2B）在低溫下接合，置於更大的基礎邏輯晶片之上，總厚度僅 600 微米。
藉由 CoWoS 或 SoIC 技術，系統整合晶片中的總元件 （電晶體） 數量遠大於一個單晶片容納的數量。AI 訓練使用的 GPU 晶片已經達到了光罩曝光面積限制，其電晶體數量約為 1,000 億個。電晶體數量增加趨勢的延續需要由多個與 2.5D 或 3D 整合互連的晶片來執行運算。
十年內，多晶片 GPU 預估將由超過 1 兆個電晶體組成。透過互連間距的微縮，將有足夠的空間容納更多比目前更大的 SoIC 互連數量。將互連密度進一步提高一個數量級或甚至更高並沒有基本限制。
劉德音強調，這些創新的硬體技術如何對系統的效能做出貢獻呢？針對伺服器 GPU 的能源效率 （EEP） 趨勢，在過去的 15 年中，半導體產業約每兩年將能源效率提高了三次，此趨勢必將延續下去，也會受到許多創新的驅動，包括新材料、元件和整合技術、極紫外光 （EUV） 和設計技術協同優化 （DTCO） 的進步、電路設計和系統架構設計。特別的是，CoWoS 和 SoIC 的發展將協助提高能源效率。此外，系統技術協同優化（STCO）等概念將變得越來越重要。
而由於高效能運算系統由大量執行大型 AI 模型的晶片組成，高速有線通訊可能很快將會限制運算速度。現今，光互連已經用於連接資料中心的伺服器機架，光學介面可望很快與 GPU
和 CPU 配置在一起，為 GPU 到 GPU 的通訊提供能量和區域效率擴展頻寬。因此，數百臺伺服器將成為具有統一 DRAM 的單一巨型 GPU。
在此領域，臺積公司的緊湊型通用光子引擎 （Compact Universal Photonic Engine） 技術將扮演重要的角色，利用 SoIC 技術來整合在 GPU 和路由器交換器旁邊的積體電路（EIC）及積體光路（PIC）。在 AI 應用的推動下，矽光子技術將成為半導體產業的關鍵技術。
劉德音進一步指出，1980 年，加州理工學院的卡弗·米德教授（Prof. Carver Mead）和林恩·康威教授（Prof. Lynn Conway）發明了一種電腦輔助設計積體電路方法，使用一套設計法則來描述晶片微縮製程技術，因此電路設計人員無需具備太多製程技術知識即可輕鬆設計 VLSI 電路。
在現今 3DIC 的領域，設計的部分包括 VLSI 設計、系統架構設計和軟體/硬體優化設計。製程技術的部分包括晶片微縮技術、3DIC 技術和先進封裝技術。同樣的，我們需要一種描述語言來定義所述技術，並將其轉換為 EDA 技術檔，以便設計人員設計 3DIC 系統。
這正是最近臺積公司推出 3D Blox （一種硬體描述語言） 的目的，它使用通用的解釋標準來描述各種 3DIC 技術。設計人員可以自由地進行 3DIC 系統設計，而無須理會基本的 3DIC 技術。3D Blox 已被現今大多數科技公司和 EDA 公司所接受。
在人工智慧時代，半導體技術是新 AI 能力和應用的關鍵推動力。新的半導體產品不再受限於晶片尺寸及新世代電晶體微縮。整合式 AI 系統涵蓋數量最大化的節能電晶體、專為運算工作負載設計的高效系統架構、以及軟體和硬體優化。
(首圖來源：)
