正如我們喜歡指出的高性那樣，當(dāng)談到高性能、延遲低延遲的網(wǎng)絡(luò) InfiniBand 式網(wǎng)絡(luò)時(shí)，Nvidia 并不是選擇唯一的選擇，自 20 世紀(jì) 90 年代末 InfiniBand 互連出現(xiàn)以來就一直不是高性唯一的選擇。三年前從英特爾收購了 Omni-Path 互連業(yè)務(wù)的延遲Cornelis Networks 就是另一種選擇。雖然它跳過了 200 Gb/秒一代，網(wǎng)絡(luò)但仍在銷售改進(jìn)的選擇 100 Gb/秒 Omni-Path Express 變體，并為未來的高性 400 Gb/秒一代奠定了基礎(chǔ)。
Cornelis Networks 的延遲高管們從 SilverStorm 和 PathScale 的 InfiniBand 開始，最終成為 QLogic的網(wǎng)絡(luò) TruScale InfiniBand 的基礎(chǔ)，而 QLogic 又成為來自 Mellanox Technologies 的選擇 InfiniBand 的替代供應(yīng)商。早在 2012 年 1 月，高性英特爾就以 1.25 億美元的延遲價(jià)格從 QLogic 手中收購了 TruScale InfiniBand 業(yè)務(wù)——這似乎是很久以前的事了？三個(gè)月后又斥資 1.4 億美元從Cray 收購了“Gemini”XT 和“Aries”XC 互連業(yè)務(wù)，將它們整合起來創(chuàng)建 Omni-Path 互連。網(wǎng)絡(luò)
從技術(shù)上講，這是 InfiniBand 主題的三種不同變體，而 Cornelis Networks 正在做的事情在許多方面代表了第四種變體。
InfiniBand 的最初目標(biāo)是取代 PCI-Express、光纖通道，或許還有以太網(wǎng)，并創(chuàng)建融合結(jié)構(gòu)。TruScale 變體采用了一種稱為 Performance Scale Messaging (PSM) 的技術(shù)，QLogic 當(dāng)然認(rèn)為該技術(shù)比 InfiniBand verbs approach更好，并且其創(chuàng)建者認(rèn)為可以提供更好的擴(kuò)展性。但 PSM 已有二十多年歷史，Cornelis Networks 正在基于 libfabric 驅(qū)動(dòng)程序構(gòu)建新的軟件堆棧，該驅(qū)動(dòng)程序是 Linux操作系統(tǒng)的一部分，并取代了 QLogic TruScale 和 IntelOmni-Path 中的 PSM 提供程序與Open Fabrics Interfaces 工作組的 OPX 提供商進(jìn)行堆棧。
這個(gè)新堆棧經(jīng)過開發(fā)，可以在 Cornelis Networks 從 Intel 購買的 100 Gb/秒 Omni-Path 硬件上運(yùn)行（該公司稱之為 Omni-Path Express，縮寫為 OPX），并且將是未來 400 Gb 上唯一可用的堆棧/sec Omni-Path Express CN5000 系列目前正在開發(fā)中。
libfabric 庫是 OFI 標(biāo)準(zhǔn)的第一個(gè)實(shí)現(xiàn)，它是一個(gè)位于網(wǎng)絡(luò)接口卡和 OFI 提供程序驅(qū)動(dòng)程序之上的層，位于 MPI、SHMEM、PGAS 和通常在 HPC 分布式計(jì)算系統(tǒng)上運(yùn)行的其他內(nèi)存共享協(xié)議之間和人工智能。它看起來像這樣：
以下是 Omni-Path Express 主機(jī)軟件堆棧現(xiàn)在的樣子，其中第二代 PSM2 提供程序和本機(jī) OFI 提供程序并行運(yùn)行：
您會(huì)注意到，原始 OpenFabrics Alliance Verbs 仍然可以在 Linux 內(nèi)核模式下使用，以支持舊版協(xié)議和框架的 InfiniBand verbs 提供程序，但 PSM2 和 OFI 提供程序都在 Linux 用戶空間中運(yùn)行，其MPI的各種實(shí)現(xiàn)也是如此——它們有很多。
在下一代 CN5000 平臺中，紫色的 PSM2 內(nèi)容將消失，我們推測 Verbs 提供程序以及運(yùn)行在 Linux 內(nèi)核中的 OFA Verbs 代碼之上的內(nèi)容也會(huì)消失。Cornelis Networks 軟件工程副總裁 Doug Fuller 本周在Hot Interconnects 30 會(huì)議上發(fā)表演講，他表示，OPX 和 Nvidia InfiniBand 之間的主要區(qū)別之一是 Cornelis Networks 使用的所有堆棧都將是開放的源并添加到內(nèi)核的上游。
“我們的 Omni-Path OFI 驅(qū)動(dòng)程序是 Linux 內(nèi)核的一部分，”Fuller 在演講中解釋道。“我的意思是，我們在內(nèi)核開發(fā)方面也首先處于上游。因此，我們所有的補(bǔ)丁都在上游合并，并且我們有來自 Linus 的火焰來證明這一點(diǎn)。然后我們合并。我們鼓勵(lì)它向下游合并并集成到各種 Linux 發(fā)行版中。因此，在大多數(shù)情況下，如果您啟動(dòng)現(xiàn)代 Linux 發(fā)行版，您的驅(qū)動(dòng)程序已經(jīng)存在，無需安裝其他軟件。我們致力于上游優(yōu)先開發(fā)，我們希望確保回饋我們使用的社區(qū)，并為用戶提供良好的用戶體驗(yàn)。”
三年來我們一直希望看到的，以及 Fuller 向 Hot Interconnects 觀眾提供的，是備受期待的 Cornelis Network 硬件路線圖。話不多說，這里是：
HPC 中心、云構(gòu)建商和超大規(guī)模企業(yè)都喜歡可預(yù)測的路線圖，這些路線圖使每一代的比特轉(zhuǎn)移成本越來越低，并且還增加了網(wǎng)絡(luò)規(guī)模，即可以通過合理的響應(yīng)連接到網(wǎng)絡(luò)的端點(diǎn)數(shù)量時(shí)間。這些是 Cornelis Networks 最終公開投入的賭注，眾所周知，公司不會(huì)購買點(diǎn)產(chǎn)品，而是購買路線圖，因?yàn)槲覀兌忌钤谖磥怼?/p>
通過 Omni-Path 100 系列，Cornelis Networks 正在轉(zhuǎn)售由英特爾創(chuàng)建的硬件，該硬件于 2015 年底開始在基于其“Knights”系列多核處理器的早期采用者 HPC 系統(tǒng)中推出。（我們認(rèn)為 Cornelis 忘記將品牌的“Express”部分放入路線圖中。) 該產(chǎn)品系列包括 100 Gb/秒適配器、48 端口邊緣交換機(jī)、288 端口導(dǎo)向器交換機(jī)和 1,152 端口導(dǎo)向器交換機(jī)。Omni-Path 100 互連支持 3 米及更短的直連電纜 (DAC) 和 100 米或更短的有源光纜 (AOC)。交換機(jī)的基數(shù)在fat tree上以全二分帶寬支持多達(dá) 13,800 個(gè)節(jié)點(diǎn)，或以半二分帶寬支持 27,600 個(gè)節(jié)點(diǎn)，在網(wǎng)絡(luò)逐漸變細(xì)的情況下最多支持 36,800 個(gè)節(jié)點(diǎn)。
考慮到其聯(lián)合創(chuàng)始人多年來推出的產(chǎn)品的悠久歷史，憑借 Omni-Path CN5000 CN5000 系列（Cornelis Networks 稱之為第五代高性能互連），交換機(jī)和適配器中的 ASIC正在發(fā)生變化高達(dá) 400 Gb/秒，這將是性能的巨大飛躍。將會(huì)有一個(gè) 48 端口邊緣交換機(jī)（看起來像一個(gè)普通的披薩盒機(jī)器，而不是英特爾在 Omni-Path 100 上做的那種時(shí)髦的形狀），并且將在導(dǎo)向器交換機(jī)上進(jìn)行差異化，并與單個(gè) 576 端口機(jī)器一起使用。至于電纜，將支持 DAC 和 AOC，以及將銅電纜拉伸到 5 米或更短長度的有源銅電纜 (ACC)，這比 DAC 長 2 米，從而提供更具創(chuàng)意的接線配置。
CN5000 系列將支持全二分帶寬樹和部分二分帶寬樹，例如 Omni-Path 100，還將支持 Dragonfly 和 Megafly（有時(shí)稱為 Dragonfly+）拓?fù)洌⑶覇蝹€(gè)集群中最多可擴(kuò)展至 330,000 個(gè)節(jié)點(diǎn)。（我們不知道這樣的網(wǎng)絡(luò)中有多少層和跳數(shù)，但我們的目標(biāo)是找出答案。）Cornelius Networks 正在添加基于遙測的動(dòng)態(tài)自適應(yīng)路由和擁塞控制，這聽起來可能基于一些想法是從 Cornelis Networks 通過英特爾獲得的 Cray“Aries”技術(shù)中挑選出來的。（同樣，我們會(huì)找到結(jié)果。）延遲（我們假設(shè)是從節(jié)點(diǎn)到節(jié)點(diǎn)）承諾低至 1 微秒以下，消息速率預(yù)計(jì)為每秒 12 億條。CN5000 導(dǎo)向器交換機(jī)將提供風(fēng)冷和液冷選項(xiàng)。
以下是 CN5000 邊緣交換機(jī)的一些規(guī)格和機(jī)械結(jié)構(gòu)：
這些是 CN5000 導(dǎo)向器交換機(jī)的規(guī)格：
最后，主機(jī)結(jié)構(gòu)適配器如下所示：
到 2026 年，Cornelis 路線圖將超越 Omni-Path CN6000，后者具有支持 800 Gb/秒的交換機(jī)和適配器 ASIC。交換機(jī)電纜選項(xiàng)的適配器在二等分帶寬、拓?fù)溥x項(xiàng)以及 330,000 個(gè)節(jié)點(diǎn)的規(guī)模方面保持不變。這里有趣的變化是使用 RISC-V內(nèi)核的 DPU，插入 CXL 端口，并且可能會(huì)執(zhí)行一些集體操作卸載以及安全和存儲(chǔ)加速功能。某些結(jié)構(gòu)功能將被卸載，并且可能在交換機(jī)和適配器中都有特定于結(jié)構(gòu)的加速器。
隨著第七代產(chǎn)品將于 2028 年推出，Cornelis Networks 將把端口速度提高到 1.6 Tb/秒，并將 HyperX 拓?fù)涮砑拥骄W(wǎng)絡(luò)幾何結(jié)構(gòu)列表中，并對 DPU 核心以及結(jié)構(gòu)和應(yīng)用程序卸載進(jìn)行增強(qiáng)。
我們已經(jīng)有一段時(shí)間沒有看到 Nvidia 或 Mellanox 的 InfiniBand 路線圖了，而且肯定不會(huì)走那么遠(yuǎn)。但節(jié)奏和減速帶可能會(huì)在某個(gè)時(shí)刻或多或少同步。
審核編輯：劉清
