芯耀
207
作者：米樂
AI芯片的功耗和發(fā)熱量直接影響著企業(yè)的成本、風險以及芯片的穩(wěn)定性和壽命。如果芯片因過熱或短路而頻繁出現(xiàn)問題，那么AI的訓練和推理效果及效率也會受到嚴重影響。
冷卻技術革命，顯得十分急需。
?01、AI芯片的功耗危機
統(tǒng)計數(shù)據(jù)顯示，2015年全球數(shù)據(jù)量約為10EB（艾字節(jié)），預計到2025年將飆升至175ZB（澤字節(jié)），而到2035年，則可能達到驚人的2432ZB。然而，邊緣AI的發(fā)展面臨兩大挑戰(zhàn)。首先，需要在性能、功耗和成本之間取得平衡。在提升算力的同時，如何在不將功耗和成本推向合理限度的情況下獲得最佳效果，尤其是在電池供電的低功耗設備中？其次，構建強大的生態(tài)系統(tǒng)至關重要。如同CPU和GPU的發(fā)展一樣，一個涵蓋工具鏈、語言、兼容性和易開發(fā)性的統(tǒng)一生態(tài)系統(tǒng)，對于推動AI技術的普及和規(guī)?；瘧弥陵P重要。
ChatGPT?和類似的?AI?機器人用來生成類人對話的大型語言模型?(LLM)?只是眾多依賴“并行計算”的新型?AI?應用之一?！安⑿杏嬎恪敝傅氖怯尚酒W(wǎng)絡同時執(zhí)行多項計算或處理的海量計算工作。
人工智能基礎設施的核心是GPU（圖形處理單元），它擅長處理人工智能所需的專業(yè)高性能并行計算工作。與個人電腦中使用的?CPU（中央處理器）相比，這種強大的處理能力也會導致更高的能量輸入，從而產(chǎn)生更多的熱量輸出。
高端GPU?的功率密度約為?CPU?的四倍。這給數(shù)據(jù)中心規(guī)劃帶來了新的重大問題，因為最初計算的電源現(xiàn)在僅為運行現(xiàn)代?AI?數(shù)據(jù)中心所需電源的?25%。即使是亞馬遜、微軟和?Alphabet?用于云計算的尖端超大規(guī)模數(shù)據(jù)中心，也仍然是由?CPU?驅(qū)動的。舉例來說，Nvidia?目前提供的?A100 AI?芯片每塊芯片的恒定功耗約為?400W，而其最新微芯片?H100?的功耗幾乎是?A100?的兩倍，達到?700W，與微波爐的功耗相似。如果一個擁有平均一百萬臺服務器的超大規(guī)模數(shù)據(jù)中心用這些類型的?GPU?替換其當前的?CPU?服務器，則所需的功率將增加?4-5?倍（1500MW），相當于一座核電站！
功率密度的提升意味著這些芯片產(chǎn)生的熱量也會顯著增加。因此，冷卻系統(tǒng)也必須更加強大。如此規(guī)模的電力和冷卻變革將要求未來人工智能驅(qū)動的數(shù)據(jù)中心進行全新的設計。這將導致底層芯片和數(shù)據(jù)中心基礎設施出現(xiàn)巨大的供需失衡?？紤]到數(shù)據(jù)中心建設所需的時間，業(yè)內(nèi)專家預測，我們正處于數(shù)據(jù)中心十年現(xiàn)代化升級的初期階段，旨在使其更加智能化。
?02臺積電3DVC技術
臺積電的3DVC（3D Vapor Chamber，三維均熱板）技術是一種針對高性能計算（HPC）和AI芯片的先進散熱解決方案，旨在解決先進制程（如3nm/2nm）芯片因集成度提升導致的功耗和發(fā)熱密度激增問題。
傳統(tǒng)均熱板是二維平面結構，而臺積電的3DVC通過立體化設計，在芯片封裝內(nèi)部直接集成多層微流體通道，利用 相變傳熱（液體蒸發(fā)-冷凝循環(huán)）快速導出熱量。
三維毛細結構：內(nèi)部采用多孔金屬泡沫或微柱陣列，增強工質(zhì)（如水/氨）的毛細回流能力。
近結散熱（Near-Junction Cooling）：直接與芯片的硅中介層（Silicon Interposer）或3D堆疊結構（如SoIC）接觸，縮短熱傳導路徑。
3D-VC散熱器熱管屬于一維線性的傳熱器件，常規(guī)VC均熱板因為存在蒸發(fā)段以及冷凝段，根據(jù)設計位置的不同，散熱路徑上會存在多種分布可能，這使得常規(guī)VC均熱板成為了二維傳熱器件，但其散熱路徑依舊局限在同一個平面內(nèi)。與一維熱傳導的熱管、二維熱傳導的VC均熱板相比，3D-VC散熱器的熱傳導路徑是三維的，立體結構的，非平面的。3D-VC散熱器利用VC、熱管相結合使得內(nèi)部腔體連通，通過毛細結構實現(xiàn)工質(zhì)回流，完成導熱。連通的內(nèi)部腔體加上焊接翅片組成了整個散熱模組，使得該散熱模組實現(xiàn)了水平以及垂直等多維度的散熱。
熱管、VC、3DVC對比圖多維度的散熱路徑使得3D-VC散熱器在應對高功耗設備熱量的時候可以接觸更多的發(fā)熱源提供更多的散熱路徑。傳統(tǒng)散熱模組中熱管與VC均溫板屬于分離式設計，由于熱阻值隨導熱距離的增加而增加，散熱效果也就不甚理想。3D-VC散熱器通過將熱管延伸至VC均熱板本體中，VC均溫板的真空腔體與熱管連通后，內(nèi)部工質(zhì)連接，3D-VC?散熱器與熱源直接接觸，垂直的熱管設計也提高了傳熱的速度。
3DVC可嵌入臺積電的?CoWoS 2.5D/3D封裝中，為CPU/GPU/HBM提供一體化散熱。臺積電在IEEE國際電子器件會議（IEDM）上展示3DVC原型，可將3nm芯片結溫降低15°C以上。計劃與CoWoS-L封裝技術同步應用于AMD、NVIDIA的下一代產(chǎn)品。
?03冷卻方案差異
液冷是高功率下唯一可行的解決方案。
通過一定體積的液體流動傳遞熱量的效率遠高于通過相同體積的空氣傳遞熱量——水的效率約為空氣的3,600倍。這使得通過芯片散熱器進行液冷成為一種高效的方法。當芯片面積每平方厘米的散熱量超過約50瓦時，通常需要采用液冷。鑒于GB200的面積約為9平方厘米，任何超過450瓦的散熱量都表明需要泵送液冷。在“直接芯片”冷卻中，液體通過熱界面連接到芯片散熱器的冷板通道流動。當液體在此過程中不蒸發(fā)時，稱為“單相”操作，其中介質(zhì)（通常是水）被泵送通過風扇冷卻的熱交換器。Flex?旗下公司?JetCool?提供直接芯片液體冷卻模塊，該模塊使用小型流體噴射陣列，精確瞄準處理器上的熱點，從而在芯片或設備級別提升高功率電子冷卻性能。
熱量可以轉(zhuǎn)移到第二個液體回路，該回路可以為建筑物提供熱水，并可能為當?shù)叵M者提供熱水。兩相操作通過使液體（通常是氟碳化合物）在吸收熱量時蒸發(fā)，然后在熱交換器處重新凝結，從而提供更好的傳熱效果。這種方法可以顯著提升性能。然而，仍然需要系統(tǒng)風扇來冷卻其他組件，盡管某些組件（例如DC/DC?轉(zhuǎn)換器）可以使用其自身的基板集成到液體冷卻回路中。這符合“垂直供電”的概念，其中?DC/DC?轉(zhuǎn)換器直接位于處理器下方，以最大限度地減少壓降。直接芯片方法的實際限制是芯片與冷卻板之間界面的熱阻。精確的表面平整度和高性能焊膏是必要的，但在數(shù)千瓦級功率下，溫差仍然是一個問題。
這一限制似乎即將限制散熱，進而影響性能。可以考慮采用浸入式冷卻技術。將整個服務器置于一個開放式的介電流體槽中，介電流體通過儲液器繞環(huán)路泵送至熱交換器。同樣，為了獲得最佳性能，可以采用兩相運行。
除了浸入式冷卻技術，IBM使用的是嵌入式微通道相變冷卻技術。IBM?將介電液直接泵入任意級別芯片堆疊的約?100μm?的微觀間隙中，通過介電液從液相沸騰到氣相來帶走芯片的熱量。他們對用此改造后的?IBM Power 7+?芯片進行測試，結果表明結溫降低了?25℃。
為了實現(xiàn)嵌入式冷卻，IBM?拆掉了處理器的封裝蓋子以暴露出裸片，對裸片進行了深度反應離子蝕刻（DRIE），在其背面構建了?120μm?深的冷卻通道結構，并將一個玻璃片粘合到被蝕刻的芯片上以形成微通道的頂壁，用粘合劑將冷卻劑入口、出口黃銅歧管粘合到玻璃歧管芯片和有機基材上。冷卻劑進入模塊并通過?24?個入口，在相應的?24?個徑向擴展通道中分配流量。
Blackwell的發(fā)布，標志著AI硬件領域邁入了一個新紀元，其強大性能將為AI公司提供前所未有的計算支持，助力訓練出更復雜、更精準的模型，基于?Blackwell?的?AI?算力將以名為?DGX GB200?的完整服務器形態(tài)提供給用戶，結合了?36?顆?NVIDIA Grace CPU?和?72?塊?Blackwell GPU，而這些超級芯片通過第五代?NVLink?連接成一臺超級計算機提高整體計算性能。為了更好地支持GB200超級芯片的應用，英偉達推出了全新的計算集群DGX GB200 SuperPod，這一超級計算集群采用了新型高效液冷機架規(guī)模架構，能夠在FP4精度下提供驚人的算力和內(nèi)存容量。通過DGX GB200 SuperPod，英偉達將為各行各業(yè)提供強大的AI計算能力，助力AI工業(yè)革命的發(fā)展，再次展現(xiàn)了其在AI領域的領先地位和創(chuàng)新能力。
具體來講，NVLINK?是一種專門設計用于連接?NVIDIA GPU?的高速互聯(lián)技術。它允許?GPU?之間以點對點方式進行通信，繞過傳統(tǒng)的PCIe總線，實現(xiàn)了更高的帶寬和更低的延遲。NVLINK?可用于連接兩個或多個?GPU，以實現(xiàn)高速的數(shù)據(jù)傳輸和共享，為多?GPU?系統(tǒng)提供更高的性能和效率。
例如，GB200 NVL72有?18?個?1U?服務器，其提供的?FP8?性能為?720 petaflops，F(xiàn)P4?計算性能為?1440 petaflops，可處理多達?27?萬億個?AI LLM?參數(shù)模型。每臺服務器里帶有兩個?GB200 Grace Blackwell Superchip，這些計算節(jié)點帶有?1.7TB?的?HBM3E?內(nèi)存、32TB/s?的內(nèi)存帶寬，為應對功耗過于強大問題，NVIDIA選擇全部采用液冷?MGX?封裝，采取液冷機架級解決方案。
