芯耀
1207
近日，在Google Cloud Next 2025大會上，谷歌發(fā)布了第七代張量處理單元（TPU）——Ironwood。
作為Google迄今為止性能最強大的AI芯片，Ironwood專為AI推理任務設計，標志著AI技術從傳統的“反應式”模型向“主動式”智能體的轉型。相較于2018年的第一代TPU，Ironwood的推理性能提升了3600倍，效率提高了29倍。單芯片配備192GB高頻寬內存（HBM），峰值算力達4614 TFLOPs，并支持1.2Tbps的芯片間互連（ICI）帶寬。
相較于前代Trillium，Ironwood能效提升了兩倍，最高配置的9216顆芯片集群總算力高達42.5 Exaflops，超過全球最大超級計算機El Capitan的24倍。
官方聲稱，Ironwood代表著 AI 基礎設施的重大轉變。為什么這樣說？
01、為什么說 Ironwood，代表著AI基礎設施的重大轉變？
???AI基礎設施的發(fā)展重心：從訓練優(yōu)先過渡到推理時代
Google 如此大力投入并推出針對推理優(yōu)化的硬件，也預示著他們認為未來的 AI 應用將更加依賴于快速、高效的推理能力。例如，實時語音識別、自然語言理解、推薦系統、自動駕駛等都對推理的性能和效率有著極高的要求。Ironwood 的出現正是為了支撐這些未來趨勢。
過去的 AI 硬件發(fā)展，尤其是像 Google 的早期 TPU，往往更側重于加速模型訓練。訓練需要巨大的算力來處理海量數據。然而，隨著大型模型訓練的日益成熟，以及 AI 應用的廣泛落地，模型推理（將訓練好的模型應用于實際場景進行預測和決策）的需求正在爆炸式增長。 Ironwood 明確地針對推理進行了優(yōu)化，這標志著 AI 基礎設施發(fā)展重心開始向推理傾斜，或者至少是訓練和推理并重。
正如官方所稱，Ironwood的推出標志著AI發(fā)展及AI基礎設施的一大重要轉變。它代表了從響應式AI模型（提供實時信息供人們解讀）到主動生成洞察與解釋模型的轉變。
這就是我們所說的“推理時代”，在這一階段，AI代理將主動檢索并生成數據，以協作的方式提供見解和答案，而不僅僅是提供原始數據。
?? 需要重新思考和設計AI基礎設施，以滿足推理需求
傳統的CPU和GPU在處理大規(guī)模、低延遲的AI推理任務時可能存在瓶頸，例如能效比不高、延遲較高等問題。雖然具體針對Ironwood與傳統GPU在推理任務上的直接性能對比數據尚未完全公開，但通常而言，像Ironwood這樣專為推理設計的加速器，在處理特定類型的AI模型（尤其是大型神經網絡）時，能夠提供遠高于通用GPU的吞吐量和更低的延遲。 這得益于其針對性的架構優(yōu)化，例如更高效的矩陣運算單元和更大的片上內存。Ironwood作為專為推理設計的加速器，能夠更高效地執(zhí)行這些任務。這可能會促使行業(yè)重新思考和設計現有的AI基礎設施，以更好地滿足推理的需求。
更重要的是，Ironwood驚人的能效提升（能效是Trillium的兩倍，相較于 2018年的第一代Cloud TPU提升了近 30 倍）對于大規(guī)模 AI 部署至關重要。在AI模型日益龐大的今天，運行和維護這些模型需要巨大的能源消耗。Ironwood的高能效不僅能顯著降低運營成本，還能減少數據中心的碳排放，對于AI的可持續(xù)發(fā)展具有重要意義。
?? 推動所有基礎設施同行創(chuàng)新和競爭
Google在AI硬件領域的突破，特別是針對推理的專注，會給其他競爭者（如 NVIDIA、AMD、Intel以及其他云服務提供商）帶來壓力，促使他們也在推理硬件和基礎設施方面加大投入和創(chuàng)新。這種競爭將加速整個行業(yè)的技術進步。
02、Ironwood?將如何轉變，AI 基礎設施？
?? 出現更專業(yè)化的硬件
Ironwood的出現可能會引領行業(yè)走向更專業(yè)化的AI硬件時代。未來，我們可能會看到更多針對特定AI任務（如推理、特定模型架構等）優(yōu)化的硬件出現，而不再僅僅依賴通用的GPU。
?? 異構計算的普及
AI工作負載通常包含多種不同的計算任務。Ironwood的加入可能會加速異構計算的普及，即根據不同的任務選擇最合適的硬件來執(zhí)行，例如用 TPU 進行推理，用GPU或CPU進行其他類型的計算。這將提高整體的效率和性能。
?? 云端推理能力的增強和普及
Google Cloud大規(guī)模部署Ironwood 將直接提升其云端AI推理能力。這將使得更多的企業(yè)和開發(fā)者能夠以更低的成本、更高的效率使用先進的AI推理服務，從而推動AI在各行各業(yè)的應用。其他云服務提供商也可能會效仿，加大在推理基礎設施方面的投入。
?? 邊緣 AI 的發(fā)展加速
雖然Ironwood目前主要部署在云端，但其在能效方面的提升，以及未來可能出現的更小、更低功耗的推理芯片，也將為邊緣AI的發(fā)展帶來機遇。邊緣設備將能夠直接進行更復雜的AI推理，而無需依賴云端，從而實現更快的響應速度和更好的隱私保護。
?? 軟件生態(tài)的演進
新的硬件架構需要相應的軟件生態(tài)支持才能發(fā)揮其全部潛力。Ironwood的推出將推動針對TPU的推理優(yōu)化工具、框架和庫的開發(fā)和完善，使得開發(fā)者能夠更方便地利用其強大的推理能力。這也會促進整個AI軟件生態(tài)系統的發(fā)展。
概括來講，Ironwood代表著 AI 基礎設施發(fā)展方向的重要轉變，它標志著行業(yè)對AI模型推理的重視程度日益提升，并預示著未來AI基礎設施將更加專業(yè)化、異構化，云端和邊緣的推理能力都將得到顯著增強，最終推動AI技術更廣泛、更深入地融入到我們的生活和工作中。
