什么是MLPerf？解讀最重要的AI基準測試

基于真實環(huán)境的AI測試不斷演進，促使英特爾技術專家順應行業(yè)需求，持續(xù)提升產品性能，進而營造更友好的發(fā)展環(huán)境，推動AI技術的普及。

MLPerf大家可能都略有耳聞，但又未必完全了解這項AI基準測試。雖然沒能找到這個詞本身的明確定義，但利用AI助手，我們得到了一個值得信賴的答案：MLPerf在2018年5月首次出現時被比作是為“SPEC for ML”。AI助手繼續(xù)寫道：“‘MLPerf’是一個合成詞，由‘ML’（代表機器學習）和‘Perf’（代表性能）組合而成?！?/p>

它進一步解釋說：“雖然沒有關于命名過程的詳細官方說明，但名稱本身就非常直觀，之所以被選中，可能是因為它直接體現了基準測試的目的。”（這個解釋也很貼合大家對AI生成的答案的預期，這些AI由研究人員所構建并不斷改進）

實際結果證明了這一點：就在上周，英特爾是唯一一家持續(xù)向MLPerf提交服務器CPU測試結果的廠商。提交的結果中包括了使用英特爾? 至強? 6處理器進行圖像檢測和信息分析等常見的AI任務。

加速AI發(fā)展背后的組織與流程

英特爾數據中心和人工智能事業(yè)部軟件部門的Ramesh Chukka表示：“MLPerf是目前AI領域首屈一指的基準測試?！?/p>

Chukka代表英特爾擔任MLCommons委員會成員，該聯盟成立于2020年底，目標是將最初的MLPerf工作范疇擴展到“推動開發(fā)最新的AI和機器學習數據集和模型、最佳實踐、基準和指標，并讓使用更加便捷”。

Chukka認為，MLPerf可以泛指所有的基準測試，這些基準測試“像技術的發(fā)展一樣，處于快速演進中”，從而通過“快速構建新的AI技術原型”來實現推動該領域發(fā)展的目標。每個基準測試都衡量了在一定的質量水平下，完成特定AI任務的速度。

這些基準測試分為兩大類：一是訓練，即使用數據構建AI模型；二是推理，即讓AI模型像應用程序一樣運行起來。用大語言模型（LLM）來類比：訓練是指LLM從海量信息中學習的過程，而推理則是你每次安排它執(zhí)行任務的時候。

MLCommons每年針對訓練和推理兩大類目分別發(fā)布兩組基準測試結果。英特爾最近一次公布訓練結果是在去年6月，而最新的推理結果則是在本月剛剛發(fā)布。

從MLPerf創(chuàng)立之初，再到之后的MLCommons，英特爾AI專家一直積極參與并貢獻測試結果。英特爾從兩方面參與其中：幫助塑造和推動整個項目的發(fā)展，同時使用英特爾的處理器、加速器和解決方案進行編譯并提交基準測試結果。

MLPerf基準測試所解決的問題

AI模型是復雜的程序，現在越來越多種類的計算機能夠運行這些模型。通過MLPerf基準測試，不僅能夠更好地對比不同種類的計算機，同時也可以推動研究人員和企業(yè)進一步探索前沿技術。

每個基準測試都會盡可能貼近實際應用場景，而其結果則分為兩個類別。其中，“封閉”類別對AI模型和軟件堆棧進行嚴格控制，以盡可能精準地進行硬件比較，即在不同的系統中，使用相同的程序來實現相同的結果，如自然語言處理的準確率測試。

“開放”類別則包含創(chuàng)新因素，即讓每個系統在實現相同目標的前提下，盡可能地突破性能極限。

值得注意的是，MLPerf將所有內容共享，且基準測試是開源的。測試結果需要是可復現的，無隱藏信息。正是這種開源開放的特性，能夠讓廠商進行更全面的比較，而不僅僅是單純的速度對比。比如，廠商也可以從每瓦性能，或成本等維度進行對比。

MLPerf的運行及演進過程

正如Chukka所說，MLPerf之所以廣受業(yè)界認可，部分原因在于它不斷演進并持續(xù)增加新的基準測試。其演進過程主要是由MLCommons社區(qū)的公開討論和辯論驅動的，而諸多大型企業(yè)、初創(chuàng)公司和學術界等均是該社區(qū)的參與者。

首先，新的基準測試會被提出并進行辯論，隨后獲批的基準測試需要一個公開的數據集用于訓練。其中需要注意的是，該數據集可能已經存在，也可能需要重新創(chuàng)建。其次，參與者自愿組隊，共同構建基準測試、確定或收集數據，并為基準測試的發(fā)布設定時間表。

最后，任何希望發(fā)布測試結果的公司都需要在截止日期前提交成果。如果錯過該截止日期，則只能等待下一輪流程重新開啟。

更快速、更高效的AI塑造世界的未來

當越來越多的人借助半導體技術攻克各類難題時，對于英特爾而言，無疑在宏觀層面帶來了顯著的積極影響，然而，英特爾參與MLPerf基準測試，有著更為深遠的意義。

英特爾一直在為AI開源框架貢獻力量，如PyTorch及其擴展。當英特爾工程師努力優(yōu)化代碼以提升MLPerf的運行效率時，那些在英特爾芯片上部署相關AI應用的用戶，無需任何額外操作，便能輕松受益于這些技術進步。

Chukka表示，“對于新的基準測試，我們也一直在探索可行的優(yōu)化方案，并積極準備后續(xù)的提交工作?！?/p>

為了實現更出色的測試結果，Chukka團隊匯集公司各方力量，在多輪測試中取得了出色的性能提升，例如，在2024年的測試結果中，推薦系統推理性能提升了80%，又如在本月的測試結果中，GPT-J基準測試性能提升了22%。

因此，當英特爾發(fā)布新一輪MLPerf測試結果時，往往也代表著整體AI系統都變得更快速、更高效，甚至時下熱門的大模型，也能在響應用戶新的需求時，給出更迅速、更智能的解答。

注釋：

性能因使用情況、配置和其他因素而異。