潞晨科技Colossal-AI + 浪潮信息AIStation，大模型開發(fā)效率提升10倍

北京2024年2月29日?/美通社/ -- 近日，潞晨科技Colossal-AI大模型開發(fā)工具與浪潮信息AIStation智能業(yè)務創(chuàng)新生產(chǎn)平臺完成兼容性互認證。基于AIStation平臺部署與調度的潞晨科技Colossal-AI系統(tǒng)，用戶可實現(xiàn)在本地算力平臺一鍵訓練、微調、推理、部署大模型，將大模型開發(fā)效率提升10倍以上，并將算力效率提升2-3倍，在最大化提升大模型開發(fā)效率的同時，降低大模型開發(fā)及應用的門檻和成本。

Colossal-AI系統(tǒng)由元腦生態(tài)伙伴潞晨科技開發(fā)，是全球最大、最活躍的大模型開發(fā)工具與社區(qū)之一。Colossal-AI包含高效多維并行、內存管理、低延遲推理系統(tǒng)等模塊，可顯著提高AI大模型訓練、微調和部署效率。以當前被廣泛使用的LLaMA大模型為例，Colossal-AI提供開箱即用的650億參數(shù)預訓練方案，可將訓練速度提升38%，僅需32張GPU卡。Colossal-AI發(fā)布后多次登頂GitHub熱度榜世界第一，目前已與PyTorch、Hugging Face等全球頂級AI生態(tài)深度融合，位列全球TOP400，細分賽道世界第一，并且已與國內外多家500強企業(yè)合作，促進AI大模型在自動駕駛、云計算、零售、醫(yī)藥、金融等領域落地。

本次兼容性測試完成了Colossal-AI異構內存管理系統(tǒng)、高效自動N維并行系統(tǒng)、低延時推理系統(tǒng)等核心模塊在AIStation平臺上的驗證測試。測試結果表明，Colossal-AI框架在浪潮信息AIStation平臺上運行穩(wěn)定、性能表現(xiàn)優(yōu)異，滿足雙方兼容性認證的各項標準，在ChatGPT等大模型訓練場景下，可將算力效率提升2-3倍，訓練/推理速度提升10倍以上。浪潮信息AIStation平臺為上層AI大模型開發(fā)提供了資源管理、任務調度、運維管理等能力，能夠幫助用戶更快速靈活地獲取本地AI算力，讓計算平臺更好地支持Colossal-AI高效運行。

Colossal-AI攜手浪潮信息AIStation，將為AI大模型應用開發(fā)提供開箱即用、更快速、高性能、低損耗的本地化解決方案，大幅提升AI大模型訓練、微調、推理、部署的效率，并降低AI大模型的開發(fā)成本和計算資源需求。

浪潮信息AIStation是面向企業(yè)級訓練與推理場景開發(fā)的智能業(yè)務生產(chǎn)創(chuàng)新平臺，實現(xiàn)從模型開發(fā)、訓練、部署、測試、發(fā)布、服務的全流程一站式高效交付。通過對計算資源、數(shù)據(jù)資源、深度學習軟件棧資源進行統(tǒng)一管理，AIStation為環(huán)境構建、模型開發(fā)、模型訓練、模型評估、模型推理、上線部署全鏈條全面提速，加快AI開發(fā)應用創(chuàng)新落地。AIStation基于資源管理調度、平臺流程支持能力，在異構芯片、創(chuàng)新生產(chǎn)工具、行業(yè)伙伴應用、客戶方案等不同層面，與元腦合作伙伴展開了大量適配對接認證工作，并積累了大量的適配對接經(jīng)驗、模式與方案，成為了元腦生態(tài)的重要承載平臺。