芯耀
1100
繼去年11月推出天璣9300，率先將生成式人工智能（AI）帶入到智能手機端之后，芯片大廠聯(lián)發(fā)科（MediaTek）為了引領(lǐng)移動生態(tài)抓住“生成式AI手機”市場機遇，近日召開了首屆“天璣開發(fā)者大會”（MDDC 2024），并攜手合作伙伴共建“生成式AI手機”標準與天璣移動AI生態(tài)，加速推動?“生成式AI手機”的普及。
“生成式AI手機”，下一個廠商必爭之地
從功能單一且封閉的功能機，到以iPhone為開端的智能手機興起，不僅帶來了豐富的應(yīng)用及服務(wù)生態(tài)，也改變了用戶的交互方式，比如物理按鍵被淘汰，觸摸屏成為主流，并進一步像語音交互發(fā)展，主流終端廠商都已選擇通過內(nèi)置語音助手，以帶來更流暢且高效的交互體驗，但由于終端算力、語義理解等方面仍存在限制，用戶的使用范圍往往停留在輕量級系統(tǒng)交互上。
2023年，以ChatGPT為代表的各類生成式AI應(yīng)用日益受到關(guān)注，其憑借大語言模型（LLM）的加持，展現(xiàn)出卓越的性能表現(xiàn)。這也使得產(chǎn)業(yè)界相信，隨著生成式AI進入手機端，將有望徹底變革智能手機體驗。在生成式AI加持下，智能手機將能夠與用戶完成自然交互與溝通，理解并執(zhí)行用戶的各種復(fù)雜指令。這將極大提升智能手機用戶的娛樂生活體驗和智能手機的生產(chǎn)力屬性。比如，生成式AI手機可以生成用戶需要的圖表、文本、音樂、圖片甚至是視頻，也可以根據(jù)用戶的需要對輸入的圖片、視頻進行編輯。
雖然智能手機通過網(wǎng)絡(luò)能夠獲取云端強大的生成式AI能力，但是由于需要將數(shù)據(jù)上傳到云端處理后返回相關(guān)推理結(jié)果，因此也存在著個人隱私數(shù)據(jù)安全、高時延、離線不可用等諸多問題。如果將AI大模型放到端側(cè)直接運行，則可以有效的避免上述問題。另外，如果智能手機全部都依賴于云端算力和網(wǎng)絡(luò)傳輸來獲取生成式AI能力的話，那么勢必會給上游的云服務(wù)廠商和電信網(wǎng)絡(luò)帶來巨大的投資成本壓力，而這些成本最終會轉(zhuǎn)嫁給消費者，這無疑將阻礙生成式AI的普及。如果能夠利用智能手機自身的算力來運行生成式AI應(yīng)用，不僅可以幫助上游廠商通過利用端側(cè)的算力來節(jié)省大量的基礎(chǔ)設(shè)施投資，也能夠讓終端用戶具備無需付費也能在離線狀態(tài)下安全的使用生成式AI的能力。
根據(jù)市場調(diào)研機構(gòu)Counterpoint Research的數(shù)據(jù)顯示，近年來旗艦智能手機以 TOPS 為單位的 AI 算力已經(jīng)增長了 20 倍。預(yù)計2027年旗艦智能手機的芯片峰值 AI 算力水平將會達到 65TOPS 左右。
智能手機端側(cè)AI算力持續(xù)增長，并擁有龐大的出貨量和用戶基數(shù)以及豐富的應(yīng)用生態(tài)，在用戶隱私保護、多模態(tài)輸入輸出和情境感知等方面所具備的優(yōu)勢，使得智能手機成為了生成式AI在端側(cè)落地的最佳載體。
隨著生成式AI技術(shù)與智能手機的深度融合，生成式AI手機在不斷學(xué)習(xí)用戶的行為習(xí)慣之后，將會孕育出一個甚至多個智能生命體（AI Agent)，能夠智能識別用戶意圖，適時向用戶推薦個性化的內(nèi)容和服務(wù)。
總結(jié)來說，?“生成式AI手機”的普及已經(jīng)是大勢所趨。據(jù)Counterpoint Research最新報告顯示，在2023 全年出貨的 11.7 億手機中，只有420萬臺屬于生成式AI手機。但是，在智能手機產(chǎn)業(yè)鏈上下游積極擁抱生成式AI變革的推動下，各大智能手機廠商也將生成式 AI 能力作為中高端產(chǎn)品升級的重點，這將加速生成式 AI 手機的全面普及。預(yù)計從2025年開始，所有中高端智能手機的新品都會具備生成式AI功能。從滲透率來看，預(yù)計2024年，生成式AI手機在整體智能手機出貨量當中占比將達到11%，并將在2027年進一步增長到43%，屆時生成式AI手機的出貨量將超過12.3億部。
顯然，生成式AI手機將是智能手機進化的下一形態(tài)，存在著巨大的市場機遇，這也將成為手機廠商能否在新一輪競爭中勝出的關(guān)鍵。
定義“生成式AI手機”標準，推動應(yīng)用生態(tài)加速發(fā)展
目前，聯(lián)發(fā)科、高通都有推出支持端側(cè)生成式AI的手機處理器，vivo、OPPO、小米等手機廠商也都有推出搭載這些處理器的旗艦手機。蘋果今年下半年即將推出搭載其最新的A18 Pro處理器的iPhone 16系列，預(yù)計也將支持端側(cè)生成式AI。雖然大家都認為生成式AI手機是大勢所趨，但是各家廠商對于生成式AI手機都有著自己的理解，這樣普通消費者對生成式AI手機就缺少比較明確的概念和認知，。
正所謂“一流企業(yè)做標準、二流企業(yè)做品牌、三流企業(yè)做產(chǎn)品?！弊鳛槿蛑悄?a class="article-link" target="_blank" href="/tag/%E6%89%8B%E6%9C%BA%E8%8A%AF%E7%89%87/">手機芯片出貨量最大的廠商，聯(lián)發(fā)科自2017年就已經(jīng)開始布局AI領(lǐng)域，以天璣旗艦移動平臺站穩(wěn)高端市場的同時，憑借其強大的APU獨步端側(cè)AI領(lǐng)域，去年聯(lián)發(fā)科更是率先推出了能夠支持最高330億參數(shù)大模型的天璣9300旗艦芯片，發(fā)力“生成式AI手機”市場，并被多家品牌廠商的旗艦機率先采用。但是對于聯(lián)發(fā)科來說，要想引領(lǐng)仍處于萌芽狀態(tài)的“生成式AI手機”市場加速普及，光有領(lǐng)先產(chǎn)品只是打好了硬件基礎(chǔ)，攜手合作伙伴來共同定義生成式AI手機標準，并大力發(fā)展基于天璣平臺的生成式AI應(yīng)用生態(tài)，無疑是一步領(lǐng)先對手的好棋。
在近日的天璣開發(fā)者大會（MDDC 2024）上，聯(lián)發(fā)科與市場研究機構(gòu)Counterpoint一起，攜手阿里云通義千問、百川大模型、虎牙、酷狗、零一萬物、OPPO、Soul、AI Lab、混元、vivo等生態(tài)伙伴，發(fā)布了《生成式AI手機產(chǎn)業(yè)白皮書》，共同對于“生成式AI手機”的概念和典型特征進行定義。
根據(jù)該白皮書顯示，生成式AI手機需要具備如下必要特征：1、支持大模型的本地部署，或是通過云端協(xié)同的方式執(zhí)行復(fù)雜的生成式AI任務(wù)。生成式AI手機本身具備強大的AI算力，無須完全依賴云端服務(wù)器；2、具備多模態(tài)能力，即可以處理文本、圖像、語音等多種形式的內(nèi)容輸入，以生成各種形式的輸出，典型用例如翻譯、圖像生成和視頻生成等；3、確保流暢、無縫的用戶體驗，設(shè)備能夠以自然而直觀的交互方式，快速響應(yīng)用戶的請求。
除此之外，生成式AI手機還需要擁有實現(xiàn)上述特征的硬件規(guī)格，包括但不限于基于領(lǐng)先工藝和先進架構(gòu)設(shè)計的移動計算平臺，擁有集成或者獨立的神經(jīng)網(wǎng)絡(luò)運算單元（如APU/NPU/TPU），大容量和高帶寬的內(nèi)存，以及穩(wěn)定和高速的連接，硬件級和系統(tǒng)級的安全防御。
聯(lián)發(fā)科技無線通信事業(yè)部副總經(jīng)理陳一強表示，在生成式AI快速發(fā)展期，對于“生成式AI手機”給出更為明確的參數(shù)指標要求是比較困難的。比如，幾個月前的20億參數(shù)的大模型已經(jīng)比半年前70億參數(shù)的大模型還聰明很多，所以在這個時期用具體的TOPS算力或者能做到什么樣的功能去評估一個量化的標準，并不是很好的方式。
確實，目前在“生成式AI手機”剛開始的階段，各類技術(shù)仍在快速發(fā)展，很難用一些明確的參數(shù)指標來對于生產(chǎn)式AI手機進行定義。因此，現(xiàn)階段聯(lián)發(fā)科對于生成式AI手機的定義，主要還是往應(yīng)該具備哪些能力方向來進行定義。
聯(lián)發(fā)科認為，生成式AI會改變手機的交互方式，徹底顛覆手機應(yīng)用的模式，包括整個軟件系統(tǒng)架構(gòu)的設(shè)計。所以聯(lián)發(fā)科和整個生態(tài)一起聯(lián)合定義，嘗試做這定性的分析。陳一強表示，?“我們并不是只是分析和定義，而是站出來跟所有的生態(tài)廠商一起合作，讓這些概念真正能夠去落地，包括我們今天推出的所有工具，就是希望應(yīng)用廠商在看到《白皮書》的大方向之后，到年底或者明年初就把能夠?qū)崿F(xiàn)類似定義的生成式AI應(yīng)用變成現(xiàn)實?！?/p>
生成式AI技術(shù)創(chuàng)新，離不開芯片廠商支持
目前各類AI大模型可謂是百花齊放、并且仍在快速迭代，而手機所支持的端側(cè)AI大模型仍相對較少，配套的生成式AI應(yīng)用和服務(wù)則更是少的可憐，基本都還是云端生成式AI的那一套?？梢哉f，生成式AI手機目前的生態(tài)仍處于一片“百業(yè)待舉”的階段，如果要發(fā)展起來，必然是需要攜手眾多應(yīng)用開發(fā)廠商和開發(fā)者，來開發(fā)專屬于生成式AI手機的原生應(yīng)用和服務(wù)。這也正是聯(lián)發(fā)科此次召開首屆“天璣開發(fā)者大會”的目的。
對于主控芯片廠商來說，通過舉辦開發(fā)者大會等形式來發(fā)展基于自家芯片的應(yīng)用生態(tài)可以說是很常見，但是作為頭部手機芯片廠商的聯(lián)發(fā)科舉辦了天璣開發(fā)者大會，這在移動行業(yè)卻是頭一遭。在“天璣開發(fā)者大會”的論壇環(huán)節(jié)，百川智能CEO、前搜狗CEO王小川就坦言，以前作為互聯(lián)網(wǎng)應(yīng)用廠商根本都不用去找手機芯片廠商合作，但是到了生成式AI手機階段，作為AI大模型或者AI應(yīng)用廠商就不得不要來跟手機芯片廠商直接合作了，因為我們需要手機芯片廠商提供足夠的AI算力來支持我們，需要手機芯片廠商開放他們的AI芯片的能力給到我們，不然我們就無法提供出色端側(cè)生成式AI體驗。
聯(lián)發(fā)科技無線通信事業(yè)部生態(tài)發(fā)展資深總監(jiān)章立指出，當APP應(yīng)用走到端側(cè)AI大模型這種應(yīng)用生態(tài)的時候，確實已經(jīng)到了要去向終端芯片要算力的階段。
不論是對于手機品牌廠商、大模型技術(shù)廠商，還是對于生成式AI應(yīng)用開發(fā)者來說，如果他們的創(chuàng)新需要芯片層級的技術(shù)來支持，那么他們就一定會選擇和芯片公司來直接合作，因為這樣可以盡量彌合不同智能手機品牌、不同機型之間的技術(shù)差異。特別是對于生成式AI應(yīng)用的開發(fā)者來說，需要從芯片的底層來發(fā)掘如何利用移動平臺的先進技術(shù)打造創(chuàng)新的用戶體驗。總結(jié)來說就是，當開發(fā)者要想做到生成式AI的深度技術(shù)創(chuàng)新，那么就離不開芯片公司的支持。
而對于聯(lián)發(fā)科來說，為應(yīng)對生成式AI對于移動生態(tài)所帶來的全新變革，在去年就已經(jīng)開始了主動與眾多的OEM、大模型廠商、應(yīng)用廠商和開發(fā)者進行了深度合作與探討。比如，思考如何幫助大模型廠商在端側(cè)更高效、更快速、更容易的部署大模型，思考如何幫助OEM廠商和應(yīng)用開發(fā)者們借助生成式AI帶來應(yīng)用、服務(wù)和用戶體驗上的創(chuàng)新。
天璣AI開發(fā)套件助力“生成式AI手機”生態(tài)加速起飛
對于生成式AI手機這樣一個全新的“物種”來說，配套的軟硬件生態(tài)都還處于起步階段，勢必會面臨著眾多的挑戰(zhàn)。比如，終端硬件的多樣化，眾多品牌和機型，各自采用不同的芯片平臺和硬件配置，這會導(dǎo)致應(yīng)用的開發(fā)、移植和適配難度大；大模型端側(cè)運行技術(shù)難度大，如果直接把訓(xùn)練好的大模型放到手機端，或者直接把依托于云端算力的生成式AI應(yīng)用移植到手機端來，可能會面臨運行效率低、內(nèi)存占用過高、能耗過大等方面的問題。所以，如何能夠更簡單、更快速、更高效的優(yōu)化、部署和運行成為關(guān)鍵問題；目前對于端側(cè)生成式AI開發(fā)者來說，針對性開發(fā)工具的缺乏，也導(dǎo)致了端側(cè)生成式AI應(yīng)用開發(fā)難度大。
為了解決這些難題，聯(lián)發(fā)科在此次“天璣開發(fā)者大會”上，還首次推出了終端生成式AI應(yīng)用開發(fā)一站式解決方案——天璣AI開發(fā)套件。據(jù)介紹，天璣AI開發(fā)套件主要包括Gen-AI Model Hub、Gen-AI最佳實踐、Gen-Al優(yōu)化技術(shù)和Neuron Studio四大模塊，可以為廣大開發(fā)者提供“快、全、強、易”的專業(yè)開發(fā)體驗。
其中，“Gen-AI最佳實踐”包括了模型量化、模型編譯、模型推理相關(guān)技術(shù)，可以幫助開發(fā)者高效地進行優(yōu)化、開發(fā)等工作，可將大模型的端側(cè)部署所需時間從原來的數(shù)周加速到只需有一天即可完成；
“Gen-AI Model Hub”則是一個模型庫，為開發(fā)者提供了包含Llama2 7B/13B、Llama2 8B、BaiChuan 2B/7B、SDXL-Turbo、SDXL+LCM、SD1.5、Llava 1.5 7B、Qwen 1.8B/4B等市面上的主流大模型資源；
“Gen-Al優(yōu)化技術(shù)”則率先支持多項關(guān)鍵優(yōu)化技術(shù)，包括推測解碼加速，可以使得Token生成加速2.2倍；LoRA融合技術(shù)可以使得功能包體積降低90%，下載速度提升10倍。這些優(yōu)化技術(shù)將可以幫助開發(fā)者高效地實現(xiàn)端側(cè)模型的性能優(yōu)化。
“Neuron Studio”則是聯(lián)發(fā)科專為開發(fā)者獨創(chuàng)的一套高度集成、一站式、且可視化的 AI 應(yīng)用開發(fā)環(huán)境，可以幫助開發(fā)者快速定位 BUG 及運行性能分析，并使得開發(fā)環(huán)境變得更為直觀、易用，輕松實現(xiàn)更易用的開發(fā)體驗。
總結(jié)來說，天璣AI開發(fā)套件是一套完整的開發(fā)工具鏈，全面覆蓋了終端生成式AI應(yīng)用開發(fā)的全部環(huán)節(jié)，提供了一站式的解決方案。并且，天璣AI開發(fā)套件目前已覆蓋智能手機、智能汽車、物聯(lián)網(wǎng)、個人電腦等智能終端設(shè)備，可以為全場景生成式AI應(yīng)用開發(fā)賦能。
率先構(gòu)建端側(cè)生成式AI生態(tài)，聯(lián)發(fā)科完成領(lǐng)先的一步好棋
需要指出的是，雖然去年英特爾、AMD都推出了PC端內(nèi)置生成式AI大模型的AI PC處理器，高通也推出了支持手機端AI大模型的驍龍8 Gen3，但截至目前它們依然還是停留在推產(chǎn)品的階段，相比之下，聯(lián)發(fā)科在推出支持端側(cè)生成式AI技術(shù)的天璣9300之后，就快速的進入到了引領(lǐng)合作伙伴構(gòu)建生成式AI生態(tài)的階段，并且還面向開發(fā)者推出了目前市面上唯一的終端生成式AI應(yīng)用開發(fā)一站式解決方案——“天璣AI開發(fā)套件”，可謂是領(lǐng)先了競爭對手一大步。
如果說，英偉達是憑借其強大的CUDA生態(tài)才有如今的云端AI芯片市場的霸主地位，那么聯(lián)發(fā)科顯然也希望通過快速構(gòu)建起基于天璣平臺的端側(cè)生成式AI生態(tài)，借此在未來的生成式AI手機市場占據(jù)競爭優(yōu)勢。
聯(lián)發(fā)科無線通信事業(yè)部副總經(jīng)理李彥輯坦言，現(xiàn)在很多廠商都在發(fā)展自己在云端的工具鏈，但是英偉達應(yīng)該是最早的，它是擁有最完整的工具鏈的廠商。但是在端側(cè)生成式AI工具鏈方面，可以說是非常少，尤其在體量如此龐大的智能手機市場，其實是沒有工具鏈來支持端側(cè)生成式AI應(yīng)用開發(fā)的。今天聯(lián)發(fā)科是第一家推出完整的端側(cè)生成式AI開發(fā)工具鏈的廠商。李彥輯表示：“我非常相信，從端側(cè)出發(fā)的工具鏈，我們是居于比較領(lǐng)先的地位的。我們會向云端的英偉達的那些工具鏈去靠攏，我們會去學(xué)習(xí)，推動整個工具鏈的完善和進步?！?/p>
章立也進一步指出，通過我們之前和開發(fā)者的交流了解到，他們面對生成式AI的機會都很興奮，都想要去做一些創(chuàng)新，但是缺乏工具，或者只有碎片化的工具，甚至很多環(huán)節(jié)還沒有工具。聯(lián)發(fā)科抓住了這么一個開發(fā)者急需解決的痛點，推出了天璣AI開發(fā)套件，是很好的第一步。未來隨著我們和開發(fā)者的持續(xù)磨合和反饋改進，天璣AI開發(fā)套件將會持續(xù)快速迭代，我相信明年我們的工具會變得更強大，而且一定是面向開發(fā)者需求的。
為加速生態(tài)共建，在?“天璣開發(fā)者大會”上，聯(lián)發(fā)科還聯(lián)合阿里云、百川智能、傳音、零一萬物、OPPO、榮耀、vivo、小米等生態(tài)伙伴共同啟動了“天璣AI先鋒計劃”，該計劃面向全球開發(fā)者，致力于整合聯(lián)發(fā)科與產(chǎn)業(yè)生態(tài)伙伴資源為勇于探索和創(chuàng)新的開發(fā)者提供開發(fā)資源、技術(shù)支持和商業(yè)機會，助力開發(fā)者在天璣生態(tài)中打造創(chuàng)新的用戶體驗。
“AI先鋒計劃包含兩部分：第一個環(huán)節(jié)是我們和一些模型、OEM廠商一起聯(lián)合構(gòu)建領(lǐng)先的生態(tài)基礎(chǔ)；再者就是跟所有的APP開發(fā)廠商，能夠在這樣的硬件基礎(chǔ)上，探索怎么樣開發(fā)新的生成式AI應(yīng)用。所以先鋒計劃基本上是希望能夠把開發(fā)資源釋放給這些應(yīng)用開發(fā)者，讓他們能夠加入并加速生態(tài)的構(gòu)建和發(fā)展?！崩顝┹嫿忉尩?。
陳一強則以面向游戲應(yīng)用的“星速引擎”為例指出：“開發(fā)者針對優(yōu)化了天璣9300，那所有搭載天璣9300的終端都可以有啟動星速引擎的能力，但是如果沒有這樣的東西，就可能要一家一家手機廠商去適配。所以我們是希望作為底層的賦能者角色把大家拉在一起，尋求共識，讓大家比較能夠一起往同一個方向走。如果沒有這樣我們的角色，可能不同的生態(tài)角色都會有不同的策略方向，就會影響整個生成式AI手機生態(tài)的推進。”、
不同于很多廠商從官宣到實際的合作落地需要較長的時間，在“天璣開發(fā)者大會”當天場外的展示區(qū)域，就已經(jīng)有10多家的生成式AI應(yīng)用開發(fā)商展示了基于聯(lián)發(fā)科天璣9300系列的端側(cè)生成式AI應(yīng)用落地成果。這也足見聯(lián)發(fā)科對于攜手合作伙伴，快速構(gòu)建基于天璣平臺的“生成式AI”生態(tài)優(yōu)勢的決心。
“當別人還在談夢想、談未來的時候，我們已經(jīng)在幫助這些開發(fā)者在端側(cè)落地了這些生成式AI的應(yīng)用?！崩顝┹嬚f道。
作者：芯智訊-浪客劍
下載ECAD模型
