芯耀
377
ISP性能已經達到傳統算法的極致，引入AI則可以顛覆傳統。”
想要在資金、技術、人才門檻“三高”的芯片領域沿著領先者走過的路實現彎道超車，可能性微乎其微，創(chuàng)新則可以顛覆傳統。
前博通副總裁、紫光展銳CTO仇肖莘2019年5月創(chuàng)立的愛芯元智（原愛芯科技）僅用時一年四個月就量產了一款可以與競爭對手迭代十多年的高端視覺芯片比拼的產品。
“ISP（Image Signal Processor，圖像信號處理器）經過十幾二十年的發(fā)展性能已經達到傳統算法的極致，我們引入AI的方式顛覆傳統的ISP設計，同時提升ISP的性能天花板。”愛芯元智創(chuàng)始人兼首席執(zhí)行官仇肖莘對雷鋒網表示。
用AI顛覆傳統的ISP，有哪些關鍵？
1
感知+計算的大市場
愛芯元智（原愛芯科技）成立的2019年并非AI芯片初創(chuàng)公司大量成立的時間點，之所以選擇在2019年創(chuàng)業(yè)，仇肖莘說，“我非?？春酶兄?計算芯片的應用前景。ISP是感知的關鍵，但這個技術沿著傳統的方式很難有很大的提升，如果把ISP和AI計算結合起來，不僅能夠提升ISP，也有廣闊的應用市場，包括智慧交通、智慧城市、運動相機、翻譯筆等。”
看好市場的機遇是一方面，仇肖莘的個人經歷也決定了愛芯的創(chuàng)立時間。她本碩畢業(yè)于清華大學自動化專業(yè)，并在美國南加州大學取得了電子工程博士學位。在2018年9月加入紫光展銳任CTO之前，仇肖莘一直在國外工作，曾在AT&T Labs任職并獲得研究卓越獎，也曾任博通公司副總裁。2019年，創(chuàng)業(yè)并且聚焦感知和計算成為她新的的選擇。“我們希望做AI視覺芯片行業(yè)的開拓者，同時也堅持長期主義。”仇肖莘說。
明確了目標，堅定了信念后，仇肖莘迅速集結了一批參與過10顆以上的芯片設計和生產的核心成員，業(yè)務范圍涵蓋芯片的設計、生產，軟件和硬件。“我現在可以說，愛芯元智已經有非常完整的芯片團隊，負責芯片從設計到生產到應用的各個環(huán)節(jié)。”仇肖莘表示。
團隊的完善帶來了產品的快速量產。愛芯元智的首顆人工智能視覺芯片AX 630A在2019年8月立項，9個月后的2020年5月流片，7月31號回片后一次成功點亮，12月進入量產狀態(tài)，今年6月正式風險量產。
“AX630A是我們目前的旗艦產品。這款新品第一版就流片成功，既沒有做MPW，也沒做任何Metal Fix。”仇肖莘自信的表示。
2
顛覆傳統ISP的兩大關鍵
愛芯元智的首款旗艦產品AX630A功耗約3W，可實現57.6TOPS@800MHz 2w4f算力，等效算力到達28.8TOPS@800MHz INT4。如果對比市場同類產品，競品以int8運行Resnet50的網絡，AX630A以混合精度的方式運行Resnet50，在最終精度幾乎相同的情況下，愛芯的芯片每秒處理的圖像幀數是競品的十倍多。
能夠實現一個數量級性能差距的關鍵是愛芯元智自研的混合精度NPU以及聯合設計的AI ISP。要用AI顛覆ISP，首先需要解決AI芯片面臨的內存墻挑戰(zhàn)。所謂的內存墻，是由于內存性能遠小于計算性能，內存不能高效將數據傳輸到計算核心，帶來高功耗和有效率計算性能不高的問題。
目前業(yè)內通過多種方式解決內存墻的挑戰(zhàn)，包括存算一體、可重構計算等。愛芯解決內存墻挑戰(zhàn)的方式是混合精度。
“AI模型有非常多層，在端側，目前主流的方式是每一層都讀取8位整數（int8），但實際上，在最終模型精度不變的情況下，并不是每一層都需要讀取8位數，中間層的數據表達4位甚至2位就足夠，不同的層用不同的數據精度表達就是混合精度。”仇肖莘表示，
“采用混合精度設計AI芯片可以降低對內存的需求，比如原來每層網絡都讀取8位數據，用混合精度表示可能平均只需要4位的精度就足夠，這樣不僅能夠在相同的芯片面積下提供更大的算力而且對內存的帶寬需求就可以減少為原來的四分之一，也就解決了內存墻的問題。”
要用混合精度的方式設計AI芯片的挑戰(zhàn)在于需要芯片和算法的協同設計，既然是協同設計，就需要同時非常了解算法和芯片架構，用算法指導AI芯片的硬件設計，同時又要思考AI芯片的設計反過來對算法實現的影響。
也就是說，硬件可以提升算法的效率，而算法又可以繞過硬件的限制，這是一個在算法靈活性和硬件效率間尋求最佳平衡點的難題。
“我們是業(yè)內第一個設計且量產端側混合精度AI芯片的公司。”仇肖莘說。
解決AI芯片的內存墻挑戰(zhàn)只是第一步，接下來需要思考的是如何將AI與ISP結合超越傳統ISP，真正實現顛覆。
“傳統的ISP流水線（pipeline）有十幾到二十個模塊，我們將ISP流水線中最重要的幾個模塊，包括高動態(tài)、3D降噪等AI化處理，將AI處理融入到ISP流水線中。”仇肖莘透露。
愛芯元智ISP負責人、系統架構師張興解釋，“用AI的方式實現ISP流水線中的關鍵模塊，我們就能夠不斷迭代和優(yōu)化AI模型，不斷提升畫質。AX630A從去年7月底回片到現在，我們的模型每半個月更新一版效果，效果實現了質的飛躍。”
仇肖莘說：“如果用傳統的方式，我們沒有辦法在第一代芯片就達到行業(yè)內迭代了十多年的高端水平。通過AI定義ISP，我們的第一代芯片就趕上了行業(yè)高端ISP，并且在某些性能上實現了超越。”
也就是說，傳統ISP需要通過芯片按年來迭代的方式，才能不斷完善ISP，而愛芯將ISP中的關鍵模塊AI化，ISP的迭代周期大幅縮短到以周來計算，提升了ISP的迭代速度的同時，還提高了ISP的靈活性能夠匹配不同傳感器。
“如果是沒有協同設計的ISP和NPU，很難實現將ISP流水線中的關鍵模塊軟件化或者說AI化。我們之所以率先量產AI ISP不僅因為這兩個核心IP都是自主研發(fā)，聯合設計也非常關鍵。”仇肖莘特別指出。
“高算力的AI ISP有很多好處，比如可以提升圖像的信噪比，把原來被埋在噪聲里的信號恢復出來?；蛘?，大算力也能夠實現大規(guī)模的智能分析，用于智慧城市等。還有，大算力能夠滿足視頻流處理需求的同時，實現更好的夜間視頻效果。”
要知道，視頻流的處理對ISP有較高要求，每幀的處理時間只有33毫秒，這對ISP是極大的考驗。
注：視頻截圖已做人物隱私保護
從愛芯展示的視頻看，AX630A在多路視頻結構化智能分析、大規(guī)模智能分析和夜間視頻效果中確實有顯著提升。這款芯片也已經被華東地區(qū)的大客戶采用。
3
普及AI ISP
“手機業(yè)界已經發(fā)現在AI算力的支持下，AI算法已經超越了傳統ISP算法的效果，因此目前主流的趨勢是用AI算法替代傳統算法，或者將AI算法與傳統算法結合。”張興指出。
近來，手機業(yè)界也掀起了自研芯片潮流，頭部手機公司紛紛研發(fā)起ISP，本質原因是影像和顯示功能是消費者最容易感知，也最愿意買單的功能，自研ISP能夠在提升手機影像相關性能的同時實現差異化，并且相比研發(fā)SoC，自研ISP的投入產出比最高。
作為率先量產AI ISP的公司，愛芯不會錯過這一市場。愛芯的第二款產品，也是其定位主流的產品AX620A也已經在今年5月流片，7月下旬已經回片，目前一切順利，預計在2022年第一季度客戶會出貨搭載AX620A的產品。
AX620A的功耗小于1W，可以實現28.8 TOPS @800MHz 2w4f（等效算力 14.4 TOPS @800MHz INT4）的性能，因其主流產品定位AX620A的性能低于AX630A，但因為ISP和NPU都是新一代，所以在單核性能和能效及圖像效果上相比旗艦產品AX630A都有所升級。
仇肖莘透露，“我們設計AX620A的時候還是希望能做手機的前處理ISP，所以功耗控制是一個大的設計目標。在這一應用市場，預計明年會有好消息和大家分享。”
AI ISP應用于手機和智慧城市等場景的效果一旦被市場認可，競爭對手就會迅速跟進，這也促進了愛芯的快速成長。“我們一定要比別人超前幾步，否則很容易被人追上。我們的目標是在初期迅速讓產品成系列，并且有相應的客戶支持，客戶用起來之后，后續(xù)的產品迭代就會比較慎重，每一代產品都需要有亮點。”仇肖莘談及愛芯的產品規(guī)劃。
隨著愛芯芯片的量產，愛芯的團隊人數從年初的140多人迅速擴增到了如今的300人，并且軟件團隊的人數大約是硬件團隊人數的1.5倍左右。
“我們的芯片明年會有比較大的出貨量。愛芯元智最終的目標還是成為視覺處理領域的頭部企業(yè)，所以我們一定要成規(guī)模。同時，我們現在選擇投資人的時候，也更看重可能帶來的協同性。”仇肖莘說。
4
小結
元智的成立時間早已過了AI最熱的時間，但愛芯用技術和定位證明，只要滿足市場需求的產品就能夠迅速獲得市場認可。視覺作為AI落地的重要方向，相比許多AI芯片初創(chuàng)公司僅提供AI加速器的方法，愛芯元智的AI ISP使用的場景以及易用性的更加明確，這也是其產品能迅速落地的關鍵。
不過，要發(fā)揮混合精度NPU和AI ISP的優(yōu)勢，還有很多技術關卡需要持續(xù)突破，這對成立不久的愛芯來說，有大量軟件層面的工作需要做，對使用的客戶來說，也有一定的技術門檻。
愛芯元智已經用自研核心IP表明了其想要在這一市場做大的決心。能否達成，拭目以待。
作者 |包永剛
