Oculi的“軟件定義”視覺傳感器

在創(chuàng)立Oculi之前，Charbel Rizk是一名自動系統(tǒng)設(shè)計師，他對市場上的計算機視覺系統(tǒng)感到失望。傳統(tǒng)的傳感器通常是為人類使用而設(shè)計的，會產(chǎn)生大量數(shù)據(jù)，導致系統(tǒng)需要更多帶寬，延遲也會增加。Rizk能否說服其他系統(tǒng)設(shè)計者接受Oculi最初為實現(xiàn)自己的愿望清單而開發(fā)的新視覺架構(gòu)呢？?

Baltimore的一家初創(chuàng)公司Oculi是約翰-霍普金斯大學研究團隊的分支，該公司開發(fā)出了一種視覺技術(shù)架構(gòu)，其中傳感和處理都位于像素級。該公司稱之為傳感與處理單元（SPU）。

Oculi創(chuàng)始人兼CEO Charbel Rizk說：“我的主張是，我們將始終實現(xiàn)功耗、帶寬、延遲和最終成本最低的計算機視覺解決方案，并保護隱私?！?/p>

這是傳感與處理領(lǐng)域眾多玩家的大話題，他們都在廣泛的嵌入式系統(tǒng)中追求終極的AI解決方案。

SPU方法顛覆了機器視覺和成像傳感器市場數(shù)十年的慣例。

傳統(tǒng)供應(yīng)商競相制造更高分辨率的傳感器，同時將更多數(shù)據(jù)傳輸到處理平臺。然后，系統(tǒng)供應(yīng)商獲取輸出，并在傳感器外部的處理器上運行算法。這樣，系統(tǒng)就可以提取他們可以使用的信息。

這一過程導致了永無止境的百萬像素競爭，對從傳感器向感知模塊傳輸數(shù)據(jù)的帶寬的需求不斷增長（導致延遲），以及最后為提高運行更好或更強大算法所需的處理能力（從而帶來更大的功耗）而進行的TFLOPS處理器競賽。

而Oculi則承諾以極低的帶寬和延遲實現(xiàn)“實時視覺智能”。例如，Oculi的解決方案使用的帶寬僅為每秒千比特（而非千兆比特），延遲時間為微秒而非數(shù)十秒。這得益于SPU已經(jīng)在像素級處理傳感和處理。

不過，Oculi的SPU更為出眾的地方在于其可編程性。

傳感器可以通過軟件定義，提供一系列感測輸出選項。

Oculi的Rizk指出：“你可以像其他圖像傳感器一樣獲得全畫幅視頻。但你也可以開始獲得越來越少的數(shù)據(jù)，包括我們所說的‘可操作信息’或‘可操作信號’?！焙喍灾?，SPU可以生成最少的數(shù)據(jù)，但有足夠的信息供系統(tǒng)根據(jù)這些數(shù)據(jù)采取行動。

可編程性可持續(xù)實時提供。因此，任何使用SPU并需要為某些檢測提供更多信息的人，都可以調(diào)整設(shè)置來增加像素數(shù)（從可操作信號到全幀），以及介于兩者之間的所有信息。

此外，Oculi的SPU還是獨立于傳感器的。Rizk介紹，它不僅可以與傳統(tǒng)的CMOS傳感器配合使用，還可以與紅外甚至深度/ToF傳感器配合使用?！拔覀冮_發(fā)的架構(gòu)可以應(yīng)用于RGB、紅外或深度模式。我們開發(fā)的架構(gòu)可以應(yīng)用于所有這些模式，我們已經(jīng)在實際的硬件原型中進行了演示。”

Rizk 堅持認為，Oculi的目標是簡化機器視覺并提高其效率。

但是，在電子工業(yè)中，人們習慣于根據(jù)適合不同應(yīng)用的不同模式選擇不同的傳感器，而SPU所提供的多功能性和可編程性則是既新鮮又陌生的概念。
這就是Oculi的難題所在。

顛覆是要付出代價的??

很多初創(chuàng)公司都將業(yè)務(wù)建立在“新”技術(shù)上，這些技術(shù)聲稱能在現(xiàn)有公司已經(jīng)發(fā)揮重要作用的成熟、明確的細分市場中實現(xiàn)卓越性能。

一家初創(chuàng)公司的技術(shù)，其基本架構(gòu)與行業(yè)已知的技術(shù)大相徑庭，理應(yīng)被稱為“顛覆性”技術(shù)。

然而，顛覆是有代價的，會給初創(chuàng)公司的小型工程團隊帶來巨大壓力。他們需要時間和資源，向市場闡明新技術(shù)能給產(chǎn)品帶來的優(yōu)勢和變化。

更困難的是，在花費了大量精力教育市場之后，并不能保證潛在客戶會接受這種顛覆，更不用說費心想象他們?nèi)绾卧谧约旱挠布蜍浖?yīng)用中利用這種顛覆了。

Rizk承認這一挑戰(zhàn)。不過，好消息是，SPU的性能改進不是漸進式的，而是實質(zhì)性的。Rizk聲稱：“與市場上最好的傳感器和最好的處理器相比，我們的性能有了顯著提高（延遲-能量提高了150倍到600多倍）。

這位CEO還補充說：“對于任何需要保護隱私的應(yīng)用，目前唯一的選擇就是使用雷達或激光雷達，但這兩種設(shè)備都要昂貴、復雜得多，而且提供的視覺智能也很有限。SPU可以填補這一空白?！?/p>

三十年未解決的問題??

Oculi是一家自信滿滿的公司，其基礎(chǔ)是Rizk及其團隊在2019年創(chuàng)立Oculi之前在約翰霍普金斯大學進行了長達十八年的研究。

在介紹Oculi時，Rizk強調(diào)了自己幾十年來在計算機視覺系統(tǒng)方面遇到的挫折。三十多年前，在設(shè)計一架完全自動的無人機時，“我無法將計算機視覺系統(tǒng)安裝在無人機上，因為盡管攝像頭相對較小，但所需的處理量和功耗卻使其不切實際”。三十年后，Rizk說：“我在約翰霍普金斯大學教我的學生如何做機器人。這些完全自動的機器人實際上相對復雜。它們能完成很多任務(wù)。然而，它們卻沒有搭載視覺技術(shù)。”他解釋說，問題在于，盡管機器人的攝像頭本身體積小、價格便宜，但隨后的處理過程在成本和功耗方面都很昂貴。

三十年過去了，計算機視覺的挑戰(zhàn)依然存在?！坝嬎銠C視覺沒有意識到應(yīng)該聚焦在哪里，應(yīng)該尋找什么，應(yīng)該捕捉什么信息。因此，它捕捉了一切。這也阻礙了算法的實際發(fā)展。他們將更多的處理能力投入其中，與邊緣計算機視覺應(yīng)該做的事情背道而馳。”

Rizk的專業(yè)經(jīng)驗涵蓋無人機、機器學習、傳感器融合和自動感知，他一直是個“系統(tǒng)”專家。他曾在Rockwell Aerospace、McDonnell Douglas、Boeing和約翰霍普金斯大學應(yīng)用物理實驗室做出過重要貢獻。

Rizk強調(diào)，SPU不是在真空中開發(fā)出來的。他解釋說，他的目標始終是開發(fā)機器視覺的最佳架構(gòu)（從光子到可執(zhí)行信號或眼睛+大腦），“也是完全可編程的”。

他說：”傳感器上的智能是解決成像傳感器數(shù)據(jù)泛濫的必要條件，而數(shù)據(jù)泛濫是造成延遲、功耗和成本的罪魁禍首。”

但為什么要堅持可編程性呢？

他說，首先，他希望實現(xiàn)“動態(tài)優(yōu)化”。沒有一個單一的、可重復的用例需要傳感器做同樣的事情。其次，他想讓一個硬件支持多個市場和產(chǎn)品。

幾年前汽車行業(yè)的經(jīng)歷就是一個很好的例子。Rizk說：“汽車上的所有攝像頭都開始出現(xiàn)LED閃爍的問題，所有圖像傳感器供應(yīng)商都不得不回到繪圖板上，開發(fā)具有閃爍緩解功能的新傳感器。在這方面，SPU的靈活性和可編程性可能會有所幫助?！彼J為，LED閃爍不可能是車廠面臨的最后一個問題。

Prophesee與Oculi??

在SPU的動態(tài)數(shù)據(jù)輸出中，事件觸發(fā)數(shù)據(jù)是其中之一。與Prophesee一樣，Oculi也采用了集成神經(jīng)形態(tài)傳感和處理技術(shù)。?

不過，Rizk堅持認為，將Oculi與Prophesee相提并論是一種誤導。他指出：“這是蘋果與香蕉的比較?！?/p>

也許是這樣，但分析界還是將Oculi歸入了事件傳感器公司一類。

Yole Intelligence全球半導體首席分析師Pierre Cambou稱Oculi的技術(shù)是“基于事件的傳感器，與Prophesee開發(fā)的方法類似。但IP可能有所不同。

Yole Intelligence成像部高級技術(shù)與市場分析師Florian Domengie對此表示贊同。Oculi采用的事件模式原理與其他動態(tài)視覺傳感器相同，“如果像素的光電流發(fā)生顯著變化，它就會輸出一個尖峰，整個像素可以獨立地、異步地點亮?！盌omengie補充說，“這里的不同之處在于，Oculi的架構(gòu)可以部署在各種傳感器上，包括RGB、深度和類似Prophesee的基于事件的傳感器，具有像素級可編程處理功能。”

Prophesee的業(yè)務(wù)是推廣事件傳感器，而Oculi則側(cè)重于其SPU的可編程性或軟件定義方面。SPU提供一系列感測輸出，從全畫幅圖像（Prophesee沒有）和基于事件的數(shù)據(jù)，一直到Oculi的可操作信息和可操作信號。后兩種數(shù)據(jù)類型大幅減少，但仍保留了公司所需的信息系統(tǒng)，具體取決于應(yīng)用情況。

Rizk承認，他一直在拉開Oculi與事件傳感器的距離。他指出，盡管市場已經(jīng)意識到事件傳感器的重要性，但市場還未形成。在他看來，許多投資者和對該技術(shù)進行過評估的人或多或少已經(jīng)到了幻想破滅的階段。

Rizk指出，當Oculi被誤認為是“另一家事件傳感器公司”時，它在融資和吸引客戶方面都遇到了困難。

幸運的是，在Oculi推出之前，其技術(shù)開發(fā)已經(jīng)獲得了4000萬美元的支持。此后，Oculi又籌集了約450萬美元。它已經(jīng)擁有了第一代SPU的真正硬件，由Global Foundries使用其55nm CMOS工藝技術(shù)制造。

Oculi的下一步

Oculi不僅展示了其SPU，還在各種應(yīng)用中進行了概念驗證，使其能夠展示SPU在許多計算機/機器視覺應(yīng)用中的不同之處。

這些應(yīng)用包括人員檢測、AR/VR和智能交通基礎(chǔ)設(shè)施。這些應(yīng)用甚至包括將“眼睛”（SPU）放置在目前不可能使用攝像頭的地方。Rizk解釋說：“想想目前使用接近傳感器或運動傳感器的一些傳統(tǒng)應(yīng)用，比如經(jīng)常不打開的水龍頭，以及對所有運動而不只是對人的接近做出反應(yīng)的自動滑門。SPU可以增加情景感知功能，只提取必要的信息來觸發(fā)系統(tǒng)?！?/p>

Rizk說：“現(xiàn)在有很多使用案例?！弊鳛橐患倚」?，我們現(xiàn)在面臨的挑戰(zhàn)只是如何選擇我們首先要關(guān)注的用例。有鑒于此，我們不能繼續(xù)與這么多公司共舞?！?/p>

Oculi迄今走過的道路并不平坦。但由于該公司看到了SPU可以進入的大量應(yīng)用領(lǐng)域，CEO表示，Oculi將在未來幾周內(nèi)決定團隊將重點關(guān)注的最初應(yīng)用領(lǐng)域。