如何評估自動駕駛注釋數(shù)據的有效性？

數(shù)據是現(xiàn)代機器學習應用程序中最重要的組成部分，包括自動駕駛汽車的感知系統(tǒng)都是依靠數(shù)據進行訓練的。目前汽車都配備了許多傳感器，這些傳感器收集信息并輸入到汽車計算機，然后信息必須進行實時處理和注釋，以便汽車了解行駛中道路前方的情況。但是，汽車計算機上的算法需要接受有關如何進行分類的訓練，所以數(shù)據標注的準確性變得很重要。以下是 Annotell 公司在數(shù)據標注上的一些探索。

?

?

帶注釋的數(shù)據至關重要，它有兩個目的：在汽車上的計算機上訓練算法以解釋收集的信息，并驗證計算機確實已學會正確解釋收集的信息。由于注釋數(shù)據用于這兩個關鍵目的，因此注釋的質量至關重要。最終，低質量的注釋可能會導致汽車誤解道路上正在發(fā)生的事情。

注釋數(shù)據的過程始終包括一些人為的決定，第一個挑戰(zhàn)就是讓人們同意對記錄的數(shù)據進行正確的注釋，而創(chuàng)建這樣的注釋準則有時并不像人們想象的那么容易。往往需要有效設計注釋準則以提高質量方面具有豐富的經驗。第二個挑戰(zhàn)是在指南的指導下按比例執(zhí)行注釋。

如何判斷數(shù)據集的有效性？

量化注釋質量的一種方法是注釋數(shù)據集的精度和召回率?？紤]一下標注的類型，其中攝像機圖像中的一個對象（如接近的車輛）由一個邊界框標注。在對此類數(shù)據集的質量進行推理時，有兩個重要的問題（i）感興趣的對象是否已由邊界框正確標注，以及（ii）邊界框是否實際上包含感興趣的對象。

?

?

?

?

上面示意圖中出現(xiàn)了錯誤標注。而在完美注釋的數(shù)據集中，以上兩個錯誤均不存在。因此，定義質量的一種方法是計算這些錯誤在帶注釋的數(shù)據集中出現(xiàn)的程度。例如計算

1. 實際表示對象的包圍盒的比率。這稱為精度。理想情況下，精度為 1。
2. 用邊界框正確注釋的對象的比率。這就是所謂的召回。理想情況下，召回率為 1。

但是，計算數(shù)據集的精度和召回率還需要對整個數(shù)據集中的每個幀進行人工批判性檢查，這可能與注釋過程本身一樣昂貴！為了在計算精度和召回率時獲得效率，因此 Annotell 團隊依靠統(tǒng)計數(shù)據來推斷精度和召回率。僅對所有注釋的統(tǒng)計選擇良好的子集進行人工批判性審查，并使用概率論得出有關整個數(shù)據集的結論。

更詳細地講，他們使用貝葉斯方法來計算后驗分布，以提高精度并召回整個數(shù)據集，這取決于已經進行了嚴格審查的注釋的子樣本。它不僅提供了精確度和召回率的估計，而且還量化了這些估計中的不確定性。例如，我們可以計算所謂的 95％可信度下限，這意味著可以確定 95％的精度或召回率不低于此閾值。

Annotell 公司提供了一種具有成本效益的工具，用于根據精度和召回級別以及對級別的確定性來衡量注釋的質量。