芯耀
127
本文首先總結(jié)了計(jì)算機(jī)視覺(jué)領(lǐng)域的重要關(guān)鍵技術(shù)以及典型算法模型，隨后介紹了這些技術(shù)在通信工程領(lǐng)域內(nèi)設(shè)備安裝、施工驗(yàn)收、三維測(cè)量以及天面核查等四種典型場(chǎng)景下的應(yīng)用方案及實(shí)施效果，上述應(yīng)用實(shí)踐將為在通信工程行業(yè)構(gòu)建數(shù)字孿生網(wǎng)絡(luò)提供有益探索。
1、引言
計(jì)算機(jī)視覺(jué)（Computer Vision， CV）是指用計(jì)算機(jī)來(lái)模擬人的視覺(jué)系統(tǒng)，實(shí)現(xiàn)人的視覺(jué)功能，以適應(yīng)、理解外界環(huán)境和控制自身的運(yùn)動(dòng)。數(shù)據(jù)、算力和模型是計(jì)算機(jī)視覺(jué)行業(yè)發(fā)展的三大基石。2000 年之后，數(shù)據(jù)量的上漲、運(yùn)算力的提升和深度學(xué)習(xí)算法的出現(xiàn)促進(jìn)了計(jì)算機(jī)視覺(jué)行業(yè)的迅猛發(fā)展。
隨著高性能智能終端的普及以及影像采集設(shè)備成本的下降，通信行業(yè)逐漸在勘察、施工、優(yōu)化和運(yùn)維等領(lǐng)域累積了大量非結(jié)構(gòu)化的圖像數(shù)據(jù)；同時(shí)，圖像處理器（Graphics Processing Unit，GPU）的便利應(yīng)用也為開(kāi)展高強(qiáng)度并行計(jì)算提供了算力基礎(chǔ)。
本文首先總結(jié)了計(jì)算機(jī)視覺(jué)領(lǐng)域的重要關(guān)鍵技術(shù)以及典型算法模型，隨后介紹了這些技術(shù)在通信工程領(lǐng)域內(nèi)設(shè)備安裝、施工驗(yàn)收、三維測(cè)量以及天面核查等幾種典型場(chǎng)景下的技術(shù)方案，并提供了所屬應(yīng)用的實(shí)施效果。
2、計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵技術(shù)
2.1 重要關(guān)鍵技術(shù)
計(jì)算機(jī)視覺(jué)領(lǐng)域一般包括如下五類(lèi)關(guān)鍵技術(shù)。
（1）圖像分類(lèi)
圖像分類(lèi)主要研究?jī)?nèi)容是對(duì)圖像進(jìn)行特征描述。通常，圖像分類(lèi)算法通過(guò)手工特征或者特征學(xué)習(xí)方法對(duì)整個(gè)圖像進(jìn)行全局描述，并依據(jù)圖像特征圖的不同語(yǔ)義信息進(jìn)行分類(lèi)，該技術(shù)廣泛應(yīng)用于人臉識(shí)別、手寫(xiě)文件或印刷識(shí)別、車(chē)輛識(shí)別等場(chǎng)景。常用的圖像分類(lèi)模型包括：AlexNet[1]、VGG[2]、ResNet[3]、InceptionV4、MobileNetV3[4]、ShuffleNet 等。
（2）目標(biāo)檢測(cè)
作為計(jì)算機(jī)視覺(jué)的一個(gè)重要分支，目標(biāo)檢測(cè)的任務(wù)是在一幅圖像或視頻中找到目標(biāo)類(lèi)別以及目標(biāo)位置。與圖像分類(lèi)不同，目標(biāo)檢測(cè)側(cè)重于物體搜索，被檢測(cè)目標(biāo)必須有固定的形狀和輪廓；而圖像分類(lèi)可以是任意目標(biāo)包括物體、屬性和場(chǎng)景等。目標(biāo)檢測(cè)已在人臉識(shí)別和自動(dòng)駕駛領(lǐng)域取得了非常顯著的效果，經(jīng)典的檢測(cè)模型有 YOLOV3、SSD[t5]和 Faster RCNN[6]。
（3）圖像分割
圖像分割指的是將數(shù)字圖像細(xì)分為多個(gè)圖像子區(qū)域（像素的集合，也被稱(chēng)作超像素）的過(guò)程。圖像分割的目的是簡(jiǎn)化或改變圖像的表示形式，使得圖像更容易理解和分析。圖像語(yǔ)義分割是一個(gè)像素級(jí)別的物體識(shí)別，即每個(gè)像素點(diǎn)都要判斷它的類(lèi)別。Mask R-CNN[7]就是一種經(jīng)典的實(shí)力分割網(wǎng)絡(luò)。
（4）場(chǎng)景文字識(shí)別
場(chǎng)景文字識(shí)別分為兩部分，首先通過(guò)目標(biāo)檢測(cè)檢測(cè)出目標(biāo)區(qū)域，然后通過(guò) CRNN-CTC 模型將網(wǎng)絡(luò)特征轉(zhuǎn)為文字序列。場(chǎng)景文字識(shí)別廣泛應(yīng)用于路牌識(shí)別、車(chē)牌檢測(cè)等領(lǐng)域。
（5）圖像生成
圖像生成是指使用對(duì)抗網(wǎng)絡(luò)（GAN）根據(jù)輸入的隨機(jī)噪聲或向量生成目標(biāo)圖像。生成器、識(shí)別器是對(duì)抗網(wǎng)絡(luò)（GAN）的重要組成部分。
2.2 典型算法模型
近年來(lái)，計(jì)算機(jī)視覺(jué)領(lǐng)域的優(yōu)秀算法層出不窮，以下?lián)褚?jiǎn)介下文研究使用的一些模型。
（1）VGG
2014 年，牛津大學(xué)計(jì)算機(jī)視覺(jué)組和谷歌公司的研究員聯(lián)合研發(fā)出一種新的深度卷積神經(jīng)網(wǎng)絡(luò)，即 VGGNet，并獲得當(dāng)年 ILSVRC 分類(lèi)比賽的亞軍。VGGNet 分為 VGG16 和 VGG19：VGG16 通過(guò) 13 層 3×3 的卷積網(wǎng)絡(luò)和 3 層全連接網(wǎng)絡(luò)構(gòu)建，VGG19 則通過(guò) 16 層 3×3 的卷積網(wǎng)絡(luò)和 3 層全連接網(wǎng)絡(luò)構(gòu)建。VGG19 被廣泛應(yīng)用于不同行業(yè)的圖像特征提取領(lǐng)域。
（2）Resnet
深度殘差網(wǎng)絡(luò)（Residual Network, ResNet）是過(guò)去幾年中計(jì)算機(jī)視覺(jué)領(lǐng)域頗具開(kāi)創(chuàng)性的工作。因其強(qiáng)大的表征能力，除圖像分類(lèi)以外，包括目標(biāo)檢測(cè)和人臉識(shí)別在內(nèi)的許多計(jì)算機(jī)視覺(jué)應(yīng)用都得到了性能提升。ResNet101 是其中的一種網(wǎng)絡(luò)堆疊方式，101 層網(wǎng)絡(luò)指齊總的卷積或全連接層數(shù)目。
（3）SIFT
尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform，SIFT）是一種用來(lái)偵測(cè)與描述影像局部性特征的重要算法，由 David Lowe 在 1999 年所發(fā)表，并于 2004 年總結(jié)完善。SIFT 算法主要用于處理兩幅圖像之間發(fā)生平移、旋轉(zhuǎn)、仿射變換情況下的匹配問(wèn)題。
（4）Mask R-CNN
Mask R-CNN 是華人學(xué)者何愷明提出的一種簡(jiǎn)潔、靈活的圖像實(shí)例分割框架，用于判斷圖像中不同目標(biāo)的類(lèi)別和位置，并可做出像素級(jí)預(yù)測(cè)。該算法不僅能夠有效地檢測(cè)圖像中的目標(biāo)，而且還能為每個(gè)實(shí)例生成一個(gè)高質(zhì)量的分割掩碼。
3、通信工程中典型應(yīng)用與效果
3.1 設(shè)備安裝方式檢測(cè)
蓄電池是通信機(jī)房?jī)?nèi)的重要基礎(chǔ)設(shè)施，按照設(shè)備屬性、機(jī)房空間等因素，蓄電池的安裝方式可分臥式和立式兩種（圖 1）。在局房設(shè)計(jì)時(shí)，需要因地制宜地制定安裝方式；在施工驗(yàn)收時(shí)，需要關(guān)注是否按圖施工。通常，安裝方式的信息采集和現(xiàn)場(chǎng)核驗(yàn)都是人工判斷并填注到相應(yīng)信息系統(tǒng)中，填報(bào)錯(cuò)誤時(shí)有發(fā)生。
圖 1 通信機(jī)房?jī)?nèi)蓄電池安裝方式（左：臥式；右：立式）
引入 VGG19 模型中的采用 VGG19 模型中的二分類(lèi)法，基于一般清晰度的現(xiàn)場(chǎng)圖像，本文設(shè)計(jì)出圖 2 所示算法，可高效識(shí)別這兩種安裝方式，在 100 張標(biāo)注樣本數(shù)據(jù)時(shí)，置信度可以即可以達(dá)到 0.95 以上；同時(shí)，還可以借助移動(dòng)互聯(lián)網(wǎng)手段，在圖像信息采集終端中實(shí)現(xiàn)即時(shí)識(shí)別（圖 3），從而提升現(xiàn)場(chǎng)查勘人員信息填寫(xiě)效率并降低人工填報(bào)錯(cuò)誤率。
圖 2 基于 VGG19 模型的蓄電池安裝方式檢測(cè)
圖 3 即拍即傳至后臺(tái)自動(dòng)填寫(xiě)采集終端的屬性字段
3.2 施工工藝圖像質(zhì)檢
家庭市場(chǎng)是中國(guó)移動(dòng)“四輪驅(qū)動(dòng)”戰(zhàn)略的重要組成部分，業(yè)務(wù)發(fā)展已經(jīng)進(jìn)入快車(chē)道，并由“高速度”向“高質(zhì)量”轉(zhuǎn)型。當(dāng)前家寬裝維主要存在以下問(wèn)題：人工抽檢覆蓋率低、成本高；人工質(zhì)檢依靠經(jīng)驗(yàn)，存在漏檢、錯(cuò)檢的情況，結(jié)果不可靠。
通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)可構(gòu)建家客智能化質(zhì)檢手段（圖 4），對(duì)家寬裝維質(zhì)量進(jìn)行跟蹤監(jiān)管，自動(dòng)識(shí)別安裝結(jié)果是否合格，提升質(zhì)檢效率，減少人工成本，改善安裝質(zhì)量，提升家客業(yè)務(wù)支撐水平，最終達(dá)到降本、增效、提質(zhì)的愿景目標(biāo)。
圖 4 家寬裝維圖像質(zhì)檢智能作業(yè)流程
以實(shí)際應(yīng)用中效果較好的尾纖安裝質(zhì)檢為例，傳統(tǒng)的人工圖像質(zhì)檢存在檢測(cè)準(zhǔn)確率低且人力成本高的問(wèn)題，本文采用基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)，基于 VGG19 模型構(gòu)建了相應(yīng)的檢測(cè)算法模塊（圖 5）。
圖 5 基于 VGG19 的尾纖質(zhì)檢基本算法
基于樣本圖像（66 張尾纖布放照片，典型照片如圖 6），開(kāi)展二分類(lèi)標(biāo)注：規(guī)范與整潔，訓(xùn)練圖 5 所示的 VGG19 模型；同時(shí)，預(yù)留了 10 張照片用于測(cè)試驗(yàn)證，圖 6 右是隨機(jī)挑選的驗(yàn)證圖片，置信度為 0.954528，方法有效。
圖 6 尾纖施工工藝對(duì)比（左：標(biāo)準(zhǔn)；中：凌亂；右：驗(yàn)證）
3.3 全景圖像三維測(cè)量
三維全景是基于全景圖像的真實(shí)場(chǎng)景虛擬現(xiàn)實(shí)技術(shù)，將相機(jī)環(huán)一周度拍攝的一組或多組照片拼接成一個(gè)全景圖像，也可通過(guò)一次拍攝實(shí)現(xiàn)成像。通過(guò)拼接，經(jīng)過(guò)一系列數(shù)學(xué)計(jì)算可以得到其球形全景的立方體投影圖，最后通過(guò)計(jì)算機(jī)技術(shù)實(shí)現(xiàn)全方位互動(dòng)式觀看的真實(shí)場(chǎng)景還原展示（圖 7）。
圖 7 基于便攜式全景設(shè)備的三維展示與測(cè)量系統(tǒng)
本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于 SIFT 算法的三維全景圖像測(cè)量方案（圖 8），基于該方案可以開(kāi)展機(jī)房?jī)?nèi)設(shè)施、天面設(shè)施等場(chǎng)景的三維空間距離測(cè)量（圖 9），三種試驗(yàn)場(chǎng)景下的驗(yàn)證誤差均在 5%以?xún)?nèi)（測(cè)量結(jié)果見(jiàn)圖 9 右上）。
圖 8 基于 SIFT 算法和全景照片的三維距離測(cè)量方案
圖 9 基于 SIFT 算法和全景圖像的三維測(cè)量（左：機(jī)柜高度；中：地磚尺寸；右：抱桿高度）
3.4 天線數(shù)量目標(biāo)檢測(cè)
天面是 5G 網(wǎng)絡(luò)建設(shè)的重要資源，也制約到 5G 工程建設(shè)進(jìn)展。在日?？睖y(cè)、優(yōu)化及維護(hù)工作中，往往積累了大量的天面歷史影響資料；通過(guò)引入圖像檢測(cè)算法，可以探索天面資源的自動(dòng)核查方法。
本文應(yīng)用 Mask R-CNN 算法設(shè)計(jì)了基于天面照片的天線數(shù)量檢測(cè)算法：首先，圖像經(jīng)過(guò)殘差網(wǎng)絡(luò)（ResNet101）和特征金字塔網(wǎng)絡(luò)（FPN）結(jié)構(gòu)，提取多層特征圖，然后經(jīng)過(guò)區(qū)域選取網(wǎng)絡(luò)（RPN）微調(diào)特征圖對(duì)應(yīng)錨框（Anchor）的偏移量并且將錨框劃分為前景還是背景，之后將生成的感興趣區(qū)域（ROI）經(jīng)過(guò)排序，輸出相同大小的感興趣區(qū)域。在訓(xùn)練階段（圖 8），分類(lèi)和掩膜兩個(gè)分支同時(shí)進(jìn)行，其中分類(lèi)包括類(lèi)別、置信度、邊界框回歸，掩膜分支則用于分割目標(biāo)；在測(cè)試階段（圖 9），則是先經(jīng)過(guò)分類(lèi)分支，再經(jīng)過(guò)掩膜分支。
圖 10 天線數(shù)量檢測(cè)訓(xùn)練模型
圖 11 天線數(shù)量檢測(cè)測(cè)試模型
本方案使用在所有的交并比（Intersection over Union，IOU）閾值的平均精度（AP）來(lái)評(píng)價(jià)在數(shù)據(jù)集中的表現(xiàn)（表 1）。驗(yàn)證結(jié)果表明：Mask R-CNN 算法有著較強(qiáng)的魯棒性，可以有效解決天線數(shù)量檢測(cè)任務(wù)（圖 12）。
表 1 天線目標(biāo)的檢測(cè)結(jié)果
圖 12 天線數(shù)量目標(biāo)結(jié)果示例
4、結(jié)束語(yǔ)
計(jì)算機(jī)視覺(jué)是通信與信息系統(tǒng)領(lǐng)域一個(gè)方興未艾的重要發(fā)展方向。本文系統(tǒng)總結(jié)了在通信工程領(lǐng)域開(kāi)展的初步探索，介紹了所使用的關(guān)鍵技術(shù)、方案要點(diǎn)以及實(shí)踐效果，未來(lái)將進(jìn)一步推動(dòng)相應(yīng)研究成果在 5G 網(wǎng)絡(luò)規(guī)劃優(yōu)化信息化系統(tǒng)中的固化與規(guī)?；瘧?yīng)用，迎接 6G 數(shù)字孿生時(shí)代的加速到來(lái)。
參考文獻(xiàn)
[1] Krizhevsky A , Sutskever I , Hinton G . ImageNet Classification with Deep Convolutional Neural Networks[C]// NIPS. Curran Associates Inc. 2012.
[2] Simonyan K , Zisserman A . Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science, 2014.
[3] He K , Zhang X , Ren S , et al. Deep Residual Learning for Image Recognition[J]. 2015.
[4] Chu X , Zhang B , Xu R . MoGA: Searching Beyond MobileNetV3[J]. 2019.
[5] Wei Liu, Dragomir Anguelov, Dumitru Erhan,等 . SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision. Springer International Publishing, 2016.
[6] Ren, Shaoqing, He, Kaiming, Girshick, Ross,等 . Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015, 39(6):1137-1149.
[7] He Kaiming, Gkioxari Georgia, Dollar Piotr,等 . Mask R-CNN[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence:1-1.
陸南昌：工程師，碩士畢業(yè)于中山大學(xué)，現(xiàn)任職于中國(guó)移動(dòng)通信集團(tuán)廣東有限公司無(wú)線優(yōu)化中心，擔(dān)任網(wǎng)優(yōu)技術(shù)室主任，從事網(wǎng)絡(luò)優(yōu)化、新技術(shù)研究等工作，主要研究方向?yàn)?5G 應(yīng)用、集中優(yōu)化策略研究等。
劉吉寧：工程師，碩士畢業(yè)于暨南大學(xué)，現(xiàn)任職于中國(guó)移動(dòng)通信集團(tuán)廣東有限公司無(wú)線優(yōu)化中心，長(zhǎng)期從事無(wú)線網(wǎng)規(guī)劃管理、新技術(shù)研究等工作，主要研究方向?yàn)?4/5G 規(guī)劃、優(yōu)化策略研究等。
黃海暉：高級(jí)工程師，碩士畢業(yè)于西安交通大學(xué)，現(xiàn)任職于中國(guó)移動(dòng)通信集團(tuán)廣東有限公司無(wú)線優(yōu)化中心，擔(dān)任網(wǎng)優(yōu)副總經(jīng)理。長(zhǎng)期從事無(wú)線網(wǎng)絡(luò)優(yōu)化管理、新技術(shù)研究管理等工作。
