文｜松靈機器人
2020年11月23日，一篇名為《CamVox: 一種低成本、高精度的激光雷達輔助視覺SLAM系統(tǒng)》論文發(fā)表在康奈爾大學(xué)的arXri平臺，該論文由南方科技大學(xué)ISEE團隊基于SCOUT MINI移動機器人平臺進行快速二次開發(fā)，并在平臺上搭載了GPS、Camera、LivoxHorizon、IMU等設(shè)備。
圖一示出了從CamVox構(gòu)建的示例軌跡和地圖
CamVox是什么？
近年來，自主移動機器人得到飛速發(fā)展，在基于相機的同步定位和建圖(SLAM)基礎(chǔ)上結(jié)合激光雷達是提高整體定位精度的有效方法之一，尤其是在大規(guī)模室外場景下。低成本激光雷達(如Livox激光雷達)的出現(xiàn)與應(yīng)用，使我們能夠以更低的預(yù)算和更高的性能去嘗試和開發(fā)這種SLAM系統(tǒng)。
南方科技大學(xué)ISEE團隊通過探索Livox激光雷達的獨特特征,將Livox激光雷達應(yīng)用到視覺SLAM(ORBSLAM2)中,提出了CamVox。同時，基于Livox激光雷達的非重復(fù)特性, 提出了一種適用于非受控場景的激光雷達-相機自動標定方法，更長的深度探測范圍也有利于更有效的建圖。
為什么要實現(xiàn)CamVox？
由于豐富的角度分辨率和信息豐富的顏色信息，相機可以通過簡單的投影模型和光束調(diào)整提供良好定位和建圖性能。從最初的單目相機到雙目相機，再到RGB-D相機，它們都有著不同類型的問題，這些問題對精度、尺寸會產(chǎn)生較大影響。即便后來采用融合像機和IMU的組合方式，卻因為消費級IMU只能在相對較低的精度下工作,并且IMU本身容易受到偏置、噪聲和漂移等的影響，但是高端IMU的成本非常高，這些都不利于IMU進行普及。
另一方面，激光雷達提供了直接的空間測量。激光雷達SLAM框架已經(jīng)開發(fā)出來且相對成熟，但是多線激光雷達通常成本太高，無法用于實際應(yīng)用。幸運的是,Livox推出了一種基于棱鏡掃描的新型激光雷達，由于采用了新的掃描方法，成本可以大大降低,被大規(guī)模采用。此外這種新的掃描方法允許不重復(fù)的掃描模式，非常適合于在累積時獲取相對高清晰度的點云。此功能在校準激光雷達和相機時非常有用，因為傳統(tǒng)的多線激光雷達缺乏線間空間的精度，棱鏡設(shè)計還具有用于信號接收的最大光學(xué)孔徑,并允許遠程檢測。
圖二表示與傳統(tǒng)激光雷達相比，三種Livox激光雷達模型的點云密度隨積分時間的變化
由于激光雷達的遠距離探測和高精度特征,相機和激光雷達之間的外部參數(shù)標定成為更重要的考慮因素。激光雷達相機的建議解決方案可以分為兩種方式。第一個是標定過程是否需要一個比標定目標，第二個是標定是否可以在沒有人為干預(yù)的情況下工作。這些年來,許多標定技術(shù)都是基于固定的校準目標或人工努力，但到目前為止,標定仍然是一項具有挑戰(zhàn)性的任務(wù)，在不受控制的場景中，沒有用于標定激光雷達和攝像機的開源算法。Livox激光雷達的非重復(fù)掃描模式可以提供一個更容易的解決方案。
如何實現(xiàn)CamVox？
由于從Livox lidars獲得的稠密、長距離和精確的點與相機圖像相融合，因此可以分配比傳統(tǒng)RGB-D相機(由于檢測距離)或雙目視覺相機更多的近點。因此相機和激光雷達的優(yōu)勢可以通過緊耦合的方式加以利用。
A.硬件和軟件
CamVox硬件包括一個MV-CE060-10UC滾動快門相機，一個Livox激光雷達和一個慣性測量單元(慣性傳感INS)。附加的GPS-RTK(慣性導(dǎo)航系統(tǒng))用于地面真實度估計。
系統(tǒng)在幾個并行線程上運行，如上圖所示。除了ORB-SLAM2的主要線程之外，還添加了一個額外的RGB-D輸入預(yù)處理線程，以捕獲來自同步相機和激光雷達(IMU校正)的數(shù)據(jù)，并將其處理成統(tǒng)一的RGB-D幀。可以觸發(fā)自動校準線程來校準相機和激光雷達，當檢測到機器人不移動或通過人類交互時，自動進行校準。然后對校準結(jié)果進行評估并輸出，用于潛在的參數(shù)更新。
B.預(yù)處理
預(yù)處理線程從激光雷達獲取原始點，由IMU進行校正，并根據(jù)相機的外部校準投影到深度圖像中，然后將RGB圖像與深度圖像組合作為RGB-D幀的輸出。由于激光雷達持續(xù)掃描環(huán)境，每個數(shù)據(jù)點都是在略有不同的時間戳獲得的，需要IMU進行校正。
圖三為機器人平臺、CamVox硬件組成、圖片案例
為了糾正當機器人處于連續(xù)運動時點云變形的這種失真，機器人的運動是在每個激光雷達點輸出時間從慣性測量單元姿態(tài)插值，并轉(zhuǎn)換當觸發(fā)信號開始時，激光雷達指向激光雷達坐標，這也是捕捉相機圖像的時間。
圖5示出了當機器人處于連續(xù)運動點云變形的例子
C.校準
由于激光雷達的遠程能力，校準精度在CamVox中至關(guān)重要。由于Livox激光雷達不重復(fù)的特性，只要我們能夠積累幾秒鐘的掃描點，深度圖像就可以變得像相機圖像一樣高分辨率，并且與相機圖像的對應(yīng)關(guān)系變得容易找到。
圖七為整個校正算法的結(jié)構(gòu)
因此我們能夠基于場景信息在幾乎所有的現(xiàn)場場景中自動進行這種校準。當檢測到機器人靜止時，設(shè)置自動校準的觸發(fā)，以消除運動模糊。我們在靜止狀態(tài)下積累激光雷達點幾秒鐘，相機圖像也被捕獲.
結(jié) 果
具體來說,我們將首先顯示自動校準的結(jié)果，還評估了為關(guān)鍵點選擇深度閾值的效果。最后，我們評估了CamVox與主流SLAM框架的比較軌跡，并給出了時間分析。
A.自動校準結(jié)果
圖八為自動校準結(jié)果
B.關(guān)鍵點深度閾值的評估
C.軌跡比較
D.計時結(jié)果
CamVox框架的時序分析如表二所示。自動校準大約需要58s完成。因為校準線程僅在機器人處于靜止狀態(tài)時偶爾運行，并且參數(shù)的更新可能發(fā)生在稍后的時間，所以這樣的計算時間對于實時性能來說不是問題，
結(jié)論和展望
綜上所述，提出CamVox作為一種新的低成本激光雷達輔助的視覺SLAM框架，旨在結(jié)合兩者的優(yōu)點，即來自攝像機的最佳角度分辨率和來自激光雷達的最佳深度和距離。由于Livox激光雷達的獨特工作原理，開發(fā)了一種可以在不受控制的場景中執(zhí)行的自動校準算法。在自動校準精度、關(guān)鍵點分類深度閾值和軌跡比較方面對新框架進行了評估。它也可以在機載計算機上實時運行。南方科技大學(xué)ISEE團隊希望這個新的框架可以用于機器人和傳感器研究,并為社區(qū)提供現(xiàn)成的低成本解決方案。
選對一個機器人平臺，項目已成功了一半
機器人底盤承載著機器人定位、導(dǎo)航、移動、避障等多種功能，是機器人必不可少的重要硬件。同時，機器人作為一個多種技術(shù)與功能的集合體，除了部分軟件功能之外，其他重要部分都在機器人底盤這一硬件模塊之上，機器人底盤不僅是各種傳感器、機器視覺、激光雷達、電機輪子等設(shè)備的集成點，更承載了機器人本身的定位、導(dǎo)航、移動、避障等基礎(chǔ)功能。
據(jù)了解，市面上機器人底盤的價格通常在2-10萬之間，對于功能要求越高的機器人，底盤的價格也相對越高，在成本和功能之間始終無法找到一個平衡點，高昂的成本讓不少企業(yè)和消費者難以負擔。同時，現(xiàn)在的服務(wù)機器人底盤普遍采用的是通用底盤，但其實不少下游企業(yè)對底盤的制作要求各不相同，根據(jù)場景的差異，對形狀大小的要求也不盡相同。
針對這一現(xiàn)狀，松靈機器人自主研發(fā)了包括SCOUT 2.0, SCOUT MINI, HUNTER 2.0, BUNKER, TRACE等通用底盤。上文所采用的機器人底盤-SCOUT MINI是松靈機器人專為前沿科學(xué)實驗設(shè)計的全能型移動研究平臺。
此外，SCOUT MINI的標準化協(xié)議和接口，方便快速進行二次開發(fā)；多方位的安裝支架提供豐富的外部設(shè)備支持。自帶獨立主控可以完成自身的運動控制，并可以定制復(fù)雜的操作模式，主控提供串口/標準 CAN 總線作為通訊接口，可以接入差分 GPS、慣導(dǎo)系統(tǒng)、雙目攝像頭、激光雷達、紅外/超聲波避障傳感器等一系列外部設(shè)備。同時支持更高級的自動駕駛系統(tǒng)的接入，例如 ROS、百度 Apollo 等都可以以此作為移動平臺，做應(yīng)用開發(fā)。
巡檢
巡檢領(lǐng)域是當前應(yīng)用最廣的一個領(lǐng)域，客戶在底盤上面添加激光雷達、IMU、超聲波雷達、人臉識別、警報等傳感器后，使機器人能夠應(yīng)用在化工廠巡檢、街道巡檢、倉庫巡檢等地。
巡檢機器人
例如廣智微芯就通過松靈SCOUT開發(fā)了完全自主智能路徑規(guī)劃和導(dǎo)航的智能巡檢車，通過本地智能視頻分析技術(shù)，實現(xiàn)異常侵入、打架斗毆等危險情況告警功能。
基于松靈智行導(dǎo)航套件，開發(fā)了能夠在工地上自主導(dǎo)航、實現(xiàn)路徑規(guī)劃的工地巡檢車，通過激光雷達、超聲波雷達、攝像頭等傳感器，可實現(xiàn)視頻拍攝錄制、人臉識別、自動避障、自動軌跡巡檢等功能，能夠在工地上日夜巡視，全天候作業(yè)，降低人力成本。
工地巡檢車
沙漠綠化
華東師范大學(xué)軟件工程學(xué)院智能機器人運動與視覺實驗室的張新宇老師團隊通過在SCOUT上面搭載機械臂以及其他傳感器，設(shè)計研發(fā)“種樹機器人集群”，用于治理土地沙漠化，助力生態(tài)恢復(fù)。該機器人集群已經(jīng)在內(nèi)蒙古阿拉善進行種樹測試，并獲得了央視報道關(guān)注。
種樹機器人
5G應(yīng)用
隨著5G應(yīng)用的部署，松靈機器人聯(lián)手華為榮耀推出5G手機遠程操控消毒機器人。使用榮耀V30作為控制端，通過5G信號的加持，輕松實現(xiàn)千里遙控，無須人員到場，有效改善一線作業(yè)人員的作業(yè)環(huán)境，實現(xiàn)零距離接觸。
遠程操控消毒機器人
松靈FreeWalker是一套基于4-5G移動網(wǎng)絡(luò)的遠程超視距駕駛方案，基于4-5G網(wǎng)絡(luò)大帶寬、低時延的特性，用戶可超視距控制移動機器人完成復(fù)雜現(xiàn)場任務(wù)，不受距離、環(huán)境等因素干擾。該套裝擁有兩個版本：駕駛艙版本適用于專用固定位置遠程駕駛，便攜版本適用于移動或現(xiàn)場遠程駕駛。目前FreeWalker套件已在運營商5G展廳部署，使消費者能夠更直觀的看到5G帶來的革命性應(yīng)用場景。
基于松靈機器人移動底盤及4-5G遠程駕駛套裝，Weston Robot成功研發(fā)適用于室內(nèi)外無人消毒機器人，該機器人可完成遠程無人化消毒工作，該成果作為先進抗疫情措施被媒體廣泛報道，并被mathwork作為案例引用。
Weston Robot——消毒機器人
教育
截至目前，松靈機器人已經(jīng)與清華大學(xué)、北理工、哈工大、南洋理工大學(xué)等國內(nèi)外100多所高校達成合作，并與南科大、東莞理工等院校建立校企合作，在移動機器人底盤領(lǐng)域，開展運動控制、機器感知、ROS開源等方向的課題研究。松靈機器人現(xiàn)已開啟全球性ROS開源生態(tài)圈建設(shè)，致力于為學(xué)校和科研用戶打造一流的ROS學(xué)習(xí)和交流平臺。
某高校使用案例
聲明：本文的部分論文簡述內(nèi)容來源于”當SLAM遇見小王同學(xué)“公眾號，版權(quán)屬原作者所有。如涉及到版權(quán)問題，請及時和我們聯(lián)系，核實后協(xié)商處理或刪除。
