視覺導(dǎo)航是指通過攝像機對周圍環(huán)境進(jìn)行圖像采集,并對圖像進(jìn)行濾波和計算,完成自身位置確定和路徑識別,并做出導(dǎo)航?jīng)Q策的一種導(dǎo)航技術(shù)。
市場篇
視覺導(dǎo)航的3大實現(xiàn)路徑
在移動機器人行業(yè),近幾年,在SLAM技術(shù)的基礎(chǔ)上,以攝像機作為感測器的視覺導(dǎo)航應(yīng)用正在逐漸增多。
經(jīng)典vSLAM系統(tǒng)流程圖
視覺的SLAM方案主要有3種實現(xiàn)路徑:基于RGBD的深度攝像機、基于單目(魚眼)攝像頭、基于雙目(或多目)攝像頭。就實現(xiàn)難度而言,大致排序為:單目視覺>雙目視覺>RGBD。
單目相機SLAM簡稱MonoSLAM,即只用一支攝像頭就可以完成SLAM。這樣做的好處是傳感器特別簡單、成本特別低,所以單目SLAM非常受研究者關(guān)注。相比別的視覺傳感器,單目相機無需獲取環(huán)境的絕對深度,但單目相機的最大的問題是沒有尺度信息,比如圖片里的比例關(guān)系,人之所以可以區(qū)分是因為我們經(jīng)過了大量的訓(xùn)練,類似于深度學(xué)習(xí)。但是機器視覺是不能從一張圖中得到空間關(guān)系的,這就需要對相機進(jìn)行移動來估計不同位姿下的圖像關(guān)系,從而得到尺度信息,相當(dāng)于這就是一個可變基線的雙目相機。
相比于單目,雙目(多目)相機通過多個相機之間的基線,估計空間點的位置,在運動、靜置時均可估計環(huán)境深度。與單目不同的是,雙目(多目)相機配置與標(biāo)定均較為復(fù)雜,其深度量程受雙目的基線與分辨率限制,因此需要FPGA配合完成距離的測算。雙目相機對算力的要求比較高,得益于近些年來CPU和GPU的算力越來越高,逐步發(fā)展成了主流的傳感器。
RGBD相機是2010年左右開始興起的一種相機,它最大的特點是可以通過紅外結(jié)構(gòu)光或Time-of-Flight原理,直接測出圖像中各像素離相機的距離。因此,它比傳統(tǒng)相機能夠提供更豐富的信息,也不必像單目或雙目那樣費時費力地計算深度。不過,現(xiàn)在多數(shù)RGBD相機還存在測量范圍窄、噪聲大、視野小等諸多問題。出于量程的限制,主要用于室內(nèi)SLAM。
與其他的導(dǎo)航方式不同,視覺導(dǎo)航AGV存在的最大優(yōu)勢即是允許無固定參照物。然而,在AGV的發(fā)展過程中,對車輛以及執(zhí)行部件的定位精度要求也越來越高。雖然用于自動化流水線的視覺導(dǎo)航系統(tǒng),可以做到0.1mm的定位精度,但基于無固定參照的視覺導(dǎo)航AGV,其定位精度往往不高(純視覺導(dǎo)航)。此外,視覺導(dǎo)航對光的依賴程度高,在暗處或者一些無紋理區(qū)域需要借助輔助傳感器。
因此,純視覺方案在實際應(yīng)用中還存在這諸多掣肘,也并沒有真正意義上的純視覺導(dǎo)航方案落地。而當(dāng)前移動機器人的視覺導(dǎo)航系統(tǒng),為獲得更高的定位精度以及保證機器人在各種環(huán)境下穩(wěn)定運行,除視覺導(dǎo)航外,還需要其他的導(dǎo)航或定位系統(tǒng)作為輔助,同時,盡可能使用有固定參照物的視覺導(dǎo)航系統(tǒng),能夠獲得更好的定位精度和安全性。
落地應(yīng)用逐漸增多
盡管與已經(jīng)逐步邁入成熟期的激光slam導(dǎo)航AGV相比,視覺導(dǎo)航的發(fā)展要稍稍滯后,但由于其特性,視覺導(dǎo)航被認(rèn)為是未來行業(yè)應(yīng)用的主要方向之一。
首先是價格優(yōu)勢。與市面上主流磁導(dǎo)引/激光導(dǎo)引AGV相比,視覺傳感器的優(yōu)勢首先是性價比極具競爭力,世界頂級工業(yè)相機供應(yīng)商的產(chǎn)品售價約為人民幣3000元,是同等級的激光傳感器產(chǎn)品售價的10-20%。而較低的制造成本意味著較低的產(chǎn)品價格,對提升本體企業(yè)產(chǎn)品競爭力或終端客戶投資回報周期都更加利好。
其次在智能化上,視覺導(dǎo)航信息獲取能力強大。視覺導(dǎo)航由于能從環(huán)境中提取語義信息,因此能夠適應(yīng)客戶在常規(guī)使用需求中的復(fù)雜場景,如識別長時間使用而變形的貨架、托盤;提取短時間內(nèi)激增的搬運量信息;狹小空間情況下的車輛調(diào)度等。
此外,視覺導(dǎo)航模塊具有系統(tǒng)拓展性。隨著通信設(shè)備/處理器等周邊配套設(shè)施的不斷完善,視覺導(dǎo)航模塊正飛速進(jìn)步,視覺導(dǎo)航與計算機連接可以實現(xiàn)大規(guī)模的調(diào)度任務(wù),而視覺導(dǎo)航技術(shù)與5G及云端系統(tǒng)的融合也將更進(jìn)一步。
圖表:國內(nèi)主流視覺導(dǎo)航AGV/AMR廠商(本表粗略統(tǒng)計,如有未完善之處,請指正!)
從入局企業(yè)來看,目前行業(yè)內(nèi)專注于視覺導(dǎo)航的產(chǎn)品的企業(yè)并不多,很多企業(yè)都將其作為其中一個產(chǎn)品線發(fā)展,有一些企業(yè)則還在觀望中。總體而言,伴隨著入局企業(yè)的不斷增多,視覺導(dǎo)航技術(shù)近幾年也得到了進(jìn)一步的發(fā)展,尤其是落地應(yīng)用在不斷增多,未來,隨著技術(shù)的進(jìn)一步發(fā)展以及市場對視覺導(dǎo)航產(chǎn)品認(rèn)知度的進(jìn)一步提高,相信將很會迎來規(guī)模化應(yīng)用。
企業(yè)篇
未來機器人:視覺工業(yè)無人車輛突破多個物流核心剛需場景
未來機器人從事工業(yè)無人車輛的技術(shù)開發(fā)及生產(chǎn),自2016年起,結(jié)合計算機視覺、運動控制、人工智能、深度學(xué)習(xí)等技術(shù),公司研發(fā)并生產(chǎn)多系列視覺工業(yè)無人車輛,現(xiàn)致力于融合L4級無人駕駛感知技術(shù)及視覺伺服運動控制技術(shù),實現(xiàn)視覺工業(yè)無人車輛在多個行業(yè)的規(guī)模化推廣。截至2021年,未來機器人已開發(fā)并量產(chǎn)八大系列視覺工業(yè)無人車輛及配套軟件系統(tǒng),其產(chǎn)品特點如下:
a)快速部署:利用工業(yè)相機強大的信息獲取能力進(jìn)行視覺SLAM建圖,與其他方案相比,可減少80%反射板等人工標(biāo)簽的使用,對場地改造接近零,對現(xiàn)場環(huán)境變更的容納性更強;
b)高精度感知與控制:基于聯(lián)合研發(fā)的新一代復(fù)合傳感器,大幅提升工業(yè)無人車輛感知空間與感知精度,可實現(xiàn)高度智能化的自主導(dǎo)航取放貨和繞障,單車運行效率更高、更穩(wěn)定。對隨機品類、隨機位姿貨物的高精度自適應(yīng)取放(誤差小于±5mm);
c)大規(guī)模車輛調(diào)度:對車輛進(jìn)行云端調(diào)度,具有高效率、高柔性、安全穩(wěn)定等優(yōu)點。無縫對接MES、WMS、ERP等系統(tǒng),配合未來機器人視覺導(dǎo)航模塊,實現(xiàn)多機型、跨場景調(diào)度;
d)低成本存量車改造:無需改造原車結(jié)構(gòu)和系統(tǒng),適配不同品牌/驅(qū)動方式的工業(yè)車輛,解決工業(yè)車輛通用控制問題。
在系列產(chǎn)品開發(fā)的同時,未來機器人也在不斷探索各行業(yè)場景應(yīng)用,2019年,其室外無人牽引車上市,突破了長距離室外無人搬運場景。2020年,首次突破了外月臺無人化裝卸車場景,未來機器人為某特大型石油化工行業(yè)集團(tuán)公司打造的視覺導(dǎo)航無人叉車系統(tǒng)成功落地,該解決方案為行業(yè)內(nèi)首例針對外月臺裝車場景的物流無人化解決方案,實現(xiàn)了工廠物流從線邊轉(zhuǎn)運-貨物堆疊-外月臺裝車的真正全流程無人化升級。
目前,未來機器人視覺工業(yè)無人車輛已經(jīng)廣泛應(yīng)用于石化、煙草、工程機械、汽配、輪胎、電商物流、第三方物流、3C制造、食品制藥、新能源等領(lǐng)域,涵蓋了外月臺裝車、料籠堆疊、貨物上下架、室外長距離運輸?shù)群诵膱鼍啊B涞仨椖靠傆?5個,累計客戶超過100個,其中包括三十多個世界五百強企業(yè),累計出貨量超過500臺。
井松智能:系列視覺AMR打通制造業(yè)搬運各環(huán)節(jié)
作為國內(nèi)領(lǐng)先的智能物流系統(tǒng)集成商與物流裝備制造商,井松智能自2014年起就投身于視覺導(dǎo)航機器人的產(chǎn)品研發(fā),并與2017年推出首款甲殼蟲系列視覺導(dǎo)航AGV,后續(xù)逐漸推出了基于視覺SLAM融合導(dǎo)航技術(shù)的長頸鹿、梅花鹿、灰駱駝、猛犸象、小精靈等多系列AMR產(chǎn)品矩陣。
其中,窄巷道梅花鹿AMR是井松智能視覺導(dǎo)航系列產(chǎn)品中比較有代表性的一款,具體特點如下:
(1) 智能狀態(tài)感知:基于3D視覺技術(shù),實時感知周邊作業(yè)環(huán)境;感知貨物結(jié)構(gòu)、偏離、超限、重量偏差等核心參數(shù)體現(xiàn);實時感知“人、機、物”距離、坐標(biāo)位置等關(guān)鍵因素變化。
(2) 實時分析決策:基于視覺SLAM融合導(dǎo)航技術(shù),無需現(xiàn)場做任何改造,實時建立監(jiān)控地圖,根據(jù)智能算法,不斷分析AGV位置變化,實時決策路徑軌跡,兼容不同的作業(yè)場景。
(3) 精準(zhǔn)高效執(zhí)行:視覺較位,感知托盤、貨物的結(jié)構(gòu)與位置,取放貨時二次視覺校驗復(fù)合,實時糾正取放、行走的路徑及定位坐標(biāo),同時,優(yōu)化行走和末端取放貨的速度,實現(xiàn)AGV產(chǎn)品高精度定位與高效運行工作。
(4) 柔性可視部署:自帶大屏可視化人機交互,無需環(huán)境改造,可自然環(huán)境實時建圖,聲音與燈光指引,具有自學(xué)習(xí)和優(yōu)化能力,無需人工過多干預(yù),巷道利用率提升100%,可實現(xiàn)快速定制部署。
(5) 智能安全管控:可實現(xiàn)360°全覆蓋的安全檢測避障功能,可實現(xiàn)人、機、物混場使用;車頭正前方配有3D安全相機,頂部激光雷達(dá)立體掃描,車頭兩側(cè)激光雷達(dá)270°掃描,實現(xiàn)低矮物高度檢測;叉齒裝有微視覺相機和機械防撞條,做到多級安全防護(hù)管控策略。
當(dāng)前,井松智能的視覺導(dǎo)航產(chǎn)品,已經(jīng)大量應(yīng)用于制造業(yè)中的原輔料、成品的搬運、配送等作業(yè)場景以及空托盤或空容器的疊放收集、搬運作業(yè)環(huán)節(jié)。如井松為重慶市旺成科技打造的智能倉儲一期項目中,10臺窄巷道叉車式視覺融合導(dǎo)航AGV、8臺全向式視覺融合導(dǎo)航AGV,再結(jié)合中央調(diào)度系統(tǒng),使存儲空間利用率提高了60%,配送效率提高了50%;人力縮減60%;物流管理成本降低了50%。
自2017年推出首款視覺導(dǎo)航移動機器人以來,井松智能一直在不斷迭代技術(shù),推陳出新,扎實的產(chǎn)品也獲得了市場的青睞,截止2021年5月,其相關(guān)產(chǎn)品累計出貨量已達(dá)上百臺套。
藍(lán)芯科技:聚焦深度視覺,趕超一流企業(yè)
2021年3月,藍(lán)芯科技對外宣布完成A輪融資;4月,藍(lán)芯科技正式發(fā)布移動機器人視覺避障產(chǎn)品Eagle-M3。藍(lán)芯科技作為一家VMR(Vision Mobile Robot)公司,其核心技術(shù)深度視覺逐步從低調(diào)的幕后走向臺前。
從3D視覺傳感器到整機,打造全鏈條產(chǎn)品矩陣
藍(lán)芯科技成立于2016年,雖是一家年輕的機器人公司,但其在視覺領(lǐng)域已沉淀多年,——藍(lán)芯科技的創(chuàng)始團(tuán)隊出自中科院自動化所,有近二十年時間在視覺領(lǐng)域進(jìn)行技術(shù)研究、探索和創(chuàng)業(yè),是不折不扣的“中科系”。
基于人口老齡化國情和智能制造發(fā)展趨勢,又經(jīng)歷機器視覺在安防領(lǐng)域的產(chǎn)業(yè)化,藍(lán)芯科技創(chuàng)始團(tuán)隊研判:機器人時代已經(jīng)來臨,而深度視覺可提升機器人的柔性、智能性,未來每一臺機器人必然擁有至少一套視覺。
藍(lán)芯科技提前布局、持續(xù)投入,目前已擁有從3D視覺傳感器、視覺系統(tǒng)、機器人整機到行業(yè)解決方案的全鏈條產(chǎn)品矩陣。全鏈條產(chǎn)品矩陣使藍(lán)芯科技擁有多行業(yè)、復(fù)雜場景的客戶服務(wù)能力。
深度視覺賦能制造業(yè)多場景應(yīng)用
在某大型消費電子企業(yè)廠區(qū),環(huán)境復(fù)雜多變,對移動機器人定位導(dǎo)航是一大考驗,尤其在成品庫,貨物出入庫頻繁,依靠激光雷達(dá)進(jìn)行導(dǎo)航容易丟失定位,而采用3D視覺導(dǎo)航則能解決場景變化導(dǎo)致的定位丟失問題。
此外,該企業(yè)對機器人的安全級別要求較高,單純采用激光避障存在較大盲區(qū),而3D視覺避障可彌補激光避障缺陷。項目上線后,該廠區(qū)實現(xiàn)了原料倉——生產(chǎn)區(qū)——成品庫的全自動化物流。
聚焦深度視覺技術(shù)與市場,趕超一流企業(yè)
藍(lán)芯科技創(chuàng)始人兼CEO高勇博士表示,藍(lán)芯科技自創(chuàng)立以來就立志于做新一代的工業(yè)移動機器人,通過深度視覺賦予機器人強感知能力。經(jīng)過持續(xù)投入,藍(lán)芯科技的移動機器人深度視覺系統(tǒng)已形成完整的技術(shù)體系,且應(yīng)用市場正快速推進(jìn)。
目前,藍(lán)芯科技的產(chǎn)品和解決方案已覆蓋3C電子、半導(dǎo)體、新能源、汽車零部件、工程機械、服裝等多個行業(yè),合作客戶包括華為、中興、東芝、富士康、中國商飛、浙江省公安廳、偉星、柒牌等。
“技術(shù)上學(xué)習(xí)新松的創(chuàng)新開拓,業(yè)務(wù)上趕超目前的新松。“——藍(lán)芯科技已為自己確定了學(xué)習(xí)和追趕的目標(biāo)。