最近幾年，放在攝像頭上的深度學(xué)習(xí)研究，發(fā)展很蓬勃。相比之下， 激光雷達(dá)(LiDAR) 身上的學(xué)術(shù)進(jìn)展并不太多。

可是，激光雷達(dá)采集的數(shù)據(jù)，有很多優(yōu)點(diǎn)。比如空間信息豐富，比如光照不足也不影響感知，等等。

當(dāng)然，也有缺點(diǎn)。激光雷達(dá)數(shù)據(jù)，缺乏RGB圖像的原始分辨率、以及高效的陣列結(jié)構(gòu)(Array Structure) 。并且，3D點(diǎn)云很難在神經(jīng)網(wǎng)絡(luò)里編碼。

要是能把激光雷達(dá)和攝像頭，變成一臺(tái)設(shè)備就好了。

　　如何“淘汰”攝像頭？

激光雷達(dá)廠商Ouster，是領(lǐng)域內(nèi)獨(dú)角獸Quanergy的前聯(lián)合創(chuàng)始人Angus Pacala，出走之后建立的新公司。

　　△Ouster聯(lián)合創(chuàng)始人兼CEO

去年11月，公司推出了OS-1激光雷達(dá)，想要從這里開始，打破激光雷達(dá)與攝像頭的界限。

中心思想是，只要激光雷達(dá)的數(shù)據(jù)足夠好，就算專為處理RGB圖像而生的深度學(xué)習(xí)算法，也可以拿來用。

Pacala說，現(xiàn)在OS-1可以實(shí)時(shí)輸出固定分辨率的深度圖像(Depth Image) ，信號(hào)圖像(Signal Image) 以及環(huán)境圖像(Ambient Image) 。

這些任務(wù)都不需要攝像頭的參與。

　　△高速相對(duì)運(yùn)動(dòng)中，容易產(chǎn)生果凍效應(yīng)

數(shù)據(jù)層與數(shù)據(jù)層之間，是空間相關(guān)的。拍攝高速運(yùn)動(dòng)的物體，也不容易產(chǎn)生果凍效應(yīng)(Shutter Effects) 。

另外，OS-1的光圈，比大多數(shù)單反相機(jī)的光圈要大，適合光照不足的場(chǎng)景。

團(tuán)隊(duì)還開發(fā)了光敏度很低的光子計(jì)數(shù)ASIC，在低光照的情況下采集環(huán)境圖像。

　　△自上而下：環(huán)境、強(qiáng)度、范圍圖像，以及點(diǎn)云

設(shè)備可以在近紅外波段捕捉信號(hào)與環(huán)境信息，獲得的數(shù)據(jù)，跟普通可見光圖像差不太多。

這樣，分析RGB圖像用的算法，也可以處理激光雷達(dá)的數(shù)據(jù)。

小伙伴們還可以用Ouster (剛剛進(jìn)行了固件升級(jí)) 的開源驅(qū)動(dòng)，把數(shù)據(jù)轉(zhuǎn)換成360度的全景動(dòng)態(tài)：

　　△動(dòng)圖有壓縮

傳感器輸出的數(shù)據(jù)，不需要預(yù)處理，就是這樣的效果。

　　數(shù)據(jù)跑一跑

就像剛才說的，只要數(shù)據(jù)夠好，就可以用那些為攝像頭開發(fā)的算法，來做深度學(xué)習(xí)。

把深度、強(qiáng)度和環(huán)境信息，編碼成向量。就像RGB圖像可以編碼成紅綠藍(lán)通道一樣。

所以，OS-1的數(shù)據(jù)質(zhì)量究竟怎么樣？

　　△數(shù)據(jù)跑得很開心

Pacala說，他們用過的算法，和激光雷達(dá)的合作都很愉快。

舉個(gè)栗子，他們訓(xùn)練了一個(gè)像素語義分類器，來分辨可以行駛的道路，其他汽車，行人，以及自行車。

這里是舊金山，在英偉達(dá)GTX 1060上運(yùn)行分類器，實(shí)時(shí)生成了這樣的**語義分割**效果：

　　△語義分割：路是路車是車

這是團(tuán)隊(duì)做的第一個(gè)實(shí)現(xiàn)。

數(shù)據(jù)是逐像素的數(shù)據(jù)，所以能夠無縫將2D翻譯成3D幀，來做邊框估計(jì) (Bounding Box Estimation) 這類實(shí)時(shí)處理。

除此之外，團(tuán)隊(duì)還把深度、信號(hào)和周圍環(huán)境分開，單獨(dú)放進(jìn)神經(jīng)網(wǎng)絡(luò)里去跑。

一個(gè)栗子，用了SuperPoint項(xiàng)目里預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，來跑強(qiáng)度和深度圖像。

網(wǎng)絡(luò)是在RGB圖像上訓(xùn)練的，從來沒接觸過激光雷達(dá)/深度數(shù)據(jù)。初次見面，卻一見如故：

　　△還是語義分割，只是單獨(dú)跑了強(qiáng)度 (上) 和深度 (下) 數(shù)據(jù)

Pacala說，激光雷達(dá)測(cè)距，在隧道、高速公路這樣的規(guī)則幾何環(huán)境里，可能不是很開心；而視覺測(cè)距，會(huì)在缺乏**質(zhì)地**變化、缺乏**光照**的情況下，無所適從。

OS-1用多模態(tài)的方法，把兩者結(jié)合起來，療效就不一樣。

1 + 1 > 2，這大概就是Ouster想要表達(dá)的意思。

　　還不算真正上路

2015年年初，Angus Pacala離開Quanergy。

同年，Ouster在硅谷成立。

　　△傲視群雄

2017年12月，公司宣布完成2,700萬美元A輪融資，并同時(shí)推出了售價(jià)3,500美元的OS-1。

腳步不算快，但也算找到了自己要走的路。

圖像語義分割算法，初步肯定了他們的成果。

不過，融合了攝像頭屬性的激光雷達(dá)，搭載到自動(dòng)駕駛車上會(huì)有怎樣的表現(xiàn)，還是未知。