蘋果手機(jī)上安裝了“激光雷達(dá)”！這聽上去是一件多么酷炫的事啊。但在傳感器行業(yè)內(nèi)，激光雷達(dá)已經(jīng)不是什么新名詞了。而且蘋果的“激光雷達(dá)”，有轉(zhuǎn)換概念的嫌疑。真正的激光雷達(dá)傳感器，由激光器、激光檢測器和測量電路組成，優(yōu)點(diǎn)是能實(shí)現(xiàn)無接觸遠(yuǎn)距離測量、速度快、精度高、量程大、抗光、電干擾能力強(qiáng)等。配合5G的普及，在無人駕駛、3D測量等行業(yè)，前景可觀。

目前，機(jī)械旋轉(zhuǎn)激光雷達(dá)的高成本是一個(gè)限制因素，但是隨著基于 MEMS 的反射鏡、光學(xué)相控陣等新技術(shù)的出現(xiàn)，價(jià)格正在下降。

據(jù)悉近日，Hesai 發(fā)布了新的 32 通道(也提供 16 通道版本)中檔激光雷達(dá)。PandarXT 基于整合了 Hesai 自主開發(fā)的 LiDAR ASIC 的新系統(tǒng)架構(gòu)，是一種經(jīng)濟(jì)高效的解決方案，專為多種應(yīng)用而設(shè)計(jì)，包括無人物流，機(jī)器人，測量，安全，制圖和中低速自動(dòng)駕駛。

基于 Hesai 自主開發(fā)的 LiDAR ASIC 的新系統(tǒng)架構(gòu)提供了額外的性能增強(qiáng)。PandarXT 的最小范圍為零，即使物體直接觸摸傳感器的外殼，它也會(huì)輸出有效的點(diǎn)云。它還具有毫米級的測距精度和卓越的精度。此外，其提高的反射率精度和更大的動(dòng)態(tài)范圍使得能夠準(zhǔn)確，一致地檢測回射器，低反射率目標(biāo)以及反射率突然變化的物體邊界。

而成立不到五年的以色列創(chuàng)業(yè)公司 Innoviz 已經(jīng)擁有一個(gè)稱為 InnovizOne 的汽車級傳感器，該傳感器將于 2021 年在 BMW 上首次批量生產(chǎn)，他們縮小了設(shè)計(jì)規(guī)模，以保持與原始系統(tǒng)相似或更好的性能。

與 InnovizOne 一樣，InnovizTwo 傳感器具有 256 行垂直分辨率和 0.1 度角分辨率。封裝尺寸小于電流傳感器。對于具有 10%反射率的目標(biāo)，檢測范圍預(yù)計(jì)將超過 200 m，其聲稱新型激光雷達(dá)傳感器便宜 70%，計(jì)劃在 2021 年第三季度開始向客戶交付樣品，并有望在 2023 年秋季為批量生產(chǎn)應(yīng)用做好準(zhǔn)備。

在自主駕駛的環(huán)境中，激光雷達(dá)是一種主動(dòng)傳感器，通過發(fā)射激光照亮周圍環(huán)境。通過處理從反射面接收到的激光回波，可以精確測量距離。另一方面，基于激光雷達(dá)的算法也進(jìn)入了快車道。對于自主車輛，激光雷達(dá)主要用于感知和定位。感知系統(tǒng)提供了一種機(jī)器可解釋的車輛周圍環(huán)境的表示。

從用戶的角度來看，感知系統(tǒng)的輸出包括三個(gè)層次的信息：

·物理描述：姿勢、速度、物體形狀。

·語義描述：對象的類別。

·意圖預(yù)測：物體行為的可能性。

因此，激光雷達(dá)的輸出用于目標(biāo)檢測、分類、跟蹤和意圖預(yù)測，對應(yīng)于各個(gè)層次的信息。由于激光雷達(dá)在測距精度上的優(yōu)越性，所提供的物理信息具有很高的可靠性。而激光雷達(dá)所攜帶的語義信息要比攝像機(jī)獲得的要少，甚至更難。

在實(shí)際應(yīng)用中，激光雷達(dá)和攝像機(jī)是相輔相成的：攝像機(jī)的距離估計(jì)能力差，而激光雷達(dá)對目標(biāo)的識(shí)別效果不理想。精確的物理和語義信息，加上地圖信息，將毫無疑問地提高意向預(yù)測。經(jīng)過多年的發(fā)展，以激光雷達(dá)為中心的感知系統(tǒng)對于基于模型的處理算法已經(jīng)趨于成熟。深度學(xué)習(xí)(DL)正在改變這個(gè)領(lǐng)域的學(xué)習(xí)方法。傳統(tǒng)的基于模型的激光雷達(dá)數(shù)據(jù)處理方法具有計(jì)算友好、可解釋性強(qiáng)等特點(diǎn)。而數(shù)據(jù)驅(qū)動(dòng)的 DL 方法在提供語義信息方面表現(xiàn)出了超常的能力，這是傳統(tǒng)方法的弱點(diǎn)。

最明顯的傳感器是上面的 Velodyne UltraPuck 激光雷達(dá)。

1。 激光雷達(dá)技術(shù)原理和現(xiàn)狀分析

典型的激光雷達(dá)是用一束或幾束激光掃描其視場。通過這一系統(tǒng)，設(shè)計(jì)了精密的光束控制系統(tǒng)。激光束是由一個(gè)振幅調(diào)制的半導(dǎo)體激光器產(chǎn)生的，它在近紅外波段發(fā)射。激光束被環(huán)境反射回掃描儀，光電探測器接收返回信號。

快速電子過濾信號，并測量發(fā)送和接收信號之間的差，與距離成正比?；诖瞬町悾瑥膫鞲衅髂Ｐ椭泄烙?jì)距離。通過信號處理，補(bǔ)償了由表面材料引起的反射能量變化的差異以及發(fā)射器和接收器之間的環(huán)境狀態(tài)。

激光雷達(dá)輸出包括與掃描環(huán)境相對應(yīng)的三維點(diǎn)云和與反射激光能量相對應(yīng)的強(qiáng)度。圖 2 顯示了這個(gè)工作原理的概念表示。

圖 2:ToF 激光測距儀的一個(gè)例子。測距儀采用直接法或相干法測量由掃描系統(tǒng)控制的某一方向的距離。

激光雷達(dá)系統(tǒng)可以分為：激光測距系統(tǒng)和掃描系統(tǒng)。激光測距儀包括通過調(diào)制波照亮目標(biāo)的激光發(fā)射器；通過光學(xué)處理和光電轉(zhuǎn)換后從反射光子產(chǎn)生電子信號的光電探測器；將發(fā)射的激光準(zhǔn)直并將反射信號聚焦到光電探測器和信號處理電子設(shè)備，根據(jù)接收到的信號估計(jì)激光源和反射面之間的距離。掃描系統(tǒng)通常會(huì)以不同的方位角和垂直角控制激光束，用 i 表示，其中 i 是確定光束指向的方向的索引。

A、 激光測距原理

用激光束測量物體距離的測距儀被稱為激光測距儀。它們的工作方式取決于激光束中使用的信號調(diào)制類型。脈沖激光被用來測量飛行時(shí)間(ToF)，這些被稱為直接探測激光測距儀。激光信號也可以是一種調(diào)頻連續(xù)波(FMCV)，利用多普勒效應(yīng)間接測量距離和速度。這些被稱為相干探測激光測距儀。

飛行時(shí)間(ToF)：ToF 激光測距儀通過計(jì)算發(fā)射和接收激光之間的時(shí)差來測量距離：ToF 激光雷達(dá)以其結(jié)構(gòu)簡單、信號處理方法簡單等優(yōu)點(diǎn)，在目前的汽車激光雷達(dá)市場上占據(jù)主導(dǎo)地位。然而，由于眼睛的安全要求，增加其最大射程的潛力受到有限發(fā)射功率的限制。在 ToF 激光雷達(dá)中，返回信號可以是來自強(qiáng)太陽光的干擾，也可以是來自其他 ToF 激光雷達(dá)的激光束的干擾。

相干檢測：通過將本機(jī)載波信號與接收信號混合，可以對接收信號進(jìn)行解調(diào)，從而獲得激光信號的相位和頻移，從而獲得距離反射面的距離和速度。這可以看作是 FMCW(調(diào)頻連續(xù)波)雷達(dá)的光學(xué)版本，這是目前流行的乘用車 ADAS 系統(tǒng)。

圖 3:相干探測原理：通過混合發(fā)射和接收的光波產(chǎn)生的中頻(紅色跡線)來估計(jì)距離。

因?yàn)?FMCW 激光雷達(dá)連續(xù)不斷地使用較少的發(fā)射功率來照明物體，從而符合眼睛安全要求，并且可以使用更多的功率來擴(kuò)大視野。

FMCW 激光雷達(dá)可以同時(shí)直接測量距離和速度，而對于 ToF 激光雷達(dá)，速度是通過幾個(gè)連續(xù)的傳感器讀數(shù)間接估計(jì)得到的。通過使用 FMCW 激光信號，可以減少來自其他激光源和強(qiáng)光的干擾效應(yīng)。然而，F(xiàn)MCW 激光雷達(dá)需要具有長相干距離的高質(zhì)量激光發(fā)生器。

B、 激光發(fā)射和接收

激光信號的產(chǎn)生和發(fā)射以及反射信號的接收電子設(shè)備也反映了激光測距儀的性能和成本。

1) 激光源：ToF 激光雷達(dá)需要脈沖(調(diào)幅)激光信號。這是用脈沖激光二極管或光纖激光器產(chǎn)生的。半導(dǎo)體激光器通過向二極管的結(jié)處通電而引起激光振蕩。

半導(dǎo)體激光器可分為兩類：邊緣發(fā)射激光器(EEL)和表面發(fā)射半導(dǎo)體激光器(VCSEL)。EEL 在電信行業(yè)的應(yīng)用由來已久。VCSEL 輸出圓形光束，而 EEL 發(fā)射橢圓激光束，需要額外的光束整形光學(xué)元件。

在 VCSEL 中，在單個(gè)芯片上形成二維激光陣列比 EEL 更容易，這一點(diǎn)很重要，因?yàn)樗梢蕴岣呒す饫走_(dá)的分辨率。相比之下，由于功率限制，VCSEL 的范圍更短。汽車用脈沖激光二極管是一種混合型器件。

也就是說，激光芯片上安裝了由 MOSFET 晶體管觸發(fā)的電容器。因此，在每次柵極打開時(shí)，電容器中積累的電荷將被釋放到芯片中，這將以可控的方式發(fā)射光脈沖。這些光源具有成本效益，因?yàn)樗鼈兊?905nm 輸出可以通過經(jīng)濟(jì)高效的硅探測器檢測。

然而，這些二極管的脈沖重復(fù)率有限，峰值功率較低，可能需要冷卻。用于 3DFlash 激光雷達(dá)的激光二極管光源采用二極管堆疊技術(shù)，將多個(gè)邊緣發(fā)射棒組裝成一個(gè)垂直堆疊。散熱成為一個(gè)問題，因此需要散熱片以及累積超過眼睛安全要求的發(fā)射功率。

光纖激光器可以有更高的輸出功率，這在工作在高波長時(shí)非常有用。它們的輸出光束可以使用光纖進(jìn)行分割和路由到多個(gè)傳感器位置，它們具有更好的脈沖重復(fù)頻率、更好的光束質(zhì)量等。但是，它們可能體積龐大，從而導(dǎo)致難以集成到車輛中的非緊湊系統(tǒng)。

2) 激光波長：選擇合適的激光波長應(yīng)綜合考慮大氣窗、眼睛安全要求和成本。850-950nm(近紅外)和 1550nm(短波紅外)激光器因其在工業(yè)上的廣泛應(yīng)用而得到了廣泛的應(yīng)用。無論是價(jià)格低廉的二極管激光器，還是波長 850-950nm 或 1550nm 的更強(qiáng)大的光纖激光器，都很容易從市場上買到。

1550nm 激光的眼睛安全標(biāo)準(zhǔn)允許的最大功率高于 850-950nm 的激光，這意味著可以獲得更大的射程。然而，昂貴的 InGaAs 基光電二極管需要探測 1550nm 的激光回波。InGaAs 基光電二極管的效率低于成熟的硅基光電二極管。另外，大氣對 1550nm 的吸收比 850-950nm 強(qiáng)。因此，近紅外波段(例如 905nm)的激光雷達(dá)系統(tǒng)仍然是主流。

3) 光電探測器：光電探測器通過光電效應(yīng)將光功率轉(zhuǎn)換為電能。光敏感度是描述光電探測器接收光子時(shí)的響應(yīng)的最關(guān)鍵特性之一。光敏性取決于接收激光的波長。因此，激光雷達(dá)系統(tǒng)中光電探測器的選擇與激光波長的選擇密切相關(guān)。最常用的探測器有 PIN 光電二極管、雪崩光電二極管(APD)、單光子雪崩二極管(SPAD)、硅光電倍增管(SiPM)。

PIN 光電二極管：是由 p-i-n 結(jié)形成的一個(gè)沒有移動(dòng)電荷載流子的耗盡區(qū)。通過對光電二極管施加反向偏置，吸收光子將在反向偏置光電二極管中產(chǎn)生電流。

雪崩光電二極管(APD)：是一種通過雪崩效應(yīng)施加反向電壓來倍增光電流的光電二極管。與 PIN 光電二極管相比，APD 倍增信號的能力降低了噪聲的影響，獲得了更高的內(nèi)部電流增益(約 100)和信噪比。因此，apd 在當(dāng)代激光雷達(dá)系統(tǒng)中相當(dāng)普遍。硅基 apd 是敏感的通過可見光譜區(qū)直到近紅外約 1000nm.InGaAs 的 apd 波長可長至 1700nm，但成本較高。

單光子雪崩二極管(SPAD)：是一種 APD，設(shè)計(jì)用于在高于擊穿電壓(Geiger 模式)的反向偏壓下工作，允許在非常短的時(shí)間內(nèi)檢測到極少數(shù)光子。SPAD 可以獲得 106 的增益，這明顯高于 APD。這一特性使 SPAD 能夠在遠(yuǎn)距離探測到極弱的光。此外，可用于 SPAD 制造的 CMOS 技術(shù)使得在一個(gè)芯片上集成光電二極管陣列。這對于提高激光雷達(dá)的分辨率，同時(shí)降低成本和功耗是很有必要的。

硅光電倍增管(SiPM)：基于 SPAD，同時(shí)啟用光子計(jì)數(shù)。SPAD 工作的 Geiger 模式是一種光子觸發(fā)模式，SPAD 無法分辨接收到的光通量的大小。為了克服這個(gè)問題，SiPM 集成了一個(gè)密集的“微電池”陣列(一對 SPAD 和一個(gè)失超電阻)，它們工作相同且獨(dú)立。SiPM 的輸出本質(zhì)上是從每個(gè)微單元檢測到的光電流的組合。在這種方法中，SiPM 能夠給出關(guān)于瞬時(shí)光子通量大小的信息。

C、 掃描系統(tǒng)

掃描系統(tǒng)(或光束控制系統(tǒng))是為了使發(fā)射的激光能夠快速探測大面積區(qū)域而設(shè)計(jì)的?，F(xiàn)有的掃描方法通常分為機(jī)械旋壓或固態(tài)掃描。

前者通常包含一個(gè)龐大的旋轉(zhuǎn)鏡系統(tǒng)，如早期自主駕駛史上的 Velodyne HDL64。后來的“固態(tài)”指的是沒有運(yùn)動(dòng)部件的掃描系統(tǒng)(甚至有些仍然由微鏡控制)，這是汽車工業(yè)的首選。機(jī)械旋轉(zhuǎn)：目前最流行的汽車激光雷達(dá)掃描解決方案是機(jī)械旋轉(zhuǎn)系統(tǒng)，該系統(tǒng)通過由電機(jī)控制的旋轉(zhuǎn)組件(如鏡子、棱鏡等)來控制激光束，從而產(chǎn)生大視場(FoV)。

傳統(tǒng)上，點(diǎn)頭鏡系統(tǒng)和多邊形鏡系統(tǒng)是主要的應(yīng)用類型。例如，如圖 4(a)所示的機(jī)械旋轉(zhuǎn)方案，嵌入式點(diǎn)頭鏡系統(tǒng)傾斜激光器以產(chǎn)生垂直視場。然后，旋轉(zhuǎn)激光雷達(dá)基座，獲得 360°水平視場。最先進(jìn)的激光雷達(dá)使用多光束來減少移動(dòng)機(jī)構(gòu)。

圖 4:按掃描方法分類的激光雷達(dá)系統(tǒng)。

例如，Velodyne VLP 系列使用激光二極管和光電二極管陣列來增加點(diǎn)云密度。與寬視場相比，機(jī)械旋壓系統(tǒng)具有高信噪比(SNR)的優(yōu)勢。然而，在汽車內(nèi)部這種復(fù)雜的振動(dòng)環(huán)境中，旋轉(zhuǎn)機(jī)構(gòu)是很常見的。典型的產(chǎn)品示例：Velodyne 的 HDL64 如圖 5(A)所示。

圖 5:激光雷達(dá)產(chǎn)品示例：

(a)來自 Velodyne 的機(jī)械旋轉(zhuǎn) 905nm 激光雷達(dá)，(b)來自 Luminar 的 1550nm MEMS 激光雷達(dá)、(c)大陸公司的 Flash 激光雷達(dá)。

MEMS 微掃描：MEMS(Micro-Electro-Mechanical Systems)技術(shù)允許使用硅制造技術(shù)制造微型機(jī)械和機(jī)電設(shè)備。從本質(zhì)上講，MEMS 反射鏡是嵌入芯片上的反射鏡。

MEMS 反射鏡通過平衡兩種相反的力來旋轉(zhuǎn)：

一種是由繞在反射鏡周圍的導(dǎo)電線圈產(chǎn)生的電磁力(Lorentz 力)，另一種是來自扭桿的彈性力(作為旋轉(zhuǎn)軸)。這一原理如圖 4(b)所示。MEMS 反射鏡可以是一維運(yùn)動(dòng)的單軸，也可以是二維運(yùn)動(dòng)的雙軸。

同時(shí)，MEMS 反射鏡可以在其固有振蕩頻率下以諧振模式工作，從而獲得大偏轉(zhuǎn)角和高工作頻率。在非諧振模式下，可以控制 MEMS 掃描鏡，使其跟隨程序化的掃描軌跡。

例如，對于基于 MEMS 的 AEYE 激光雷達(dá)，激光雷達(dá)可以動(dòng)態(tài)地改變視場和掃描路徑，以聚焦于某些關(guān)鍵部件。雖然 MEMS 激光雷達(dá)仍然包含運(yùn)動(dòng)部件，但由于 IC 工業(yè)中成熟的技術(shù)能夠滿足嚴(yán)格的成本要求，這種近固態(tài)技術(shù)仍然具有廣闊的應(yīng)用前景。Luminar 的 MEMS 1550nm 激光雷達(dá)示例如圖 5(b)所示。

Flash:最初用于航天器自主著陸和與衛(wèi)星對接，3DFlash 激光雷達(dá)完全移除掃描系統(tǒng)內(nèi)的旋轉(zhuǎn)部件。因此，它們是真正的固態(tài)。Flash 激光雷達(dá)的行為就像照相機(jī)。一種由光學(xué)擴(kuò)散器傳播以同時(shí)照亮整個(gè)場景的單個(gè)激光器。

然后，它使用一個(gè) 2D 光電二極管陣列(類似于用于照相機(jī)的 CMOS/CCD)來捕捉激光回波，最后對其進(jìn)行處理以形成 3D 點(diǎn)云，如圖 4(c)所示。由于 Flash 激光雷達(dá)的所有像素同時(shí)測量距離，避免了平臺(tái)運(yùn)動(dòng)引起的運(yùn)動(dòng)補(bǔ)償問題。此外，基于半導(dǎo)體的 3DFlash 激光雷達(dá)有助于大規(guī)模生產(chǎn)的制造和封裝，從而降低成本。

然而，3DFlash 激光雷達(dá)的一個(gè)關(guān)鍵問題是它的探測范圍有限(通常小于 100 米)，這是因?yàn)闉榱吮Ｗo(hù)眼睛的安全，在一個(gè)小功率閾值下，一個(gè)擴(kuò)散激光就負(fù)責(zé)探測整個(gè)區(qū)域。另一個(gè)缺點(diǎn)是視野有限，因?yàn)樗荒芟駫呙枋郊す饫走_(dá)那樣旋轉(zhuǎn)和掃描周圍環(huán)境。大陸集團(tuán)用于中程感知的商用閃光激光雷達(dá)產(chǎn)品的典型示例如圖 5 所示

光學(xué)相控陣(OPA)：作為一種真正的固態(tài)激光雷達(dá)，光學(xué)相控陣(OPA)激光雷達(dá)不包含運(yùn)動(dòng)部件。與相控陣?yán)走_(dá)類似，OPA 能夠引導(dǎo)激光束通過各種類型的相位調(diào)制器。

如圖 4(d)所示，當(dāng)激光通過透鏡時(shí)，光速可以通過光學(xué)相位調(diào)制器改變。因此，不同路徑中的不同光速允許控制光波陣面形狀，從而控制轉(zhuǎn)向角。雖然 OPA 作為一種很有前途的技術(shù)被寄予厚望，但目前市場上還沒有商業(yè)化的產(chǎn)品。

D、 汽車激光雷達(dá)的現(xiàn)狀

機(jī)械旋壓激光雷達(dá)是第一個(gè)進(jìn)入量產(chǎn)車階段的產(chǎn)品。2017 年，奧迪發(fā)布了最新的豪華轎車 A8，該車配備了 Valeo 的 Scala 激光雷達(dá)以實(shí)現(xiàn)自動(dòng)駕駛功能，這是世界上第一款搭載汽車級激光雷達(dá)的商用車。

法雷奧的 scala 3 是一種 4 層機(jī)械旋轉(zhuǎn)激光雷達(dá)，類似于它的表兄 IBEO Lux4。通過 Scala 的授權(quán)，A8 能夠?qū)崿F(xiàn) L3 級別的自動(dòng)駕駛功能，而不需要手放在方向盤上(需要法律允許)。2019 年，法雷奧從多家汽車制造商那里獲得了下一代激光雷達(dá) Scala2 的 5 億訂單。

同時(shí)，為了降低成本，提高系統(tǒng)的魯棒性，很多公司都把目光投向了固態(tài)掃描系統(tǒng)。

如表一所示， Innoviz、Continental 和 Quanergy 正在分別開發(fā) MEMS、Flash 和 OPA 激光雷達(dá)。2018 年，寶馬宣布與 Innoviz 合作在 2021 年進(jìn)行系列生產(chǎn)。為了增加最大探測距離，一些人使用了工作在單光子探測模式(蓋革模式)下的 SPAD 陣列。

表一：具有代表性的激光雷達(dá)制造商和采用的技術(shù)。標(biāo)有*的制造商使用單光子蓋革模式 SPAD 作為光電探測器。

outster OS-1644 采用 CMOS 基 SPAD 檢測 2D VCSEL 激光器陣列發(fā)射的 850nm 激光。豐田制造了一個(gè)激光雷達(dá)原型，其中包含一個(gè)用于接收 905nm 激光的 CMOSSPAD 陣列(202x96 像素)。

Princetion Lightware(收購方阿爾戈艾)還實(shí)現(xiàn)了 SPAD 激光雷達(dá)原型 5，同時(shí)信息披露較少。至于 SiPM，SensL(OmmniVision 收購)已經(jīng)制造了一個(gè) LiDAR 原型，而商業(yè)產(chǎn)品仍在開發(fā)中。

由于比近紅外激光允許更高的功率閾值，一些人轉(zhuǎn)而使用 SWIR 激光器(例如 1550nm)，如 Luminar(宣布與豐田合作)、AEYE。基于相干探測的 FMCW 激光雷達(dá)受到汽車制造商和投資商的追捧。

Strobe 和 Blackmore 這兩個(gè)具有代表性的 FMCW 激光雷達(dá)初創(chuàng)公司，分別很快被 Cruise 和 Aurora 收購。在本文中，我們對幾家具有代表性的汽車激光雷達(dá)供應(yīng)商及其公開技術(shù)進(jìn)行了分類和列舉。

激光雷達(dá)的另一個(gè)發(fā)展趨勢是克服惡劣的天氣條件，如雨、霧、雪、灰塵等。根據(jù)公式 1，不利的天氣條件增加了傳輸損耗 Tr，并削弱了接收能量變小的物體β的反射率。由于 SWIR 激光器(如 1550nm)可以獲得更高的傳輸功率，因此該波長的激光雷達(dá)有望在惡劣天氣下具有更好的性能。

2。 激光雷達(dá)感知系統(tǒng)

對于自主車輛，其感知系統(tǒng)根據(jù)感知傳感器的輸出、定位和地圖數(shù)據(jù)，將感知環(huán)境解釋為層次化的對象描述(即物理、語義、意圖感知)。

如圖 6 所示，傳統(tǒng)的 LiDAR 數(shù)據(jù)處理流水線分為 4 個(gè)步驟：目標(biāo)檢測、跟蹤、識(shí)別和運(yùn)動(dòng)預(yù)測。最近興起的深度學(xué)習(xí)技術(shù)正在改變這一經(jīng)典流程，我們將在經(jīng)典方法之后介紹它。由于 Velodyne 激光雷達(dá)在研究領(lǐng)域的普及，綜述的數(shù)據(jù)處理方法主要基于這種機(jī)械旋轉(zhuǎn)激光雷達(dá)。

圖 6:典型的激光雷達(dá)感知系統(tǒng)的管道，每個(gè)步驟的輸出示例。示例來自作者的平臺(tái)，如圖 1 所示。請注意，在目標(biāo)檢測后，我們只處理道路內(nèi)的物體(用黃線表示)。

A、 目標(biāo)檢測

目標(biāo)檢測算法提取候選對象并估計(jì)其物理信息：被檢測對象的位置和形狀。由于在大多數(shù)交通場景中，目標(biāo)垂直于一個(gè)平坦的地面，目標(biāo)檢測算法通常包括：地面濾波和聚類。地面過濾將點(diǎn)云標(biāo)記為地面或非地面。然后，利用聚類方法將非地面點(diǎn)劃分為不同的目標(biāo)。

在早期的研究中，激光雷達(dá)的點(diǎn)云被投影到圍繞激光雷達(dá) 360°的極坐標(biāo)網(wǎng)格中。每個(gè)網(wǎng)格單元內(nèi)的點(diǎn)被連續(xù)處理以生成一個(gè)虛擬掃描，該掃描指定了空閑、占用和遮擋的區(qū)域。占用的虛擬掃描被分組到對象簇中。

采用了這種方法，而不是對每個(gè)點(diǎn)進(jìn)行處理，而是采用基于網(wǎng)格的局部平面擬合方法。將能夠擬合為平面的網(wǎng)格劃分為接地網(wǎng)，剩余的非接地網(wǎng)采用連接元件標(biāo)記(CCL)進(jìn)行聚類。然而，基于極坐標(biāo)網(wǎng)格的方法往往需要將三維激光雷達(dá)點(diǎn)投影到離散網(wǎng)格中，這會(huì)丟失激光雷達(dá)測量的原始信息。

在球面坐標(biāo)系(r，ψ，θ)中處理激光雷達(dá)信號提供了一種更好的方法。對于作者所用的 Velo-dyne 超光球，每束激光的垂直角是固定的，方位角由掃描時(shí)間和電機(jī)轉(zhuǎn)速?zèng)Q定。因此，每個(gè)量程讀數(shù)可以用 Pi 表示，j=(ρi，j，i，θj，)，其中 i 表示某一激光束，j 是方位角指數(shù)，如圖 7 所示。

圖 7:用于進(jìn)一步處理的旋轉(zhuǎn)激光雷達(dá)(Velodyne UltraPuck)的距離圖。偽彩色的范圍圖像(32x1800)有助于以下處理。

這種方法自然地將范圍讀數(shù)填充到預(yù)定義的數(shù)據(jù)緩沖區(qū)(范圍圖像)，因此允許快速訪問點(diǎn)及其相鄰點(diǎn)。近幾年來，在距離視角下處理激光雷達(dá)數(shù)據(jù)變得越來越流行。

例如，基于一幅距離圖像，對每一列中的地面點(diǎn)進(jìn)行了分割。剩余的非地面點(diǎn)通過距離和角度的標(biāo)準(zhǔn)很容易地進(jìn)行分組。對于 32 束激光雷達(dá)來說，在英特爾 i5 處理器中，它們達(dá)到了 4 毫秒。逐行處理范圍圖像。他們在每個(gè)掃描行(實(shí)際上是距離圖像中的行)中應(yīng)用聚類，然后逐行合并這些簇。

圖 6 顯示了基于距離圖像的地面濾波和聚類的示例結(jié)果。綠色點(diǎn)是地面點(diǎn)，非地面點(diǎn)被分組到候選對象中(在藍(lán)色多邊形中)。目標(biāo)檢測提供初始的物理信息，例如物體的位置。以下步驟(如識(shí)別和跟蹤)對檢測到的對象補(bǔ)充語義和更多物理信息，如航向、速度。

B、 物體識(shí)別

基于機(jī)器學(xué)習(xí)的對象識(shí)別方法為檢測到的對象提供語義信息(如行人、車輛、卡車、樹木、建筑物等)。使用的典型識(shí)別過程包括計(jì)算緊湊對象描述符的特征提取步驟和預(yù)訓(xùn)練分類器基于提取的特征預(yù)測對象類別的分類步驟。

文獻(xiàn)中提出的特征可以大致分為兩類：整體對象的全局特征，或每個(gè)點(diǎn)的局部特征。物體的大小、半徑、中心矩或最大強(qiáng)度是最基本的全局特征。將主成分分析(PCA)應(yīng)用于三維點(diǎn)云是獲取全局形狀特征的另一種有效方法。

通過分析主成分分析得到的特征值，可以得到三個(gè)顯著特征(表面性、線性性、分散性)。對于局部特征，計(jì)算了每個(gè)點(diǎn)及其相鄰點(diǎn)的三個(gè)顯著性特征。對三個(gè)顯著性特征提取 3 個(gè)直方圖，每個(gè)直方圖包含 4 個(gè)間隔在 0 到 1 之間的箱子，作為局部特征。一個(gè)更復(fù)雜的特征是引入的自旋圖像(SI)。

SI 是通過圍繞給定點(diǎn) p 的曲面法線 n 旋轉(zhuǎn)網(wǎng)格來創(chuàng)建的。SI 的虛擬像素是到通過 n 的直線或到由 p 和 n 定義的平面的距離。將單個(gè)逐點(diǎn)特征轉(zhuǎn)換為全局特征：對于一個(gè)對象，只使用其中心點(diǎn)的 SI 作為對象描述符。在文獻(xiàn)中，有更復(fù)雜的特征，比如全局傅立葉直方圖(GFH)描述符。然而，實(shí)時(shí)性要求限制了特征的復(fù)雜性。

特征提取后，分類是一個(gè)典型的有監(jiān)督機(jī)器學(xué)習(xí)過程：由一個(gè)真實(shí)數(shù)據(jù)集訓(xùn)練的分類器預(yù)測輸入對象的類別。著名的數(shù)據(jù)集如 kitti6 提供了豐富的資源。在機(jī)器學(xué)習(xí)(ML)的武器庫中，可以應(yīng)用大量的機(jī)器學(xué)習(xí)工具，如 Naive Bayes、支持向量機(jī)(SVM)、KNN、隨機(jī)森林(RF)和梯度提升樹(GBT)。

基于徑向基函數(shù)(RBF)核的支持向量機(jī)(SVM)由于其速度快、精度高等優(yōu)點(diǎn)，仍然是目前最流行的支持向量機(jī)方法。圖 6 顯示了基于我們的實(shí)現(xiàn)(基于 RBF 核的 SVM)對檢測到的道路目標(biāo)的識(shí)別結(jié)果。最近，應(yīng)用證據(jù)神經(jīng)網(wǎng)絡(luò)對激光雷達(dá)目標(biāo)進(jìn)行分類。證據(jù)分類器可以更好地處理實(shí)踐中經(jīng)常遇到的未知類。

C、 目標(biāo)跟蹤

多目標(biāo)跟蹤(MOT)算法通過時(shí)空一致性來關(guān)聯(lián)和定位檢測 / 識(shí)別的目標(biāo)。MOT 保持被探測物體的身份，并給出它們的物理狀態(tài)，即軌跡、姿態(tài)、速度。

MOT 是一個(gè)經(jīng)典的工程問題，已經(jīng)被研究了很長時(shí)間?；倔w系結(jié)構(gòu)主要包括單個(gè)目標(biāo)跟蹤器，該跟蹤器“最優(yōu)”估計(jì)被跟蹤對象的狀態(tài)，數(shù)據(jù)關(guān)聯(lián)將新的檢測分配給跟蹤器。

單目標(biāo)跟蹤器將運(yùn)動(dòng)建模為動(dòng)態(tài)狀態(tài)空間模型，并在貝葉斯濾波框架下對運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)。Kalman Filter(KF)家族 - 高斯線性假設(shè)下的經(jīng)典 KF 及其變種擴(kuò)展 Kalman 濾波器(EKF)，Unscented Kalman Filter(UKF)，是目前流行的工具箱。

使用了一個(gè)帶有恒定速度模型的 KF 來跟蹤激光雷達(dá)探測。作為 KF 的一種非線性形式，EKF 被用于激光雷達(dá)目標(biāo)跟蹤。交互多模型(IMM)濾波器將單個(gè)動(dòng)態(tài)模型擴(kuò)展到多個(gè)機(jī)動(dòng)模型，能夠處理更復(fù)雜的情況。

IMM 濾波器由多個(gè)并行運(yùn)行的濾波器組成，每個(gè)濾波器使用不同的運(yùn)動(dòng)模型。對于單個(gè)物體，IMM-UKF 濾波器應(yīng)用，其中三個(gè) UKF 用于三個(gè)運(yùn)動(dòng)模型：恒定速度、恒定轉(zhuǎn)彎速率和隨機(jī)運(yùn)動(dòng)。

作為另一種常用的方法，粒子濾波(PF)是為更一般的不滿足高斯線性假設(shè)的情況而設(shè)計(jì)的。PF 在激光雷達(dá)數(shù)據(jù)處理中的應(yīng)用可以追溯到 DARPA。最簡單的方法是最近鄰(NN)濾波器，它根據(jù)檢測和軌跡之間的歐氏距離或馬氏距離將檢測分配給最近的軌跡。NN 濾波器對于雜波場景是不夠的。

相比之下，聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波器(JPDAF)為檢測航跡關(guān)聯(lián)提供了一種軟的、概率的方法。JPDAF 在一個(gè)選通窗口中考慮所有可能的檢測(包括不檢測)，估計(jì)它們對軌跡的分配概率，并取所有關(guān)聯(lián)假設(shè)的加權(quán)平均值。

與雷達(dá)基 MOT 相比，基于 LiDAR 的 MOT 的所有檢測都被建模為點(diǎn)，而基于 LiDAR 的 MOT 的獨(dú)特之處在于它還應(yīng)該跟蹤檢測的形狀。最簡單的形狀模型是一個(gè)二維邊界框，它假設(shè)檢測到的是類似汽車的物體。

L 形擬合是估計(jì)包圍盒中心、寬度、高度和方向的最常用方法。然而，二維邊界盒不足以滿足更一般的物體，如行人、樹木、建筑物等。一種更復(fù)雜的方法實(shí)現(xiàn)了多個(gè)形狀模型：點(diǎn)、多邊形、L 形和各種對象的線。在跟蹤運(yùn)動(dòng)目標(biāo)時(shí)，其形狀隨姿態(tài)和傳感器視點(diǎn)的變化而變化。

D、 目標(biāo)意向預(yù)測

前面介紹的模塊提供檢測到的目標(biāo)的過去和現(xiàn)在的信息。而在自主駕駛系統(tǒng)中，決策和路徑規(guī)劃算法需要跟蹤目標(biāo)的未來運(yùn)動(dòng)。以往的工作基于某些運(yùn)動(dòng)學(xué)模型，假設(shè)是完美地?cái)M合檢測對象，不適用于長期預(yù)測。

針對這一缺點(diǎn)，提出了一種基于機(jī)器學(xué)習(xí)方法的機(jī)動(dòng)或行為識(shí)別方法。車輛常見的操縱有切入、變道、制動(dòng)、超車等。采用高斯混合模型(GMM)或隱馬爾可夫模型(HMM)對汽車跟馳、變道行為進(jìn)行了建模?；?HMM 實(shí)現(xiàn)的機(jī)動(dòng)分類，

在車輛交互模型約束下，利用變分高斯混合模型(VGMMs)預(yù)測車輛的運(yùn)動(dòng)。隨著 RNN 在時(shí)序數(shù)據(jù)建模中的成功應(yīng)用，基于 LSTM 的方法越來越流行。利用 LSTM 對交叉口駕駛員的意圖進(jìn)行分類，結(jié)果表明 LSTM 優(yōu)于其他傳統(tǒng)的機(jī)器學(xué)習(xí)方法。

提出了一種用于機(jī)動(dòng)識(shí)別和軌跡預(yù)測的編解碼 LSTM 模型。除了識(shí)別單個(gè)物體的動(dòng)作外，社交 LSTM 被提出用來捕捉所有物體之間的相互作用。這是通過社會(huì)池實(shí)現(xiàn)的，它將目標(biāo)的相鄰對象的 LSTM 狀態(tài)下采樣為一個(gè)社會(huì)張量。應(yīng)用和改進(jìn)了原有的社會(huì)統(tǒng)籌部分，用于車輛軌跡預(yù)測。

E、 新興的深度學(xué)習(xí)方法

在計(jì)算機(jī)視覺和語音識(shí)別取得巨大成功之后，激光雷達(dá)數(shù)據(jù)處理也迎來了深度學(xué)習(xí)的浪潮。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法的一個(gè)子集，主要使用多層神經(jīng)網(wǎng)絡(luò)。

與支持向量機(jī)等傳統(tǒng)的機(jī)器學(xué)習(xí)方法相比，DL 技術(shù)能夠從原始輸入中自動(dòng)提取特征。卷積神經(jīng)網(wǎng)絡(luò)(CNN)和遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，如 LSTM(long-short-term memory)是最常用的工具。

感知系統(tǒng)的基本組成部分、地面分割、目標(biāo)檢測、跟蹤和識(shí)別都可以通過深度神經(jīng)網(wǎng)絡(luò)(DNN)來實(shí)現(xiàn)。例如，通過將 CNN 應(yīng)用于由多通道距離圖像表示的 LiDAR 點(diǎn)來分割地面點(diǎn)。

與基于聚類的可檢測任意目標(biāo)的目標(biāo)檢測方法不同，基于 DNN 的解決方案基于有監(jiān)督學(xué)習(xí)的模式，通過識(shí)別來實(shí)現(xiàn)目標(biāo)檢測。車輛可以通過基于 CNN 的神經(jīng)網(wǎng)絡(luò)在激光雷達(dá)點(diǎn)的 BEV(鳥瞰圖)表示中檢測到。

一種更為復(fù)雜的神經(jīng)網(wǎng)絡(luò)，將 CNN 用于激光雷達(dá)數(shù)據(jù)的距離像和 BEV，然后與攝像機(jī)檢測進(jìn)行融合。然而，由于激光雷達(dá)的物理局限性，激光雷達(dá)只能對車輛進(jìn)行有效的檢測，KITTI benchmark 中行人檢測的最佳結(jié)果平均精度僅為 52.40%(在本文寫作時(shí)采用的方法是不可信的)。

將證據(jù)理論集成到基于激光雷達(dá)的道路分割和制圖的 DL 體系結(jié)構(gòu)中。利用 DL 實(shí)現(xiàn)了目標(biāo)跟蹤。與傳統(tǒng)跟蹤算法中描述的濾波跟蹤框架不同，提出了一種檢測跟蹤框架下的深層結(jié)構(gòu)模型。

檢測網(wǎng)首先處理一系列的激光雷達(dá)數(shù)據(jù)和圖像以生成檢測方案。然后，通過尋找最佳檢測關(guān)聯(lián)來估計(jì)軌跡，并通過行軍網(wǎng)和計(jì)分網(wǎng)實(shí)現(xiàn)。

除了改進(jìn)傳統(tǒng)的感知成分外，點(diǎn)式語義切分在以前很難實(shí)現(xiàn)，現(xiàn)在可以通過深度學(xué)習(xí)來實(shí)現(xiàn)。提出了一種通用的三維點(diǎn)云語義分割方法點(diǎn)網(wǎng)。然而，由于激光雷達(dá)數(shù)據(jù) w.r.t 距離的稀疏性，該方法不能很好地應(yīng)用于自動(dòng)駕駛場景。

squezeseg 將 CNN 應(yīng)用于激光雷達(dá)點(diǎn)的距離視圖中，實(shí)現(xiàn)了實(shí)時(shí)分割。由于缺少大量帶注釋的數(shù)據(jù)集，這兩種方法的性能還不能在實(shí)際使用中部署。雖然這種情況已經(jīng)被 semantickitti8 所改變，Semantickitti8 是基于 KITTI 的最新也是最大的逐點(diǎn)注釋數(shù)據(jù)集。

基于這個(gè)數(shù)據(jù)集，RangeNet 通過一個(gè)并不復(fù)雜的 DNN 結(jié)構(gòu)展示了令人著迷的性能和速度。圖 8 示出了 RangeNet 的結(jié)構(gòu)和示例結(jié)果。隨著越來越多的標(biāo)注數(shù)據(jù)集，我們有充分的理由期待基于 LiDAR 的語義分割將有更好的性能。

圖 8:RangeNet 中提出的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3。 結(jié)論與未來方向

本文首先對激光雷達(dá)技術(shù)進(jìn)行了綜述。介紹了激光雷達(dá)如何“看到”世界和什么構(gòu)成了激光雷達(dá)。分析了激光雷達(dá)技術(shù)的主要發(fā)展方向。綜上所述，目前的汽車激光雷達(dá)面臨著以下限制或挑戰(zhàn)：

1)成本；

2)滿足汽車可靠性和安全標(biāo)準(zhǔn)(如 ISO26262、IEC61508)；

3)測量距離長(如公路應(yīng)用>200m)；

4)惡劣天氣，如雨、霧、雪等；

5)圖像級分辨率；

6)尺寸較小，便于集成。目前，各種可能的解決方案，從激光源(905nm V.S.1550nm)、掃描方法(自旋 /MEMS/OPA/Flash)或測距原理(ToF 或 FMCW)都被用來克服這些困難。

很難預(yù)測哪種汽車激光雷達(dá)解決方案將主導(dǎo)未來，但有一點(diǎn)是肯定的：汽車激光雷達(dá)正在走出實(shí)驗(yàn)平臺(tái)，進(jìn)入越來越多的量產(chǎn)汽車。

然后，介紹了基于激光雷達(dá)的自動(dòng)駕駛感知系統(tǒng)的簡明教程。介紹了感知系統(tǒng)提供的三個(gè)層次的信息，以及典型的處理流程。一般來說，與攝像機(jī)或雷達(dá)相比，激光雷達(dá)是測量距離最精確的傳感器。

因此，由基于激光雷達(dá)的算法評估的物理信息(物體的位置、方向、形狀等)是非常可靠的。然而，語義描述是激光雷達(dá)的缺點(diǎn)。這是由于激光雷達(dá)的分辨率低，其本質(zhì)是作為一個(gè)距離測量傳感器，而不是上下文傳感器。與攝像機(jī)的融合彌補(bǔ)了激光雷達(dá)在識(shí)別方面的不足。

意圖預(yù)測水平獨(dú)立于特定的傳感器，而激光雷達(dá)所帶來的精確物理信息將增強(qiáng)其預(yù)測能力。將深度學(xué)習(xí)應(yīng)用于激光雷達(dá)的三維數(shù)據(jù)將是未來研究的重要方向之一。缺乏大量的三維點(diǎn)云數(shù)據(jù)集是深度學(xué)習(xí)方法成功應(yīng)用的瓶頸。隨著新型激光雷達(dá)的快速發(fā)展，將出現(xiàn)更加適用于特定激光雷達(dá)的新算法。