實(shí)現(xiàn)自動駕駛多傳感器融合 FPGA成重要手段

　目前自動駕駛在從L1、L2、L3階段性的演進(jìn)過程中，傳感器起到了“定海神針”的作用。此時(shí)行業(yè)內(nèi)面臨了一個(gè)挑戰(zhàn)，即如何把外界變化情況利用起來，在域控里面會發(fā)揮更重要的作用。

　　實(shí)現(xiàn)自動駕駛 傳感器為先

　　傳感器的作用是對于目標(biāo)物體進(jìn)行有效檢測和識別。但是目前量產(chǎn)的一些配置L2+/L2++自動駕駛級別功能的車輛，在高速路上行駛時(shí)候卻不約而同的發(fā)生了碰撞事故。

　　發(fā)生這些事故的原因分析如下：

　　一類是傳感器失效的原因，毫米波對于靜態(tài)物體進(jìn)行了過濾，而相機(jī)對于白色大物體無法進(jìn)行有效識別。一類是延遲的問題，毫米波對于靜態(tài)物體進(jìn)行了過濾，相機(jī)由于數(shù)據(jù)集積累不足對于雪糕筒這類物體在遠(yuǎn)處無法判定，但是近處識別到之后，已經(jīng)來不及啟動AEB制動系統(tǒng)。一類是融合判定策略不足造成，毫米波檢測到目標(biāo)，但是行駛速度超過了AEB對于速度的控制區(qū)間，相機(jī)對于異形物體未能進(jìn)行有效識別，但是融合策略以相機(jī)識別結(jié)果判定為主，造成融合判定結(jié)果出錯(cuò)。

　　綜合而言上述的主要原因還是由于缺乏多傳感器融合對于目標(biāo)結(jié)果的準(zhǔn)確判定的處理過程，才導(dǎo)致了這樣一些故障。

　　通過傳感器融合在一起，加以更加強(qiáng)大的算力，可以非常低的延遲把結(jié)果好好的反饋出來，從而得到一個(gè)準(zhǔn)確的目標(biāo)物體信息，對于以及周圍環(huán)境的認(rèn)知，然后在車輛行駛的過程當(dāng)中，對它進(jìn)行提前的預(yù)判，得以有效避障。這是傳感器融合的巨大優(yōu)勢，也是目前各自動駕駛企業(yè)所青睞的是一種方案。

　　多傳感器融合 成優(yōu)質(zhì)方案

　　所謂多傳感器融合器是屬于域控制器的一部分，這是一種將多個(gè)傳感器（包括雷達(dá)、激光雷達(dá)和攝像頭）的輸入?yún)R集在一起的能力，以形成車輛周圍環(huán)境的單一模型或圖像。結(jié)果模型更精確，因?yàn)樗胶饬瞬煌瑐鞲衅鞯膹?qiáng)度。

　　融合后就會清楚的知道：我在哪里，我周邊周圍環(huán)境是怎樣及都有什么物體圍繞著我，對周圍環(huán)境能得到精確的結(jié)果模型上能作出更加明確地判斷，從而可以判定我下一步要進(jìn)行什么動作，這就是多傳感器融合的作用。

　　總所周知，各個(gè)類型傳感器都具備自己的優(yōu)點(diǎn)和缺點(diǎn)，如右側(cè)的表格所列出來的一樣，單靠任意一類的表現(xiàn)的結(jié)果都會不盡人意，而左圖從各個(gè)維度進(jìn)行融合匯總之后，彌補(bǔ)了各個(gè)傳感器的缺點(diǎn)，同時(shí)也有效發(fā)揮各類傳感器的優(yōu)點(diǎn)，從而可以更精確地檢測到目標(biāo)物體及其位置，融合在一起達(dá)到了更好的效果，使得自動駕駛更加安全有效。

　　實(shí)現(xiàn)融合 挑戰(zhàn)依舊存在

　　融合也面臨著挑戰(zhàn)，其可以分為三類：

　　第一類是面向安全性的挑戰(zhàn)，這里主要體現(xiàn)在低延遲性。剛才前面的案例中提到了，起決定性作用的是幾秒鐘的系統(tǒng)結(jié)果判定反饋，從而影響AEB是否能及時(shí)剎車制動，從而避免碰撞。而對于駕駛員而言要踩剎車動作則需要預(yù)留更長的反應(yīng)時(shí)間。其中對于融合結(jié)果的處理過程就需要極低延遲。同時(shí)也要防止單類傳感器失效，要進(jìn)行冗余設(shè)計(jì)。

　　第二類是對于系統(tǒng)復(fù)雜性的挑戰(zhàn)，由于更高等級的自動駕駛需要更多的傳感器接入，傳感器的類型、數(shù)量變多，而各個(gè)傳感器的接口是不同的，因此數(shù)據(jù)類型、傳輸協(xié)議也會變多。這對于對于高帶寬和支持多樣性面臨著前所未有的壓力。同時(shí)，在異構(gòu)的環(huán)境下，還需要面臨如如何進(jìn)行多任務(wù)分配，高能效的計(jì)算及算力等問題。

　　最后一類是對于執(zhí)行效率的挑戰(zhàn)，數(shù)據(jù)帶寬增大意味著并行吞吐量的要求增強(qiáng)，同時(shí)處理過程中又要低延遲，融合過程中要分別能對應(yīng)不同種類的融合以及需要可以靈活適配不同神經(jīng)網(wǎng)絡(luò)加速的要求。

　　使用FPGA 將成最好選擇

　　針對上述挑戰(zhàn)，F(xiàn)PGA的自身特性，剛好符合多傳感器融合所要求的特性，可以說是恰逢其時(shí)。其優(yōu)勢和特點(diǎn)如下：

　　FPGA具備高吞吐、多種類協(xié)議、帶寬的優(yōu)勢

　　FPGA具備低延遲的優(yōu)勢

　　FPGA具備支持多種類數(shù)據(jù)融合的優(yōu)勢

　　FPGA具備良好的冗余安全與可靠性

　　FPGA可以支持標(biāo)準(zhǔn)2.5Gb/s MIPI D-PHY，擴(kuò)展至3.2 Gb/s MIPI D-PHY的數(shù)據(jù)帶寬，從而支持多路8MP攝像頭。支持多路1G/10G以太網(wǎng)輸入，從而實(shí)現(xiàn)多路激光雷達(dá)的支持。在支持高速接口的同時(shí)也支持低速的CAN/CAN FD多路輸入。支持4.2Gb/s LPDDR4，最大34.1GB/s，內(nèi)部總線NoC支持最大34.56GB/s的片內(nèi)數(shù)據(jù)交互。使得器件具備極高的吞吐能力。

　　FPGA的架構(gòu)是自定義指令、自定義片上內(nèi)存、可編程IO接口。而低延遲體現(xiàn)在：數(shù)據(jù)并行性（SIMD）、任務(wù)并行性（多條管道）和超標(biāo)量執(zhí)行（多條獨(dú)立指令并行執(zhí)行）可與管道并行性一起使用，從而實(shí)現(xiàn)高并行度和超低延遲。這與CPU/GPU的處理方式是不一樣的，這意味著輸出結(jié)構(gòu)無需等待。

　　FPGA對于融合算法的支持優(yōu)勢明顯，特別是原始數(shù)據(jù)融合變得越來越流行，而要處理RAW Data則需要更細(xì)顆粒度的處理方式，這不是僅僅討論關(guān)于算力，而是討論關(guān)于如何提高感知結(jié)果的精確性。對于上圖的三類不同融合方式，F(xiàn)PGA都可以進(jìn)行靈活的編程適配，從而達(dá)到算法及器件的最大復(fù)用性。

　　FPGA器件滿足車規(guī)AEC-Q100的要求，且符合ISO 26262標(biāo)準(zhǔn)，可達(dá)到ASIL-C/D。 同時(shí)具備ISO9001, IATF16949認(rèn)證。

　　案例多元 趨勢越走越明

　　最后給大家看一下基于下一代器件的實(shí)例，對于從L2等級面向L3/L4等級開發(fā)過程中，所需要的功能元素均包含在內(nèi)，

　　首先從下向上來看，外設(shè)部分通過MIPI接口接入多路高清相機(jī)，通過串口如CAN/CAN-FD接入毫米波雷達(dá)，通過以太網(wǎng)接口接入激光雷達(dá)，從而實(shí)現(xiàn)主要感知傳感器的數(shù)據(jù)接入，而接口部分可以隨著不同廠商及不同等級的要求進(jìn)行靈活增減，從而實(shí)現(xiàn)器件復(fù)用和靈活性適配。

　　通過NoC的大數(shù)據(jù)帶寬將數(shù)據(jù)接入到Adaptable Engine進(jìn)行預(yù)處理，而多傳感器的數(shù)據(jù)融合部分就可以在這里實(shí)現(xiàn)，可以進(jìn)行多路ISP的處理，相機(jī)的圖像識別/分割與雷達(dá)點(diǎn)云的ML處理會使用到AI Engine的硬核化加速器，ML的結(jié)果回傳到Adaptable Engine進(jìn)行數(shù)據(jù)分類、標(biāo)定、環(huán)境識別等任務(wù)，再通過NoC與ARM交互，ARM端可進(jìn)行任務(wù)分配，路徑規(guī)劃和決策等工作。

　　對于與周邊SoC的配合可以通過以太網(wǎng)和PCIe實(shí)現(xiàn)數(shù)據(jù)的高速傳輸，從而構(gòu)建一個(gè)高等級自動駕駛的高效方案。

　　目前看起來，傳感器融合，勢在必行。而AMD作為行業(yè)的排頭兵，愿意攜手生態(tài)伙伴共筑一個(gè)美好的未來，為高等級自動駕駛做出貢獻(xiàn)。