來(lái)源：汽車開發(fā)圈
編輯：感知芯視界 Link
在汽車設(shè)計(jì)領(lǐng)域，傳感器融合正變得日益流行且復(fù)雜。它將多種類型的傳感器集成到單個(gè)芯片或封裝中，并智能地將數(shù)據(jù)路由到所需之處。其主要目標(biāo)是整合來(lái)自攝像頭、雷達(dá)、激光雷達(dá)和其他傳感器的信息，以全面呈現(xiàn)車輛內(nèi)外的情況。在最新設(shè)計(jì)中，傳感器融合常發(fā)生在區(qū)域控制器或中央計(jì)算模塊中，這些設(shè)備作為中介，收集不同傳感器的數(shù)據(jù)并傳輸?shù)街醒胩幚砥?。不過(guò)，傳感器融合的具體位置以及所融合的傳感器種類，會(huì)因車輛架構(gòu)和制造商的方法而異。
傳感器融合的關(guān)鍵是什么？
在車輛中融合傳感器主要有兩種選擇。新思科技（Synopsys）汽車 IP 部門經(jīng)理Ron DiGiuseppe表示：“在區(qū)域電子控制單元（ECU）中可以進(jìn)行傳感器融合，它就像一個(gè)智能篩選開關(guān)。另一種選擇是在中央計(jì)算模塊上進(jìn)行傳感器融合，在那里可以進(jìn)行數(shù)據(jù)提取?！?具體選用哪種方式通常取決于成本。DiGiuseppe指出：“如果在區(qū)域 ECU 中進(jìn)行融合，該應(yīng)用是一個(gè)具有多個(gè)端口的芯片（SoC）。它處理各種不同的數(shù)據(jù)類型，如 CAN、MIPI 等。這些數(shù)據(jù)都通過(guò)區(qū)域 ECU，然后傳輸?shù)街醒胩幚砥?，所以可以在區(qū)域 ECU 中完成融合。但通常會(huì)傳遞到中央計(jì)算模塊，這需要高性能的汽車車內(nèi)以太網(wǎng)以及長(zhǎng)距離 MIPI 端口。大多數(shù) CAN 數(shù)據(jù)會(huì)在 ECU 中轉(zhuǎn)換，CAN 數(shù)據(jù)包會(huì)傳輸?shù)絽^(qū)域 ECU 進(jìn)行提取，然后封裝到以太網(wǎng)中，再傳輸回中央計(jì)算模塊。”
有效的傳感器融合的關(guān)鍵推動(dòng)力是高速車載網(wǎng)絡(luò)，汽車以太網(wǎng)是常見選擇。當(dāng)前量產(chǎn)車輛使用 1 Gbps 以太網(wǎng)，10 Gbps 系統(tǒng)也即將問(wèn)世。這種高速網(wǎng)絡(luò)允許傳感器、區(qū)域控制器和中央處理器之間快速傳輸數(shù)據(jù)。融合過(guò)程本身通常涉及專門的硬件和軟件。例如，統(tǒng)一的數(shù)字信號(hào)處理器（DSP）可以處理來(lái)自不同傳感器類型的數(shù)據(jù)，如雷達(dá)、激光雷達(dá)和攝像頭。還可能使用額外的加速器來(lái)執(zhí)行特定功能，如快速傅里葉變換（FFT）或計(jì)算機(jī)視覺(jué)任務(wù)。雖然這比最初的傳感器融合概念更復(fù)雜，但也更加成熟。
都有哪些傳感器需要融合
西門子數(shù)字工業(yè)軟件公司（Siemens Digital Industries Software）混合和虛擬系統(tǒng)副總裁David Fritz表示：“就像所有新技術(shù)一樣，一開始大家都急于找到解決方案。幾乎可以說(shuō)，每個(gè)解決方案都是全新且獨(dú)特的。如今，人們對(duì)傳感器融合已經(jīng)有了很好的理解。坦率地說(shuō)，我們看到更智能的感知堆棧使傳感器融合不再那么令人擔(dān)憂。激光雷達(dá)、雷達(dá)、攝像頭和慣性傳感器相互作用，但傳感的趨勢(shì)是傳感器具有更多智能，這使得融合的問(wèn)題不再那么突出?！?/p>
融合的內(nèi)容因用例而異。Cadence汽車解決方案部門總監(jiān)Robert Schweiger描述了一種場(chǎng)景，其中視覺(jué)處理器也處理雷達(dá)數(shù)據(jù)以及一些人工智能功能。他說(shuō)：“我想分析點(diǎn)云，并根據(jù)這些點(diǎn)確定我面前是什么物體。市場(chǎng)上有可用的內(nèi)核，將雷達(dá)和視覺(jué)內(nèi)核的指令集集成在一個(gè)內(nèi)核中。這意味著它可以在這個(gè)單一內(nèi)核中處理激光雷達(dá)、雷達(dá)和視覺(jué)數(shù)據(jù)?！?或者，應(yīng)用場(chǎng)景可能是一個(gè)要求極高的傳感器系統(tǒng)，配備最新的高清傳感器，向處理器傳輸大量數(shù)據(jù)。Schweiger指出：“你可能在其之上有一個(gè)加速器來(lái)支持 DSP，并加速例如 FFT 功能。如果處理器包含高達(dá) 2 TOPS 的人工智能基礎(chǔ)功能，這意味著你擁有了一個(gè)非常強(qiáng)大的系統(tǒng)。有些人需要更高的人工智能性能，所以你需要一個(gè)神經(jīng)處理單元，一個(gè)實(shí)例可以擴(kuò)展到 80 TOPS，在多核系統(tǒng)中組合多個(gè)這樣的實(shí)例可以擴(kuò)展到數(shù)百 TOPS 甚至一千 TOPS?！?/p>
芯片上的所有這些處理器也需要連接，這就需要片上網(wǎng)絡(luò)（NoC）。Schweiger說(shuō)：“需要一個(gè) NoC 將我們不同的 IP 連接成一個(gè)子系統(tǒng)，最終成為一個(gè)Chiplet。” 對(duì)于傳感器融合，假設(shè)有一個(gè)傳感器堆棧。Schweiger說(shuō)：“你有攝像頭雷達(dá)、用于高分辨率的 4D 成像雷達(dá)、前置攝像頭，還有側(cè)面或后部的另一個(gè)攝像頭。這些是不同的傳感器模式，現(xiàn)在你想將所有東西融合在一起。角雷達(dá)可能是低端或中端類型的雷達(dá)，要求不那么高，但 4D 成像雷達(dá)是一種要求非常高的傳感器。它產(chǎn)生大量數(shù)據(jù)，這意味著這里需要大量處理。對(duì)于前置攝像頭也是如此。前置的智能攝像頭通常是最強(qiáng)大的攝像頭，它進(jìn)行大量的行人檢測(cè)、圖像分析、過(guò)濾等。后部可能還有一個(gè)低端攝像頭。那么傳感器融合系統(tǒng)是怎樣的呢？我們的方法是使用統(tǒng)一的 DSP，它可以處理雷達(dá)、激光雷達(dá)和基礎(chǔ)人工智能。”
用于雷達(dá)的同一實(shí)例也可用于攝像頭，無(wú)論是前置攝像頭還是后置攝像頭。他指出：“在那里，我們處理視覺(jué)飛行時(shí)間和人工智能。從上層 DSP，我們生成雷達(dá)點(diǎn)云（PCL），為下層生成視覺(jué)點(diǎn)云，這樣我們就可以將前置攝像頭和側(cè)面攝像頭，或者角落雷達(dá)和前置雷達(dá)融合在一起。我們?cè)趦?nèi)核中進(jìn)行融合。如果我們需要更高的性能，可以添加 FFT 作為加速器，或者另一個(gè)可以加速 FFT 功能以及計(jì)算機(jī)視覺(jué)功能的加速器。”
更智能的傳感器
越來(lái)越多的傳感器將包含機(jī)器學(xué)習(xí)功能。Imagination Technologies公司質(zhì)量、功能安全和網(wǎng)絡(luò)安全總監(jiān)Andrew Johnston解釋說(shuō)：“用于實(shí)現(xiàn)自動(dòng)駕駛平臺(tái)或高度輔助駕駛功能所需控制精度的傳感器類型，以及它們使用的數(shù)據(jù)類型，本質(zhì)上比在相鄰領(lǐng)域（如過(guò)程工業(yè)或醫(yī)療領(lǐng)域）中可能找到的傳統(tǒng)傳感器測(cè)量更加復(fù)雜。那些傳感器可能幾十年來(lái)一直在進(jìn)行傳感器融合，并且較少依賴機(jī)器學(xué)習(xí)，可以說(shuō)機(jī)器學(xué)習(xí)仍在發(fā)展中，但它們使用的傳感器本質(zhì)上更簡(jiǎn)單。所以你可能最終會(huì)得到簡(jiǎn)單的查找表和交叉參考算法。”
在汽車領(lǐng)域，最大的變化在于視覺(jué)感知和基于運(yùn)動(dòng)構(gòu)建結(jié)構(gòu)。Johnston說(shuō)：“要做好這一點(diǎn)，你需要一系列不同類型的傳感器。你可以用單一類型的傳感器實(shí)現(xiàn)自動(dòng)駕駛功能，但效果參差不齊。而且因?yàn)檫@些是高完整性功能，即安全關(guān)鍵功能，采用冗余和多樣性是件好事。在系統(tǒng)層面，你希望融合來(lái)自攝像頭、雷達(dá)、激光雷達(dá)、超聲波的傳感器數(shù)據(jù)，甚至將其與更傳統(tǒng)的傳感器（如光傳感器或溫度傳感器）結(jié)合起來(lái)。你這樣做是為了試圖了解操作環(huán)境。問(wèn)題是這是一個(gè)本質(zhì)上復(fù)雜的功能和技術(shù)領(lǐng)域，在半導(dǎo)體層面，挑戰(zhàn)更大。在理想情況下，每個(gè)半導(dǎo)體供應(yīng)商都希望嘗試構(gòu)建一種能夠滿足多種用例的產(chǎn)品。我們盡量不制造特定用例的產(chǎn)品，因?yàn)檫@將具有非常小眾的應(yīng)用，而且客戶可能不會(huì)選擇你的產(chǎn)品。所以 IP 和半導(dǎo)體供應(yīng)商需要平衡的是，在弄清楚芯片上的晶體管需要做什么之前，系統(tǒng)地評(píng)估用例并了解在硬件軟件領(lǐng)域可以做些什么。”
這在汽車領(lǐng)域意味著大量的機(jī)器學(xué)習(xí)和對(duì)機(jī)器學(xué)習(xí)的高帶寬需求。Johnston說(shuō)：“你希望實(shí)時(shí)執(zhí)行這些算法，這意味著你要進(jìn)行大量不同類型的復(fù)雜矩陣乘法和數(shù)據(jù)融合，理想情況下你希望在一個(gè)單一實(shí)體上快速完成。之所以要快速完成，是因?yàn)樗仨毾袢祟愸{駛員一樣在回路中做出基于控制系統(tǒng)的決策。我們自然而然地做到這一點(diǎn)，而且我們的世界是模擬的，所以你試圖在數(shù)字領(lǐng)域中表示模擬世界和模擬控制器。從哲學(xué)角度來(lái)看，這是一個(gè)非常有趣的挑戰(zhàn)。”
向軟件定義車輛和區(qū)域架構(gòu)的過(guò)渡
隨著汽車行業(yè)向軟件定義車輛和區(qū)域架構(gòu)過(guò)渡，傳感器融合的方法也在不斷發(fā)展。OEM正在努力將這些新系統(tǒng)與現(xiàn)有架構(gòu)集成，這帶來(lái)了重大挑戰(zhàn)。目標(biāo)是創(chuàng)建一個(gè)更集中、可擴(kuò)展的系統(tǒng)，隨著技術(shù)的進(jìn)步可以輕松更新和擴(kuò)展。值得注意的是，傳感器融合的具體實(shí)現(xiàn)方式在不同制造商之間可能存在顯著差異，有些選擇更集中的方法，而另一些則將處理分布在車輛的多個(gè)節(jié)點(diǎn)上。
英飛凌計(jì)算和連接產(chǎn)品營(yíng)銷與應(yīng)用傳感高級(jí)總監(jiān)Ted Karlin表示：“如今，傳感器融合是將來(lái)自多個(gè)傳感器的數(shù)據(jù)組合起來(lái)，以創(chuàng)建對(duì)環(huán)境更全面的視圖的過(guò)程，通常不基于生成式人工智能和深度機(jī)器學(xué)習(xí)。未來(lái)，更多將生成式人工智能和深度機(jī)器學(xué)習(xí)與傳感器融合算法相結(jié)合的應(yīng)用將變得更加智能。借助生成式人工智能，傳感器融合過(guò)程將變得更具適應(yīng)性，因?yàn)檫@些模型可以合成填補(bǔ)數(shù)據(jù)空白，模擬潛在結(jié)果，從而實(shí)時(shí)預(yù)測(cè)和應(yīng)對(duì)變化。它們還將具有更強(qiáng)的上下文感知能力，因?yàn)闅v史上下文可以成為算法的一部分，同時(shí)結(jié)合環(huán)境因素和態(tài)勢(shì)感知，以獲得更高質(zhì)量的傳感器融合輸出。最后，機(jī)器學(xué)習(xí)可以變得更加個(gè)性化，因?yàn)樯墒饺斯ぶ悄芸梢岳锰囟ㄈ说谋O(jiān)測(cè)或診斷得出個(gè)性化結(jié)論。”
其他人也表示認(rèn)同。Rambus 公司硅 IP 業(yè)務(wù)開發(fā)總監(jiān)Adiel Bahrouch說(shuō)：“將成像雷達(dá)與攝像頭融合的力量已得到充分理解。例如，雷達(dá)無(wú)法讀取標(biāo)志，你也無(wú)法訓(xùn)練它讀取標(biāo)志。它無(wú)法區(qū)分不同顏色，如紅色、藍(lán)色，而攝像頭可以。你可以用人工智能訓(xùn)練攝像頭識(shí)別標(biāo)志、人物、物體、車道等。當(dāng)你將這些特性與雷達(dá)所能提供的所有優(yōu)點(diǎn)結(jié)合起來(lái)時(shí)，你可以擁有一個(gè)非常強(qiáng)大的系統(tǒng)，輕松超越激光雷達(dá)。激光雷達(dá)是另一種有很多優(yōu)點(diǎn)的技術(shù)，但非常非常昂貴。對(duì)于非常高的自動(dòng)駕駛級(jí)別，我認(rèn)為攝像頭無(wú)法單獨(dú)完成任務(wù)，因?yàn)樵诤诎祷驉毫犹鞖鈼l件下，攝像頭可能會(huì)帶來(lái)一些安全問(wèn)題。雷達(dá)在分辨率、圖像檢測(cè)和模式識(shí)別方面不具備攝像頭的能力，但當(dāng)你將兩者結(jié)合起來(lái)時(shí)，你就擁有了一個(gè)非常強(qiáng)大的系統(tǒng)，可以推動(dòng)自動(dòng)駕駛的發(fā)展?！?/p>
至于這在車輛中的位置，Bahrouch指出E/E架構(gòu)的演變是一個(gè)起點(diǎn)?！皞鹘y(tǒng)車輛有其基于域的架構(gòu)，所有的 ECU 和傳感器都連接在一起，這意味著融合是一個(gè)巨大的挑戰(zhàn)。這種架構(gòu)不支持這類活動(dòng)。但隨著向區(qū)域架構(gòu)的轉(zhuǎn)變，位于同一角落的傳感器在一個(gè)大處理器下組合在一起，區(qū)域處理器有助于收集來(lái)自不同傳感器的所有信息，開始進(jìn)行融合。這意味著信息在本地進(jìn)行處理，即區(qū)域處理，或者通過(guò)高速以太網(wǎng)骨干網(wǎng)從不同角度收集所有信息，并在車輛中央進(jìn)行集中融合。我不知道哪種將成為主流方法，是在邊緣、區(qū)域 SoC、中央大腦，還是它們的排列組合。在所有信息合并之前會(huì)進(jìn)行預(yù)處理嗎？這是一個(gè)正在發(fā)展的領(lǐng)域。而且是一個(gè)相當(dāng)新的領(lǐng)域?！?/p>
然而，人們普遍認(rèn)為，激光雷達(dá)、雷達(dá)和攝像頭傳感器的持續(xù)集成將使車輛更安全。AMD 汽車部門高級(jí)營(yíng)銷總監(jiān)Wayne Lyons表示：“先進(jìn)的傳感器將通過(guò)提供更準(zhǔn)確的數(shù)據(jù)和改進(jìn)從車道保持輔助到自動(dòng)泊車和制動(dòng)等安全操作，對(duì)ADAS解決方案產(chǎn)生重大影響。隨著車輛中攝像頭、雷達(dá)和激光雷達(dá)等傳感器的數(shù)量和類型每年不斷增加，像 Waymo 這樣的先鋒公司已經(jīng)在利用這三種技術(shù)的車輛中積累了數(shù)百萬(wàn)英里的自動(dòng)駕駛里程。此外，中國(guó)新興的電動(dòng)汽車公司正在利用激光雷達(dá)等先進(jìn)傳感器在競(jìng)爭(zhēng)激烈的電動(dòng)汽車市場(chǎng)中突出其安全優(yōu)勢(shì)。為了實(shí)現(xiàn)實(shí)時(shí)性能，以便在實(shí)際駕駛場(chǎng)景中使用各種傳感器數(shù)據(jù)，開發(fā)人員將需要一個(gè)靈活的架構(gòu)，能夠在單個(gè)芯片上提供必要的性能和功能安全?！?/p>
4D 雷達(dá)
新思科技的DiGiuseppe表示，向 4D 雷達(dá)的轉(zhuǎn)變將進(jìn)一步增加需要融合的傳感器數(shù)據(jù)量?！跋?4D 雷達(dá)的過(guò)渡正在增加 DSP 的數(shù)量，并且它也在進(jìn)行信道化。不再只是單一反射數(shù)據(jù)，你可以獲得信道化數(shù)據(jù)，所以你可以使用虛擬通道獲得多個(gè)雷達(dá)反射。這提供了更廣泛的數(shù)據(jù)集，所以不再只是單個(gè)雷達(dá)回波。由于它是信道化的，它更接近激光雷達(dá)的方法。在激光雷達(dá)技術(shù)中，你得到一個(gè)點(diǎn)云，通常會(huì)給你更多的數(shù)據(jù)。這是它相對(duì)于雷達(dá)的優(yōu)勢(shì)之一。激光雷達(dá)提供更高的分辨率。此外，還有 128 通道和 256 通道的激光雷達(dá)。雷達(dá)也開始增加信道化，所以雷達(dá)數(shù)據(jù)的分辨率越來(lái)越高，這使得你可以像使用相機(jī)圖像一樣，使用雷達(dá)數(shù)據(jù)集識(shí)別物體。”
“可以使用人工智能處理器來(lái)識(shí)別圖像。”DiGiuseppe說(shuō)：“這是一只狗，這是一棵樹，這是一個(gè)人。雷達(dá)現(xiàn)在也開始具備這種能力，盡管分辨率肯定不如相機(jī)系統(tǒng)高，因?yàn)檫@是一個(gè)不同的問(wèn)題需要解決。雖然相機(jī)確實(shí)有一些局限性，比如在夜間、黑暗中、雨霧或大雪中，并且在物體檢測(cè)識(shí)別方面仍然存在差距。但是在相機(jī)不理想的條件下，雷達(dá)現(xiàn)在提供的這些數(shù)據(jù)集是相機(jī)的很好補(bǔ)充，所以從這些 4D 雷達(dá)中提取的信息對(duì) ADAS 系統(tǒng)更有用?，F(xiàn)在可以使用雷達(dá)進(jìn)行物體檢測(cè)，這是新的進(jìn)展。”
結(jié)論
盡管傳感器融合技術(shù)已經(jīng)取得了顯著進(jìn)展，但其在汽車系統(tǒng)中的實(shí)施仍在不斷發(fā)展。趨勢(shì)是朝著更智能、分布式處理以及物體數(shù)據(jù)的標(biāo)準(zhǔn)化通信發(fā)展。這些概念看似清晰，但其實(shí)現(xiàn)仍在不斷演變。盡管如此，隨著當(dāng)今正在開發(fā)的車輛越來(lái)越接近上路，OEM 應(yīng)該會(huì)透露更多關(guān)于這項(xiàng)技術(shù)發(fā)展方向的細(xì)節(jié)。
感知芯視界媒體推廣/文章發(fā)布 隗女士 15061886132(微信同號(hào))
*免責(zé)聲明：本文版權(quán)歸原作者所有，本文所用圖片、文字如涉及作品版權(quán)，請(qǐng)第一時(shí)間聯(lián)系我們刪除。本平臺(tái)旨在提供行業(yè)資訊，僅代表作者觀點(diǎn)，不代表感知芯視界立場(chǎng)。
免費(fèi)下載
光子產(chǎn)業(yè)報(bào)告【500頁(yè)】
熱門跟貼