北京2024年10月21日 /美通社/ -- 隨著自動駕駛算法技術(shù)的快速發(fā)展，基于BEV+Transformer的感知范式為高階自動駕駛提供了更高精度感知、更強(qiáng)場景泛化能力和更優(yōu)多模態(tài)融合的方案，是目前各大主流汽車廠商高階自動駕駛方案的標(biāo)配。當(dāng)下主流自動駕駛方案的大模型算法參數(shù)規(guī)模在幾千萬至接近億級，比以往最高提升了一個數(shù)量級，但苛刻的時延要求并沒有降低，這對算力、數(shù)據(jù)IO和互聯(lián)都帶來了極大的挑戰(zhàn)：大模型復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)和算子推理，依賴于更高性能的車載算力；眾多傳感器的高頻采集，帶來了大規(guī)模數(shù)據(jù)流的實時IO吞吐需求；算力單元間的協(xié)同，也需要更強(qiáng)大的網(wǎng)絡(luò)通信支撐。
近日，浪潮信息發(fā)布支持BEV+Transformer的全新自動駕駛計算框架AutoDRRT 2.0(Autonomous Driving Distributed Robust Real-Time)，并第一時間開源，用戶可以基于該框架快速搭建部署端到端的低延時自動駕駛方案，加速大模型上車。
基于在車載計算、自動駕駛算法、軟硬協(xié)同等領(lǐng)域的研發(fā)積累，浪潮信息從硬件系統(tǒng)、軟件環(huán)境、應(yīng)用框架及算法內(nèi)核多個層面對AutoDRRT2.0進(jìn)行優(yōu)化，實現(xiàn)計算、通信、IO全面升級，優(yōu)化后，框架整體端到端鏈路延時低于100 毫秒，保障車載大模型的高效穩(wěn)定運行。
BEV+Transformer成為自動駕駛標(biāo)配，車端部署面臨挑戰(zhàn)
利用相機(jī)進(jìn)行純視覺感知是自動駕駛的主要技術(shù)路線之一。但在相機(jī)2D視角下，物體由于遮擋會產(chǎn)生不可避免的視覺盲區(qū)問題。BEV (Bird's eye view，鳥瞰圖) 從俯視視角重建3D感知空間，不僅能夠提供360°全域感知信息，還便于多源、多模態(tài)的數(shù)據(jù)融合，有利于自動駕駛高效感知、定位和路徑規(guī)劃。
純視覺方案在物理上會損失感知目標(biāo)的深度信息，BEV技術(shù)借助Transformer特征推理，可將2D透視空間映射到3D物理空間。Transformer大模型通過交叉注意力機(jī)制重建深度特征，具有精度上限高、泛化能力強(qiáng)等優(yōu)點，并通過學(xué)習(xí)建立數(shù)據(jù)幀間的關(guān)聯(lián)，在4D (3D+時序) 空間生成無盲區(qū)的全方位感知結(jié)果，確保駕駛安全。這種BEV+Transformer的感知范式正在成為自動駕駛標(biāo)配，但在車端部署應(yīng)用中仍面臨計算、通信、IO等方面的多重挑戰(zhàn)。
模型參數(shù)量大幅提升，算力需求驟增：從2D+CNN小模型到BEV+Transformer大模型，參數(shù)量的大幅提升給計算帶來越來越大的挑戰(zhàn)，車端模型部署不僅要考慮單SOC的計算性能優(yōu)化，如低比特量化、算子融合等，而且要考慮多SOC的模型并行問題，實現(xiàn)多SOC的協(xié)同，包括算法拆分、模型的并行機(jī)制、SOC間的負(fù)載均衡與pipeline優(yōu)化等。
通信帶寬不足，時延需求嚴(yán)苛：車載計算經(jīng)歷從2D+CNN小模型到BEV+Transformer大模型的技術(shù)升級，并最終朝著端到端大模型的方向發(fā)展，這使得數(shù)據(jù)交互也逐步從目標(biāo)級過渡到特征級，最終向數(shù)據(jù)級維度演變。數(shù)據(jù)通信量增加使得多SOC協(xié)作中的通信負(fù)荷急劇變大，設(shè)備間的通信開銷逐漸成為框架的延時瓶頸。作為主流的通信中間件，DDS (Data Distribution Service, 數(shù)據(jù)分發(fā)服務(wù)) 僅支持以太網(wǎng)進(jìn)行設(shè)備間的數(shù)據(jù)傳輸和調(diào)度。該模式受限于有效帶寬和傳輸協(xié)議的限制，在大批量數(shù)據(jù)吞吐的情況下容易發(fā)生阻塞，導(dǎo)致通信效率下降。以典型多模態(tài)感知模型BEVFusion為例，其在單SOC上單幀推理的時間約50 ms，若雙SOC推理時間降至約30 ms，然而設(shè)備間通過千兆以太網(wǎng)和DDS進(jìn)行特征融合的通信耗時也在數(shù)十毫秒，通信延遲抵消了算力提升帶來的性能優(yōu)勢。因此，車端部署大模型亟需更高速的數(shù)據(jù)通信帶寬。
數(shù)據(jù)吞吐提升，IO制約計算：自動駕駛框架層面的感知任務(wù)包含原始數(shù)據(jù)的接入 (傳輸+調(diào)度) 和模型推理等多個部分。數(shù)據(jù)的調(diào)度包含大量邏輯操作，需要CPU運行，而模型推理則主要為AI運算，由GPU執(zhí)行，DDS則提供通信服務(wù)支持。但由于DDS不支持GPU層面上的通信和調(diào)度，導(dǎo)致跨模型/節(jié)點的任務(wù)數(shù)據(jù)在CPU-GPU間的冗余搬運，出現(xiàn)IO消耗。隨著自動駕駛技術(shù)的發(fā)展，車輛各類傳感器數(shù)據(jù)呈爆發(fā)性增長趨勢，大量數(shù)據(jù)的傳輸讓IO問題日益凸顯。在浪潮信息自動駕駛研發(fā)團(tuán)隊的實測中，數(shù)據(jù)IO耗時占完整鏈路的15%~30%，IO限制計算效率的發(fā)揮。
全新推出AutoDRRT 2.0，計算、通信、IO全面升級
浪潮信息團(tuán)隊通過計算、通信、IO全面升級，研發(fā)AutoDRRT 2.0，解決技術(shù)進(jìn)化帶來的各項挑戰(zhàn)。
為了實現(xiàn)"大模型上車"的目標(biāo)，AutoDRRT 2.0從計算組件的分布式、高容錯及低延時三個核心特點出發(fā)進(jìn)行技術(shù)革新，實現(xiàn)框架支持BEV+Transformer低延時推理。
分布式：從任務(wù)級并行到數(shù)據(jù)級并行。浪潮信息車載域控制器EIS400通過多SOC的PCIe互連實現(xiàn)算力擴(kuò)展。AutoDRRT 2.0框架采用分布式架構(gòu)設(shè)計，選擇將200+個功能節(jié)點部署在不同SOC上并行執(zhí)行，通過自動分布式并行工具進(jìn)行任務(wù)間的調(diào)度和設(shè)備的負(fù)載均衡，節(jié)點間通過DDS中間件進(jìn)行通信和協(xié)作，從而實現(xiàn)任務(wù)級并行計算加速。同時，AutoDRRT 2.0利用BEV算法使用多環(huán)視相機(jī)補(bǔ)盲進(jìn)行全域感知的特點，選擇將異源數(shù)據(jù)的編解碼流分配到SOC上不同的計算單元，實現(xiàn)算法單batch推理的數(shù)據(jù)并行，進(jìn)一步提高硬件使用效率，降低計算延時。
高容錯：從算法間容錯到算法內(nèi)容錯。在復(fù)雜工況下保障計算平臺的穩(wěn)定運行也是框架設(shè)計的核心要點之一。AutoDRRT 2.0通過備份重要功能節(jié)點和關(guān)鍵消息，在主算法失效后實時 (< 1ms) 切換從算法，實現(xiàn)算法間無感容錯，達(dá)到失效可操作。同時，浪潮信息自動駕駛研發(fā)團(tuán)隊進(jìn)一步從算法內(nèi)核層面升級，開放了面向多模態(tài)任務(wù)的高魯棒性低延時自動駕駛感知算法BEVFusion_Robust，在原始代碼基礎(chǔ)上通過高性能Lift-Splat-Shoot算法解綁相機(jī)流和雷達(dá)流，并基于流并行的方式，在BEV統(tǒng)一表征下適配多檢測頭實現(xiàn)了自動駕駛多源傳感器融合感知方案中的魯棒性需求，使得框架在純視覺、純雷達(dá)及多模態(tài)下均可以穩(wěn)定運行，延時較基礎(chǔ)版本下降22%。模型現(xiàn)已集成在AutoDRRT 2.0高性能算法庫。
低延時：算法內(nèi)核全面優(yōu)化，降低運行時延。為降低大模型運行時延，AutoDRRT 2.0在算法內(nèi)核層面進(jìn)行改造，包括對典型BEV模型進(jìn)行Post-Training Quantization量化，提高推理效率，并引入結(jié)構(gòu)化稀疏N:M稀疏方案，提高了內(nèi)存訪問效率，不影響模型精度的基礎(chǔ)上壓縮模型規(guī)模，節(jié)約計算和存儲成本。AutoDRRT 2.0還開發(fā)了高性能算子庫，典型算子延時下降70%。通過算子融合的方式，大模型可以減少GPU在核函數(shù)之間的切換，進(jìn)一步優(yōu)化了性能。以BEVDet為例，AutoDRRT 2.0的BEV算法庫在典型推理能力上實現(xiàn)了相較于業(yè)界開源版本速度提升1倍，在單SOC上推理超過50 FPS。實車測試顯示，浪潮信息車載域控制器EIS400與AutoDRRT 2.0的自動駕駛算法方案，數(shù)據(jù)閉環(huán)端到端延遲低于100毫秒，確保了大模型在車端的穩(wěn)定高效運行。
為提升通信帶寬，AutoDRRT 2.0在中間件層面進(jìn)行創(chuàng)新，給出DDS的Opt優(yōu)化版本 (DDS_Opt)。框架通過PCIe內(nèi)存共享方式和設(shè)備間的直接訪問 (Direct Memory access，DMA) 技術(shù)，使得大數(shù)據(jù)在設(shè)備間可以高速通信，同時開放API接口，一方面保留了DDS訂閱/發(fā)布的功能特點，另一方面也使得用戶不需要關(guān)心底層設(shè)備間地址映射邏輯和實現(xiàn)方法，專注于DDS應(yīng)用層上的設(shè)計。
基于PCIe的通信模式創(chuàng)新大幅降低鏈路時延，減少CPU算力消耗，同時能兼顧DDS中的發(fā)布/訂閱等通信協(xié)議的優(yōu)勢，滿足跨SOC的大數(shù)據(jù)通信場景需求。實測DDS基于PCIe的通信模式在通信原理和實際效果中均優(yōu)于以太網(wǎng)，大文件傳輸時效果尤其明顯。我們基于PCIe模式實現(xiàn)ROS2+DDS的跨設(shè)備大數(shù)據(jù)通信應(yīng)用，在數(shù)據(jù)量達(dá)到100MB時完整鏈路通信效率較以太網(wǎng)模式提升14倍。
為了提高感知任務(wù)的執(zhí)行效率，減少CPU-GPU間冗余IO操作，優(yōu)化鏈路延時，AutoDRRT 2.0在不改變原始模塊鏈路的前提下，以傳輸數(shù)據(jù)"標(biāo)簽"的間接通信代替?zhèn)鬏敂?shù)據(jù)"本體"的直接通信，通過節(jié)點間GPU數(shù)據(jù)共享，在保留模型間松耦合結(jié)構(gòu)的同時完成了基于DDS的高效能協(xié)作，實現(xiàn)"輕量化"傳輸和調(diào)度功能，減少框架負(fù)荷。
對于相機(jī)傳輸鏈路，通過GPU數(shù)據(jù)共享完成數(shù)據(jù)獲取及模型推理兩個ROS2節(jié)點的數(shù)據(jù)通信，可以有效減少IO操作，降低系統(tǒng)時延。如下給出典型的單幀圖像數(shù)據(jù)讀入(8 MB數(shù)據(jù)量)下IO_Opt升級效果，對比優(yōu)化前模塊 (傳統(tǒng)IO算法) 延時下降85%，效率提升近6倍。
此外，AutoDRRT 2.0框架為BEV+Transformer大模型上車提供了完善的開發(fā)工具鏈，包括模型的數(shù)據(jù)標(biāo)定、訓(xùn)練推理和部署加速工具等，同時整合了完善的傳感器接入方案，集成主流型號的激光雷達(dá)、相機(jī)、毫米波雷達(dá)、組合慣導(dǎo)等設(shè)備驅(qū)動，支持用戶在系統(tǒng)層面對框架進(jìn)行監(jiān)控和管理。仿真方面，該框架還開放了RoboBus和GolfCar兩個L4級自動駕駛場景的系統(tǒng)測試。浪潮信息希望通過自動駕駛計算框架AutoDRRT 2.0和車載域控制器EIS400的一系列創(chuàng)新技術(shù)和產(chǎn)品，為汽車廠商、自動駕駛軟件開發(fā)商帶來更高性能、更高通信帶寬、更低IO延時的自動駕駛軟硬優(yōu)化車載計算方案，加速BEV+Transformer技術(shù)的大規(guī)模上車應(yīng)用。
