今年，除了固態(tài)電池，自動駕駛領域的“端到端”，也在被狂炒。

特斯拉的示范效應真的很厲害，隨著Tesla V12在北美大范圍推送以及表現(xiàn)，“端到端”也成為了自動駕駛行業(yè)里大家最為關注的技術方向。

當然，國內最大的毛病眾所周知，就是營銷前置。就像固態(tài)電池，還沒整出什么大規(guī)模量產，先在傳播上來吹一波。而且，到了似乎不提端到端都不好意思出門的程度。

那么，什么才是端到端？這些真真假假的端到端，到底有多少干貨呢？

端到端的“黑盒子”

先來理解一下，所謂“端到端”自動駕駛，打個不恰當?shù)谋确剑拖褡霾耍阍凇昂诤凶印钡倪@邊輸入食材，然后另一邊一步到位輸出做好的菜。

因為，現(xiàn)在主流的自動駕駛方案，都是模塊化的。就是我們熟知的“感知、決策和執(zhí)行”三大模塊。而“端到端”就是把三個直接變成一個，從傳感器數(shù)據(jù)輸入開始，中間只要一步，到控制信號輸出（馬斯克所說的Photon to Control），實現(xiàn)完整閉環(huán)。

這個操作也樹立了目前自動駕駛領域的最高水平和標桿，所謂“無招勝有招”、“一招制敵”。但是，這也反映了一個尷尬的行業(yè)事實，就是特斯拉在自動駕駛領域還是一騎絕塵的。

而這個來源于特斯拉CEO埃隆·馬斯克（Elon Musk）口中的端到端，也就是End-to-End Deep Learning（端到端深度學習），簡言之，就是要建立一個完整的學習系統(tǒng)，直接從原始數(shù)據(jù)中不斷學習，并生成所需的輸出，不需要人為將任務分解成多個中間步驟。

而當下普遍應用的三大模塊的優(yōu)點是技術較為成熟，開發(fā)起來的確定性更強。但是，這種技術架構下，自動駕駛車輛在極端案例（Corner Case）方面，仍然依賴工程師編寫大量代碼去制定行駛規(guī)則。

單靠數(shù)據(jù)訓練出來的各個模塊，很難處理沒碰到過的情況，也就是需要不斷用“規(guī)則”去填俗稱為“坑”的各種Corner Case。同時，為了迅速擴大量產車上自動駕駛系統(tǒng)覆蓋范圍，車企不得不招募更多的軟件工程師，比如，華為自動駕駛的規(guī)控團隊就招募了上千名工程師。

而自動駕駛方案中的模塊化，也是不斷進化而來。從2017年前的9個模快（僅感知環(huán)節(jié)就有檢測、目標跟蹤和融合數(shù)據(jù)3個模塊），到多傳感器融合后，現(xiàn)在的感知、決策（或者叫預測）和執(zhí)行（或者叫規(guī)劃控制）三大模塊。

從“融合”的角度來說，當三大模塊融合為一個“黑盒子”來輸出執(zhí)行結果的時候，實際上要求是更高的，不然特斯拉為什么這么多年才能推出端到端？對吧。背后是基于強大的DOJO超算中心，以及更多的GPU。

而且，這種徹底的端到端“黑盒子”，技術上很難進行Debug（調試）和迭代優(yōu)化，同時由于傳感器輸入信號如圖像、點云等是高緯度的，控制信號輸出如方向盤轉角和油門剎車踏板信號等是相對低維的，在端到端訓練中非常容易“過擬合”，導致實車測試完全無法使用。

“沒有金剛鉆，不攬瓷器活。”國內最近一些企業(yè)則聲稱自己是端到端感知，或者端到端決策，只是各種細枝末節(jié)的“端到端”，這只能算作是純數(shù)據(jù)驅動的感知和純數(shù)據(jù)驅動的決策規(guī)劃階段。

換句話說，做得好點的還只是前兩個模塊的融合，根本做不到輸出控制（執(zhí)行）的結果。現(xiàn)在大肆宣傳，不過是蹭熱點、炒個概念。

端到端為什么會熱起來？還有個因素，是去年商湯絕影的UniAD（Unified Autonomous Driving）獲得了CVPR 2023 Best Paper最佳論文獎。雖說不算是眾望所歸，但也給自動駕駛行業(yè)注入了一劑強心劑。

但國內對UniAD褒貶不一，這種褒貶不一不僅僅體現(xiàn)在感知、預測、規(guī)控各個團隊的獨立視角上，還體現(xiàn)在自動駕駛領域學術界和企業(yè)界的鴻溝（Gap）。畢竟，企業(yè)面對的Corner Case也遠多于學術界。

再說，故事講得再流暢，畢竟需要量產落地。因為，預研的技術是要落到實車上才能最終體現(xiàn)價值。

但UniAD的論文里面沒有提供實車數(shù)據(jù)（不包含Nuscenes）的數(shù)據(jù)和Demo，只有開環(huán)評測，沒有閉環(huán)評測。

雖然北京車展上商湯絕影面向量產的UniAD完成上車演示首秀，但實際效果肯定是需要驗證的。

端到端的難點

端到端自動駕駛的前景，肯定是光明的。但是，道路肯定是曲折的。

比如，端到端方案中的一體化訓練就需要海量數(shù)據(jù)，因此，難點之一就在于數(shù)據(jù)的收集和處理。獲得海量的行車數(shù)據(jù)，也是訓練端到端自動駕駛模型的入場券。

馬斯克去年在財報會上談到過數(shù)據(jù)對自動駕駛模型的重要性，“訓練了100萬個視頻Case，勉強夠用；200萬個，稍好一些；300萬個，就會感到Wow；到1000萬個，就變得難以置信了。”

而數(shù)據(jù)的收集需要大量的時間和渠道，數(shù)據(jù)類型除了駕駛數(shù)據(jù)外還包括各種不同的道路、天氣和交通情況等場景數(shù)據(jù)，特別是，實際駕駛中周圍方位的信息收集難以保證。

其次，數(shù)據(jù)處理時還需要設計數(shù)據(jù)提取維度、從海量的視頻片段中提取有效特征、統(tǒng)計數(shù)據(jù)分布等，以支持大規(guī)模的數(shù)據(jù)訓練。這點需要巨額的投入和成本。

因為，并不是所有的行車數(shù)據(jù)都可以用來訓練端到端模型。有自動駕駛工程師就發(fā)現(xiàn)，原本積累的路測數(shù)據(jù)只有2%可用。想讓端到端模型具備通用能力，必須用不同場景中的高質量數(shù)據(jù)訓練模型。

還有，《馬斯克傳》中馬斯克也親口解釋過，特斯拉全球200萬臺車每天約可收集1600億幀的駕駛視頻用于模型訓練。但是，管理如此龐大的數(shù)據(jù)并非易事，因為絕大多數(shù)視頻都是無用的。

真正寶貴的是那些車流量異常大、或是有眾多行人做出各式各樣的行為、路況極其復雜的畫面，但是這個占比甚至連1% 都不到。而為了提取這1%畫面，需要龐大人力、算力、儲存甚至是電力等巨額成本。

就拿最重要的算力來說，門檻也極高。馬斯克曾在今年三月初在X.com上表示目前FSD的最大限制因素是算力，而在得到緩解后，4月初馬斯克又表示，今年Tesla在算力方面的總投入將超過100億美元。

此外，2024年Q1財報會議上，Tesla透露如今已經擁有35000塊H100的計算資源，而2024年底這一數(shù)字將達到85000塊。這意味著，要達到跟目前FSD V12同樣的水平，大概率35000塊H100和數(shù)十億美金的基礎設施資本開銷是必要前提。再往下，門檻還在進一步拔高。

數(shù)據(jù)獲取成本高昂，再加上數(shù)據(jù)隱私和安全問題，數(shù)據(jù)標注和清洗困難，以及法律和監(jiān)管限制等等，都限制著數(shù)據(jù)的獲取。那么，國內的車企，又有哪個能承擔如此高昂的這些成本呢？

除了數(shù)據(jù)收集的挑戰(zhàn)外，“數(shù)據(jù)對齊”也是自動駕駛技術中面臨的一大難題。

自動駕駛領域，面臨著海量未標注的異構行為大數(shù)據(jù)。這些數(shù)據(jù)來自于不同的傳感器、設備和環(huán)境，具有不同的格式和特征。要能用于自動駕駛的訓練和應用，就需要進行準確的數(shù)據(jù)對齊。

而數(shù)據(jù)對齊的難點在于如何確保不同來源的數(shù)據(jù)在語義上保持一致。因此，往往涉及到復雜的語義理解和轉換過程。這不僅需要先進的算法和技術支持，還需要對這個領域有深入理解。

所以，撥開營銷的迷霧，我們就知道，端到端的真相是什么。

“簡約不簡單”，端到端不是說哪個單項做好就行，而是需要系統(tǒng)所有模塊都達到一個較高的性能水平，才能在端到端的決策規(guī)劃控制輸出中達成較好的效果，這種端到端系統(tǒng)數(shù)據(jù)門檻，是遠高于感知、決策、執(zhí)行單個模塊的數(shù)據(jù)需求的。

國內的企業(yè)，還是需要踏踏實實把腳下的路走好才是。

返回第一電動網(wǎng)首頁 >