從2023年ChatGPT的橫空出世，再到今年Sora模型的誕生，端到端大模型在多個(gè)領(lǐng)域都展現(xiàn)出了其強(qiáng)大的潛力，在汽車行業(yè)中亦是如此。

何為“端到端”

在深度學(xué)習(xí)領(lǐng)域，"端到端"通常指的是只需輸入原始數(shù)據(jù)就能直接輸出最終結(jié)果的AI模型。通過大量高質(zhì)量數(shù)據(jù)進(jìn)行訓(xùn)練，端到端大模型能夠逐漸提升其智能水平。在汽車行業(yè)中，該技術(shù)可應(yīng)用到自動駕駛領(lǐng)域，從而取代傳統(tǒng)自動駕駛技術(shù)。

傳統(tǒng)的模塊化自動駕駛系統(tǒng)通常將感知、決策和控制分為獨(dú)立的模塊，每個(gè)模塊專注于解決特定的問題，這樣的分工簡化了系統(tǒng)開發(fā)的難度，利于問題回溯與研發(fā)迭代，為目前的主流方案。

然而，這種方法的缺陷在于，人工編程的代碼只能處理有限的行車場景。無論給系統(tǒng)添加多少行代碼，也無法覆蓋到所有的特殊情況，因此難以實(shí)現(xiàn)完全自動駕駛。

相比之下，端到端大模型是一個(gè)整體，更接近人類駕駛的模式。不再試圖通過人工編程來處理每一種行車場景，而是使用大量數(shù)據(jù)進(jìn)行訓(xùn)練，讓AI自己發(fā)現(xiàn)數(shù)據(jù)之中隱藏的行駛規(guī)則，這樣就能夠覆蓋更廣泛的行車場景，有望實(shí)現(xiàn)完全自動駕駛。

然而，當(dāng)下的端到端大模型存在著令人難以理解的缺陷。即使經(jīng)過大量訓(xùn)練，大模型在某些場景中仍可能變?yōu)椤叭斯ぶ钦稀?，所采取的決策遠(yuǎn)不如人類。同時(shí)，端到端大模型的決策過程具有“黑箱”特性，內(nèi)部邏輯不公開，決策中所出現(xiàn)的問題難以被定位，給研發(fā)迭代和問題解決造成負(fù)面影響。

此外，數(shù)據(jù)量、算力以及對大模型的精簡優(yōu)化都是推進(jìn)端對端大模型發(fā)展的重要因素。

首先，自動駕駛系統(tǒng)需要大量的高質(zhì)量訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)包括各種駕駛場景、天氣條件和交通情況的圖像、視頻和傳感器數(shù)據(jù)。收集、標(biāo)注和維護(hù)這些數(shù)據(jù)的質(zhì)量和多樣性是一項(xiàng)挑戰(zhàn)，尤其是要確保數(shù)據(jù)能夠覆蓋所有可能的駕駛場景。馬斯克曾表示：“特斯拉花了大約一個(gè)季度的時(shí)間完成了1000萬個(gè)視頻片段的訓(xùn)練。訓(xùn)練了100萬個(gè)視頻case，勉強(qiáng)可以工作；200萬個(gè)，稍好一些；300萬個(gè)，就會感到Wow；到了1000萬個(gè)，它的表現(xiàn)就變得難以置信了?！?/p>

其次，將海量數(shù)據(jù)喂給端到端大模型時(shí)，算力是不可或缺的資源。智算中心需要進(jìn)行擴(kuò)建，才能滿足日益增長的算力需求。

最后，當(dāng)云端的大模型訓(xùn)練完成后，需要對其進(jìn)行精簡。云端服務(wù)器擁有大量高性能硬件資源，支持大規(guī)模并行處理數(shù)據(jù)并進(jìn)行數(shù)據(jù)存儲。但車載計(jì)算資源有限，為了與之適配，需要對模型進(jìn)行優(yōu)化，并降低能耗。

特斯拉的端到端大模型與算力部署

特斯拉在端到端大模型領(lǐng)域中處于領(lǐng)先地位。2023年8月，馬斯克在直播中展示FSD V12 Beta版本，多次強(qiáng)調(diào)該版本使用海量視頻數(shù)據(jù)進(jìn)行訓(xùn)練，駕駛決策由AI算法生成。并且，他還在X上發(fā)布推文，表示V12 Beta版本大幅縮減了人工編程的C++控制代碼，從 30 萬行下降了2個(gè)數(shù)量級（變?yōu)?000行）。

今年3月，北美地區(qū)的特斯拉非員工用戶陸續(xù)收到FSD V12.3版本的推送。該版本在面對障礙物和變道博弈等復(fù)雜場景表現(xiàn)更出色，但在處理一些簡單場景時(shí)，例如在空曠的路面上行駛，會出現(xiàn)離譜的加速或減速問題。

在算力方面的規(guī)劃上，特斯拉在去年部署了超過10EFLOPS的算力，并預(yù)期將于今年末達(dá)到100EFLOPS。

造車新勢力的端到端大模型與算力部署

國內(nèi)造車新勢力紛紛跟進(jìn)FSD V12，但目前還沒有實(shí)現(xiàn)量產(chǎn)上車。在今年1月的全國智駕啟動發(fā)布會上，何小鵬表示，小鵬汽車將實(shí)現(xiàn)端到端大模型全面上車。據(jù)悉，理想的新模型也將在今年上線，而蔚來將于年內(nèi)上線基于端到端的主動安全功能。

同時(shí)，三者在智算中心方面均有所布局。

小鵬與阿里云共建了扶搖智算中心，訓(xùn)練算力為600PFLOPS（0.6EFLOPS）。

理想汽車和火山引擎共建的智算中心，訓(xùn)練算力為1200PFLOPS（1.2EFLOPS）。

蔚來集成阿里云、英偉達(dá)等合作伙伴的技術(shù)資源，建設(shè)了蔚來云智算中心，算力為1400PFLOPS（1.4EFLOPS）。

結(jié)語

汽車端到端大模型展現(xiàn)出了不俗的潛力，但目前還不成熟，需要安全策略進(jìn)行兜底。不過不用擔(dān)心，它的成長之旅才剛剛開始。隨著對算法和硬件的不斷優(yōu)化，以及使用更多數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，端到端大模型將逐漸完善并在自動駕駛中得到廣泛應(yīng)用。