鄔賀銓院士:大模型上車可以實現(xiàn)高度自動駕駛
3月15日,中國電動汽車百人會論壇(2024)在北京開幕,中國工程院院士鄔賀銓在大會上做了《5G+AI加持,網(wǎng)聯(lián)智駕加速》的演講。鄔賀銓院士表示,大模型加載到汽車上,可以實現(xiàn)從自主式駕駛輔助到網(wǎng)聯(lián)式駕駛輔助,到人機共駕,以及高度的自動駕駛。
一直以來,5G和AI都被人類視為加速智能汽車的關(guān)鍵技術(shù)。去年年底,中國5G基站已經(jīng)有300多萬臺了,占移動通信基站大概是1/3,占全球5G的60%。5G用戶占移動用戶已經(jīng)過半,中國5G用戶占全球5G用戶也是一半。今年是5.5G的商用年,5.5G是在原有的大連接、高可靠、低時延、增強移動寬帶的基礎(chǔ)上會增加很多新的能力。5.5G和5G相比,無論下行峰值、上行峰值、連接密度、定位精度、比特能效都有提升。
鄔賀銓院士說,原來是下行帶寬比較寬、上行帶寬沒那么寬,現(xiàn)在通過多個載波聚合,以及靈活的分配上下行等等技術(shù),使得上行速率可以到7BT,這樣的帶寬有利于路側(cè)攝像頭,可以把高清視頻往上傳?,F(xiàn)在通過5G提供沉浸式交互實景導(dǎo)航和車載娛樂體驗,把時延大大控制下來,有利于智能駕駛的應(yīng)用。當然還有輕量化,通過中速低時延,顯著降低了傳感器的成本。
除了5G,另外一個值得注意的技術(shù)趨勢是人工智能。人工智能已經(jīng)有60多年歷史,但是最初被大家所感覺的是1997年IBM深藍戰(zhàn)勝了頂級國際象棋大師,其后影響似乎就沒那么大了。鄔賀銓院士說,重新喚起人們對AI的關(guān)注是2016年AlphaGO戰(zhàn)勝了圍棋高手,更為重要的影響是2022年底的ChatGPT和2024年初的SORA為例,還會走到第三代通用人工智能,單模型可以支持多任務(wù)、輸入可以多模態(tài),可以精準的進行計算。
鄔賀銓院士認為,5G、AI的發(fā)展會給汽車智能化帶來很大的改變。比如現(xiàn)在就利用人工智能解決道路數(shù)據(jù)采集的難題。“
有人說自動駕駛的商業(yè)化落地要有百億公里的路測數(shù)據(jù),就是相當于100輛汽車每天不停地跑要測試100年,這根本是做不到的。去年上半年中國累計開放的測試道路是2萬多公里,總測試的里程超過了7000萬公里,7000萬強不到1個億,剛才說了前邊有百億,就是說1%都不到,而專門的采集車成本甚至很高,有人說可以高達每天1萬元,而且即便這樣跑下來也不一定能捕捉到特殊的長尾場景。”鄔賀銓院士透露,現(xiàn)階段中國進行的智能網(wǎng)聯(lián)汽車的測試中90%都是仿真的,9%是封閉道路的,只有1%是真實道路的,跟真正的道路測試差很遠,而且同樣的,仿真也很難覆蓋到真實的“長尾場景”。解決的辦法是利用人工智能,在已有的測試,白天測試的場景可以通過遷移學習變成晚上的場景,甚至可以仿真日常司機的不規(guī)范行為,包括一些危險的場景,通過這樣可以獲得解決真正的路測不可能覆蓋“長尾場景”的問題,當然這種遷移學習可以通過改變光源、材質(zhì)等各種各樣的數(shù)據(jù),在數(shù)據(jù)中心內(nèi)部就可以做到了。
據(jù)悉,特斯拉也只做了20億公里,離100億公里的測試只有1/5,現(xiàn)在特斯拉認為不再做真實路段的測試了,通過人工智能的辦法來完善路測的數(shù)據(jù),基于這種大模型的路測每天就可以做上百萬公里。
鄔賀銓院士舉例說,可以通過SORA讓汽車找出各種各樣的場景,比如舊轎車、造出一個水下開車的場景、改變了路邊的狀況,比較簡單,在SORA的基礎(chǔ)上通過進一步的遷移學習就可以派生出更多的視頻,可以豐富對自動駕駛汽車的訓練。
“把大模型直接嵌入到智能網(wǎng)聯(lián)汽車。生成式大模型本質(zhì)上就是一個數(shù)據(jù)壓縮器,比如說語言大模型ChatGPT訓練的數(shù)據(jù)集900TB,可是訓練完成以后的模型參數(shù)只有64TB,兩者一比壓縮了14倍,而SORA大模型壓縮了40倍。”
鄔賀銓院士稱,邊緣計算和汽車本身算力也是不足的,但是可以通過進一步的壓縮技術(shù),像模型量化、剪枝、知識蒸餾、低秩適配、結(jié)構(gòu)搜索等進一步精簡模型。“只需要汽車做推理,并不需要汽車做訓練,就可以把模型進一步壓縮。芯片也可以增強。”現(xiàn)在手機的能力,手機上如果有10億級參數(shù),現(xiàn)在的手機基本上都能做到,有一定的智能,但是不夠的是還需要跟云端協(xié)作?,F(xiàn)在已經(jīng)有千億參數(shù)的手機了,就可以做簡單的智能分析。今年市場上已經(jīng)有130億參數(shù)的手機出售了,單獨手機不需要聯(lián)網(wǎng)就有智能涌現(xiàn)能力,有些公司已經(jīng)宣稱,今年年底以前要推出千億參數(shù)推理能力的手機,遷移參數(shù)手機相當于GPT—3的能力了。如果放在汽車上,汽車芯片的能力遠遠可以高于手機,所以將來單車智能可以進一步提升,可以把汽車變成AI Agent,通過這樣實現(xiàn)汽車的車路城網(wǎng)協(xié)同,不需要連到網(wǎng)上,直接在汽車上智能化處理成本低、時延低,可以讓用戶的隱私數(shù)據(jù)不必上到云上,有高度隱私和個性化的支撐。
鄔賀銓院士認為,通過人工智能以及5G等能力,可以進一步豐富智能座艙,實現(xiàn)人車交互的智能化,提升駕駛的安全性、舒適性、便捷性。比如中控屏、車內(nèi)的娛樂系統(tǒng),車里是有很大噪聲的,現(xiàn)在可以顯著降噪,當然可以通過語音識別釋放功能,解放雙手、雙眼,用手勢實現(xiàn)控制自動駕駛等??梢宰屓斯ぶ悄茏R別交警和行人的手勢。還有抬頭顯示、流媒體后視鏡、駕駛員疲勞駕駛檢測等能力,可以進一步豐富。
除了智能座艙當然更希望還有智能駕駛。通過大模型加載到汽車上,可以從自主式駕駛輔助到網(wǎng)聯(lián)式駕駛輔助,到人機共駕,以及高度的自動駕駛。比如環(huán)境感知,可以把各類傳感器能力很好地融合起來,感知周邊的信息,并且與路側(cè)聯(lián)動,可以實現(xiàn)對障礙物的檢測等。
“有了單車智能還是不夠的,還需要路側(cè)聯(lián)動,路側(cè)感知設(shè)備掛在高桿上,視野更好、覆蓋寬、全天候、無盲區(qū),可以替代部分車端算力,也可以降低車載算力的要求,連到云上可以得到更好的交通流全局的指導(dǎo),改善車輛間的協(xié)同性。”鄔賀銓院士說,到去年7月份,中國已經(jīng)安裝了8500多臺路側(cè)RSU,在5000公里道路上實現(xiàn)了智能化手機。“當然智能駕駛不限于環(huán)境感知路側(cè)聯(lián)動,還通過分析、決策,可以讓車得到很好的城市管理系統(tǒng)的支撐、幫助、指導(dǎo)。而且通過智慧底盤和汽車軟件,我們也可以很好地感知道路的狀況,反饋給城市道路管理部門,從而可以更好地掌控整個城市的交通流量和管理,有利于城市的運行安全。”
最后,鄔賀銓院士表示,當前生成式的語言大模型和視頻大模型技術(shù)突破為人工智能成為物理世界的引擎拉開了序幕,將進一步增強單車智能和云路智能。5G的廣滲透和5.5G開始商用,推動了C-V2X完善并走向成熟。單車智能和車路網(wǎng)云城智能協(xié)同的5G—V2X車聯(lián)網(wǎng)技術(shù)路線在國際上已經(jīng)取得共識,技術(shù)與產(chǎn)業(yè)正加快發(fā)展。智能網(wǎng)聯(lián)車和新能源車相輔相成,數(shù)字化、網(wǎng)聯(lián)化、智能化、綠色化緊密結(jié)合。車聯(lián)網(wǎng)成為承載新質(zhì)生產(chǎn)力的新興產(chǎn)業(yè),在國家高質(zhì)量發(fā)展中彰顯了新動能的重任。國家相關(guān)部委也出臺政策鼓勵發(fā)展車聯(lián)網(wǎng)。當前需要建立全國統(tǒng)一的車聯(lián)網(wǎng)投資與運營主體,探討商業(yè)模式,促進法規(guī)建設(shè),凝聚產(chǎn)業(yè)鏈相關(guān)方力量,完善車聯(lián)網(wǎng)發(fā)展生態(tài)。
>>點擊查看今日優(yōu)惠<<