近日，清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）研究團(tuán)隊(duì)在自動(dòng)駕駛與具身智能交叉領(lǐng)域取得重要研究進(jìn)展。團(tuán)隊(duì)提出了一種名為“具身認(rèn)知增強(qiáng)的端到端自動(dòng)駕駛”的新范式，首次將人類(lèi)駕駛員的腦電信號(hào)（EEG）認(rèn)知特征融入自動(dòng)駕駛模型訓(xùn)練，在不增加車(chē)載硬件成本的前提下，顯著提升了自動(dòng)駕駛系統(tǒng)在復(fù)雜環(huán)境下的規(guī)劃能力與安全性。相關(guān)成果已被國(guó)際人工智能頂級(jí)會(huì)議NeurIPS 2025接收。
當(dāng)前，以視覺(jué)為基礎(chǔ)的端到端自動(dòng)駕駛技術(shù)已成為行業(yè)發(fā)展的新趨勢(shì)。然而，主流模型大多依賴(lài)于對(duì)道路、車(chē)輛等視覺(jué)特征的標(biāo)簽監(jiān)督訓(xùn)練，難以像人類(lèi)大腦一樣進(jìn)行具身推理，導(dǎo)致模型在應(yīng)對(duì)突發(fā)狀況和復(fù)雜場(chǎng)景時(shí)的泛化能力受限。如何讓自動(dòng)駕駛系統(tǒng)具備人類(lèi)駕駛員的“直覺(jué)”與認(rèn)知能力，是當(dāng)前學(xué)術(shù)界和工業(yè)界關(guān)注的難點(diǎn)。
針對(duì)這一痛點(diǎn)，清華大學(xué)團(tuán)隊(duì)提出了一種創(chuàng)新的“駕駛－思考”（Driving-Thinking）訓(xùn)練框架。研究團(tuán)隊(duì)采集了包含視頻與駕駛員腦電信號(hào)的多模態(tài)數(shù)據(jù)集，并利用通用腦電大模型（LaBraM）提取人類(lèi)駕駛過(guò)程中的潛在認(rèn)知特征。通過(guò)對(duì)比學(xué)習(xí)技術(shù)，研究人員讓自動(dòng)駕駛的視覺(jué)網(wǎng)絡(luò)在訓(xùn)練階段“模仿”人類(lèi)大腦對(duì)交通環(huán)境的認(rèn)知反應(yīng)。
該研究的最大亮點(diǎn)在于其獨(dú)特的兩階段訓(xùn)練策略。在第一階段，模型利用腦電數(shù)據(jù)進(jìn)行跨模態(tài)學(xué)習(xí)，獲取駕駛認(rèn)知能力；在第二階段及實(shí)際應(yīng)用中，系統(tǒng)僅需輸入常規(guī)的車(chē)載攝像頭視頻數(shù)據(jù)，即可利用已習(xí)得的認(rèn)知能力輔助駕駛決策，無(wú)需在車(chē)端部署腦電采集設(shè)備。這種“以腦教眼”的方式，實(shí)現(xiàn)了人類(lèi)隱性認(rèn)知知識(shí)向機(jī)器視覺(jué)模型的有效遷移。
實(shí)驗(yàn)數(shù)據(jù)顯示，該技術(shù)在公開(kāi)的自動(dòng)駕駛數(shù)據(jù)集nuScenes以及閉環(huán)仿真測(cè)試平臺(tái)Bench2Drive上均表現(xiàn)優(yōu)異。在引入人類(lèi)認(rèn)知特征后，主流端到端自動(dòng)駕駛模型（如UniAD、VAD）的規(guī)劃軌跡誤差顯著降低，碰撞率相對(duì)下降了約18%至26%。特別是在前車(chē)突然切入等高風(fēng)險(xiǎn)場(chǎng)景下，增強(qiáng)后的模型展現(xiàn)出了類(lèi)似人類(lèi)駕駛員的防御性駕駛策略，有效避免了事故發(fā)生。
研究團(tuán)隊(duì)表示，這是業(yè)內(nèi)首次嘗試將人類(lèi)駕駛認(rèn)知直接用于增強(qiáng)端到端自動(dòng)駕駛規(guī)劃任務(wù)。該成果不僅為提升自動(dòng)駕駛安全性提供了新思路，也為未來(lái)腦啟發(fā)式人工智能系統(tǒng)（Brain-inspired AI）與具身智能的發(fā)展提供了重要的理論與實(shí)踐參考。
編輯：李華山
