今年 3 月，英偉達(dá) 2025 春季 GTC 大會(huì)，理想汽車自動(dòng)駕駛技術(shù)研發(fā)負(fù)責(zé)人賈鵬在臺(tái)上介紹了他們的最新成果：MindVLA 大模型。


這是一個(gè)擁有 22 億參數(shù)的視覺-語(yǔ)言-動(dòng)作（Vision-Language-Action Model，VLA）模型，賈鵬進(jìn)一步介紹稱，他們已經(jīng)成功將該模型部署于車端。在理想看來(lái)，VLA 模型是解決 AI 與物理世界交互難題最有效的方法。


在過去的一年里，端到端架構(gòu)成為智能駕駛領(lǐng)域的技術(shù)熱點(diǎn)，推動(dòng)車企從傳統(tǒng)的分模塊規(guī)則設(shè)計(jì)轉(zhuǎn)向一體化系統(tǒng)。曾憑借規(guī)則算法領(lǐng)先的車企面臨轉(zhuǎn)型陣痛，而后發(fā)者則抓住了彎道超車的機(jī)會(huì)。


理想便是其中的代表。


理想去年在智能駕駛上的進(jìn)步可謂飛快，7 月份就率先實(shí)現(xiàn)了全國(guó)無(wú)圖 NOA（導(dǎo)航輔助駕駛），還推出了獨(dú)特的「端到端（快系統(tǒng)）+VLM（慢系統(tǒng)）」架構(gòu)，受到行業(yè)廣泛關(guān)注。




今晚，隨著理想 AI Talk 第二季進(jìn)行，我們對(duì)李想口中的「人工智能公司」有了更深的了解。


是「司機(jī)大模型」，也是你的司機(jī)
理想汽車 CEO 李想第一次提到 VLA，是在去年 12 月的與騰訊新聞科技主筆張小珺對(duì)談的 AI Talk 第一季上。當(dāng)時(shí)他說(shuō)：


我們?cè)谧龅睦硐胪瑢W(xué)和自動(dòng)駕駛，按照行業(yè)的標(biāo)準(zhǔn)其實(shí)是分割開的，處于早期階段。我們做的 Mind GPT，其實(shí)是大語(yǔ)言模型；我們?cè)谧龅淖詣?dòng)駕駛，我們自己內(nèi)部叫行為智能，但是像李飛飛（斯坦福終身教授、前 Google 首席科學(xué)家）的定義，叫空間智能。只有你真正大規(guī)模去做的時(shí)候，你才知道，這兩個(gè)之間，有一天一定會(huì)連在一起，我們自己內(nèi)部叫 VLA（Vision Language Action Model，視覺語(yǔ)言行動(dòng)模型）。


李想認(rèn)為，基座模型到一定時(shí)刻一定會(huì)變成 VLA。原因在于，語(yǔ)言模型只能通過語(yǔ)言和認(rèn)知去理解三維的世界，這是顯然不夠的�！杆�需要真正向量的，用 Diffusion（擴(kuò)散模型）的方式，用生成的方式（去認(rèn)識(shí)世界）」。


可以說(shuō)，VLA 的誕生，既是對(duì)語(yǔ)言智能和空間智能深度結(jié)合的一次大膽嘗試，也是理想汽車對(duì)「智能汽車」概念的一次重新詮釋。




李想在今晚的 AI Talk 中進(jìn)一步定義：「VLA 是一個(gè)司機(jī)大模型，像人類的司機(jī)一樣去工作。」它不僅是一項(xiàng)技術(shù)，更是一個(gè)能與用戶自然溝通、自主決策的智能伙伴。


那么，VLA 究竟是什么？核心其實(shí)非常直白：通過整合視覺感知、自然語(yǔ)言理解和動(dòng)作生成能力，讓車輛變成一個(gè)能與人溝通、能自己做決定的「司機(jī) Agent」。




導(dǎo)航走 ETC 時(shí)，駕駛員可以直接命令系統(tǒng)走人工通道（輔助駕駛開啟狀態(tài)）


想象一下，你坐在車?yán)�，隨口說(shuō)一句「今天有點(diǎn)累，開慢點(diǎn)吧」，車輛不僅能聽懂你的意思，還會(huì)調(diào)整速度，甚至選擇一條更平穩(wěn)的路線。這種自然流暢的交互，正是 VLA 想要實(shí)現(xiàn)的。李想透露，所有的短指令，都有由車端直接處理，復(fù)雜指令則交由云端 32 億參數(shù)模型解析，確保高效與智能兼得。




實(shí)現(xiàn)這樣的目標(biāo)并不容易。VLA 的特別之處在于，它把視覺、語(yǔ)言和動(dòng)作三個(gè)維度打通了。用戶的一個(gè)簡(jiǎn)單指令背后，可能涉及到對(duì)周圍環(huán)境的實(shí)時(shí)感知、對(duì)語(yǔ)言意圖的精準(zhǔn)理解，以及對(duì)駕駛行為的快速調(diào)整，三者缺一不可。


而 VLA 的厲害之處就在于，它能讓這三者無(wú)縫協(xié)作。


從愿景到現(xiàn)實(shí)，VLA 的研發(fā)是一片無(wú)人區(qū)。李想坦言：「視覺和動(dòng)作數(shù)據(jù)的獲取最為困難，沒有公司能替代�！�


要理解 VLA 的技術(shù)底色，還得看看理想汽車在智能駕駛上的演進(jìn)脈絡(luò)。


李想表示，早期的系統(tǒng)是「昆蟲級(jí)別」智能，僅有百萬(wàn)參數(shù)，靠規(guī)則和高精地圖驅(qū)動(dòng)，遇到復(fù)雜路況就束手無(wú)策。后來(lái)，端到端架構(gòu)和視覺-語(yǔ)言模型讓技術(shù)躍升至「哺乳動(dòng)物級(jí)別」，擺脫地圖依賴，全國(guó)無(wú)圖 NOA 成為現(xiàn)實(shí)。


實(shí)際上，這一步已經(jīng)讓理想汽車走在了行業(yè)前列，但他們顯然不滿足于此。在李想看來(lái)，VLA 的出現(xiàn)，標(biāo)志著理想汽車的智能駕駛技術(shù)邁入了「人類智能」的新階段。




相比之前的系統(tǒng)，VLA 不僅能感知 3D 物理世界，還能進(jìn)行邏輯推理，甚至生成接近人類水平的駕駛行為。


舉個(gè)簡(jiǎn)單的例子，假設(shè)你在一條擁堵的街道上說(shuō)「找個(gè)地方掉頭」，VLA 不會(huì)機(jī)械地執(zhí)行指令，而是會(huì)綜合路況、車流和交通規(guī)則，找到一個(gè)最合理的時(shí)間和位置完成掉頭。


李想表示，VLA 能通過生成數(shù)據(jù)快速適應(yīng)新場(chǎng)景，哪怕初次遇到復(fù)雜修路，三天內(nèi)也能優(yōu)化應(yīng)對(duì)。這種靈活性和判斷力，正是 VLA 的核心優(yōu)勢(shì)。


理想的老師，是 DeepSeek
支撐 VLA 的，是理想汽車自研的一套復(fù)雜而精妙的技術(shù)體系。這套體系讓汽車不僅能「看懂」世界，還能像人類司機(jī)一樣思考和行動(dòng)。


首先是 3D 高斯表征技術(shù)，即用很多個(gè)「高斯點(diǎn)」來(lái)拼出一個(gè) 3D 物體，每個(gè)點(diǎn)都含有自己的位置、顏色和大小等信息。這項(xiàng)技術(shù)通過自監(jiān)督學(xué)習(xí)，利用海量真實(shí)數(shù)據(jù)訓(xùn)練出一個(gè)強(qiáng)大的 3D 空間理解模型。有了它，VLA 就能像人一樣「看懂」周圍的世界，知道哪里是障礙物，哪里是可通行區(qū)域。




當(dāng)記憶車位被占，系統(tǒng)會(huì)自動(dòng)尋找其他車位。還能聽懂駕駛員指令，通過墻上的指示牌找到「C3 區(qū)」


接著是混合專家架構(gòu)（MoE），該架構(gòu)由專家網(wǎng)絡(luò)、門控網(wǎng)絡(luò)和組合器組成。當(dāng)模型參數(shù)超過千億級(jí)別時(shí)，傳統(tǒng)方法會(huì)讓所有神經(jīng)元參與每個(gè)計(jì)算，比較浪費(fèi)資源，MoE 架構(gòu)中的門控網(wǎng)絡(luò)會(huì)根據(jù)任務(wù)的不同調(diào)用不同的專家，保證激活參數(shù)不會(huì)大幅增加。


聊到這里，李想還順帶夸了一下 DeepSeek：


DeepSeek 運(yùn)用了人類的最佳實(shí)踐…… 他們?cè)谧?DeepSeek V3 的時(shí)候，其實(shí) V3 也是一個(gè) MoE 的，671B 的一個(gè)模型。我覺得 MoE 是個(gè)非常好的架構(gòu)。它相當(dāng)于把一堆專家組合在一起，然后每一個(gè)是一個(gè)專家能力。


最后，理想為 VLA 引入了稀疏注意力機(jī)制（Sparse Attention） ，說(shuō)人話就是 VLA 會(huì)自動(dòng)調(diào)整關(guān)鍵區(qū)域的注意力權(quán)重，從而提升端側(cè)的推理效率。


李想表示，在這個(gè)新的基座模型訓(xùn)練過程中，理想的工程師們花了很多時(shí)間去找到最佳的數(shù)據(jù)配比，融入了大量 3D 數(shù)據(jù)和自動(dòng)駕駛相關(guān)的圖文數(shù)據(jù)，并減少了文史類數(shù)據(jù)的比例。


從感知到?jīng)Q策，VLA 借鑒了人類思維的快慢結(jié)合模式。它既能快速輸出簡(jiǎn)單的動(dòng)作決策，比如緊急避讓，也能通過短思維鏈進(jìn)行「慢思考」，應(yīng)對(duì)更復(fù)雜的場(chǎng)景，比如臨時(shí)規(guī)劃一條繞開施工區(qū)域的路線。為了進(jìn)一步提升實(shí)時(shí)性，VLA 還引入了投機(jī)推理和并行解碼技術(shù)，充分利用車端芯片的算力，確保決策過程快而不亂。


在生成駕駛行為時(shí)，VLA 用到了 Diffusion 模型和基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）。Diffusion 模型負(fù)責(zé)生成優(yōu)化的駕駛軌跡，而 RLHF 則讓這些軌跡更貼近人類習(xí)慣，既安全又舒適。比如，VLA 會(huì)在轉(zhuǎn)彎時(shí)自動(dòng)減速，或者在并線時(shí)留出足夠的安全距離，這些細(xì)節(jié)都體現(xiàn)了對(duì)人類駕駛行為的深度學(xué)習(xí)。




世界模型是另一關(guān)鍵技術(shù)，理想通過場(chǎng)景重建和生成，為強(qiáng)化學(xué)習(xí)提供了高質(zhì)量的虛擬環(huán)境。李想透露，世界模型將驗(yàn)證成本從每萬(wàn)公里 17-18 萬(wàn)元降至 4000 元。它讓 VLA 在模擬中不斷優(yōu)化，應(yīng)對(duì)復(fù)雜場(chǎng)景如履平地。


說(shuō)到訓(xùn)練，VLA 的成長(zhǎng)過程也頗有章法。整個(gè)流程分為三個(gè)階段：預(yù)訓(xùn)練、后訓(xùn)練和強(qiáng)化學(xué)習(xí)。「預(yù)訓(xùn)練像學(xué)習(xí)知識(shí)，后訓(xùn)練像駕校學(xué)車，強(qiáng)化學(xué)習(xí)像社會(huì)實(shí)踐�！估钕胝f(shuō)。




預(yù)訓(xùn)練階段，理想汽車為 VLA 打造了一個(gè)視覺-語(yǔ)言基座模型，塞進(jìn)了豐富的 3D 視覺數(shù)據(jù)、2D 高清影像和駕駛相關(guān)的語(yǔ)料，讓它先學(xué)會(huì)「看」和「聽」；后訓(xùn)練加入動(dòng)作模塊，生成 4-8 秒駕駛軌跡，模型從 32 億參數(shù)擴(kuò)大到 40 億。




強(qiáng)化學(xué)習(xí)分為兩步：先用 RLHF 對(duì)齊人類習(xí)慣，分析接管數(shù)據(jù)，確保安全舒適；再用純強(qiáng)化學(xué)習(xí)優(yōu)化，基于 G 值（舒適性）、碰撞和交通規(guī)則反饋，讓 VLA「開得比人類更好」。李想提到，這一階段在世界模型中完成，模擬真實(shí)交通場(chǎng)景，效率遠(yuǎn)超傳統(tǒng)驗(yàn)證。




這樣的訓(xùn)練方式，既保證了技術(shù)上的先進(jìn)性，也讓 VLA 在實(shí)際應(yīng)用中足夠可靠。


李想坦言，VLA 的成功離不開行業(yè)標(biāo)桿的啟發(fā)。DeepSeek 的 MoE 架構(gòu)不僅提升了訓(xùn)練效率，還為理想提供了寶貴經(jīng)驗(yàn)。他感慨：「我們站在巨人的肩膀上，加速了 VLA 的研發(fā)。」這種開放學(xué)習(xí)的態(tài)度，讓理想在無(wú)人區(qū)中走得更遠(yuǎn)。


從「信息工具」到「生產(chǎn)工具」
當(dāng)下，AI 行業(yè)正經(jīng)歷一場(chǎng)從「信息工具」到「生產(chǎn)工具」的深刻變革。隨著大模型技術(shù)的成熟，AI 不再局限于處理數(shù)據(jù)和提供建議，而是開始具備自主決策和執(zhí)行任務(wù)的能力。


李想在 AI Talk 第二季中提出，AI 可分為信息工具（如搜索）、輔助工具（如語(yǔ)音導(dǎo)航）和生產(chǎn)工具。他強(qiáng)調(diào)：「人工智能變成生產(chǎn)工具，才是真正爆發(fā)的時(shí)刻�！闺S著大模型技術(shù)成熟，AI 不再局限于處理數(shù)據(jù)，而是開始具備自主決策和執(zhí)行任務(wù)的能力。


這種趨勢(shì)，在「具身智能」概念中體現(xiàn)得尤為明顯——AI 系統(tǒng)被賦予物理實(shí)體，能夠感知、理解并與環(huán)境互動(dòng)。




理想汽車的 VLA 模型正是這一趨勢(shì)的生動(dòng)實(shí)踐。它通過整合視覺、語(yǔ)言和動(dòng)作智能，將汽車打造成一個(gè)能夠自主駕駛、與用戶自然交互的智能體，完美詮釋了「具身智能」的核心理念。


只要人類會(huì)雇傭?qū)�業(yè)司機(jī)，人工智能就能成為生產(chǎn)工具。當(dāng) AI 成為生產(chǎn)工具時(shí)，人工智能才會(huì)真正爆發(fā)。


李想的這段話，點(diǎn)明了 VLA 的核心價(jià)值——它不再是簡(jiǎn)單的輔助工具，而是能夠獨(dú)立執(zhí)行任務(wù)、承擔(dān)責(zé)任的「司機(jī) Agent」。這種轉(zhuǎn)變，不僅提升了汽車的實(shí)用價(jià)值，也為 AI 在其他領(lǐng)域的應(yīng)用打開了想象空間。


李想對(duì) AI 的思考，總是帶著一種跳出框框的視角。他還提到：「VLA 不是突變的過程，是進(jìn)化的過程�！惯@句話精準(zhǔn)概括了理想汽車的技術(shù)路徑——


從早期的規(guī)則驅(qū)動(dòng)，到端到端的突破，再到如今 VLA 的「人類智能」水平。這種進(jìn)化思維，不僅讓 VLA 在技術(shù)上更具可行性，也為行業(yè)提供了可借鑒的范式。相比一些一味追求顛覆的嘗試，理想的務(wù)實(shí)路徑或許更適合復(fù)雜的中國(guó)市場(chǎng)。


從技術(shù)到信念，理想的 AI 探索并非坦途。李想坦言：「我們?cè)?AI 領(lǐng)域經(jīng)歷了很多挑戰(zhàn)，就像黎明前的黑暗，但我們相信，堅(jiān)持下去就會(huì)看到光。」VLA 的研發(fā)面臨算力瓶頸、數(shù)據(jù)倫理等難題，但理想通過自研基座模型和世界模型，逐步迎來(lái)了屬于他們的技術(shù)曙光。


李想在采訪中還提到，VLA 的成功離不開中國(guó) AI 的崛起。


他表示，DeepSeek、通義千問等模型的出現(xiàn)讓中國(guó) AI 水平迅速接近美國(guó)。其中，DeepSeek 所秉持的開源精神尤為令人振奮，它直接直接促使理想開源星環(huán) OS。李想稱：「這不是出于公司戰(zhàn)略考量，DeepSeek 給我們那么大幫助，我們應(yīng)該為社會(huì)貢獻(xiàn)點(diǎn)什么�！�




在追求技術(shù)突破的同時(shí)，理想汽車并未忽視 AI 技術(shù)的安全性和倫理問題。VLA 引入的「超級(jí)對(duì)齊」技術(shù)，通過基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF），讓模型的行為更貼近人類習(xí)慣。數(shù)據(jù)顯示，VLA 的應(yīng)用使高速 MPI（平均干預(yù)里程）從 240km 提升至 300km。


更重要的是，理想汽車強(qiáng)調(diào)打造「有人類價(jià)值觀的 AI」，將道德和信任視為技術(shù)發(fā)展的基石。從更宏觀的視角看，VLA 的意義還在于，它重新定義了車企這一角色。


過去，汽車是工業(yè)時(shí)代的交通工具；如今，它正在演變?yōu)槿斯ぶ悄軙r(shí)代的「空間機(jī)器人」。李想在 AI Talk 中提到：「理想以前走的是汽車的無(wú)人區(qū)，以后走的是人工智能的無(wú)人區(qū)�！估硐氲倪@種轉(zhuǎn)變，為汽車行業(yè)的商業(yè)模式帶來(lái)了新的想象空間。


當(dāng)然，VLA 的發(fā)展并非沒有挑戰(zhàn)。算力的持續(xù)投入、數(shù)據(jù)倫理以及消費(fèi)者對(duì)自動(dòng)駕駛的信任建立，都是理想汽車需要面對(duì)的課題。此外，AI 行業(yè)的競(jìng)爭(zhēng)日趨激烈，國(guó)內(nèi)外巨頭如特斯拉、Waymo 和 OpenAI 都在加速布局多模態(tài)模型，理想需要在技術(shù)迭代和市場(chǎng)推廣上保持領(lǐng)先�！肝覀儧]有捷徑，只能深耕�！估钕胝f(shuō)。


毫無(wú)疑問，VLA 的落地將是關(guān)鍵節(jié)點(diǎn)。


理想汽車計(jì)劃在 2025 年 7 月與純電 SUV 理想 i8 同步發(fā)布 VLA，并在 2026 年實(shí)現(xiàn)量產(chǎn)。這不僅是對(duì)技術(shù)的一次全面檢驗(yàn)，更是市場(chǎng)的一塊重要試金石。


李華 (李華)