[汽車之家 資訊]  4月12日，蔚來NOMI GPT大模型正式上線，同步推送給搭載Banyan·榕 蔚來智能系統(tǒng)的車型。據(jù)了解，此次NOMI升級了基于全新技術(shù)架構(gòu)，為NOMI量身打造NOMI GPT端云多模態(tài)大模型，包含自研多模態(tài)感知、自研認(rèn)知中樞、情感引擎、多專家Agent，能夠打通蔚來產(chǎn)品、服務(wù)、社區(qū)，提供更高效、愉悅的AI服務(wù)。

　　據(jù)官方介紹，本次升級帶來了眾多基于大模型能力的新功能，NOMI現(xiàn)在可以回答關(guān)于科學(xué)、歷史、影視等不限領(lǐng)域的百科知識，提供富有情感的連續(xù)對話，還能根據(jù)用戶的簡單指令，智能生AI用車場景、氛圍燈組合以及呈現(xiàn)獨(dú)有的NOMI表情等。

『新一代車載人工智能NOMI技術(shù)框架』

　　NOMI GPT端云多模態(tài)大模型，包括自研的端云融合架構(gòu)、多模態(tài)感知、認(rèn)知中樞、情感引擎、記憶能力、NOMI GPT Agents(NIO Agents，User Agents，三方Agents)等，能夠靈活調(diào)用第三方 API，搭建AI Agent，打通蔚來產(chǎn)品、服務(wù)、社區(qū)，提供更高效、愉悅的AI用車體驗。

　　同時，讓NOMI具備“看得見，認(rèn)得出”“聽得到，聽得懂”“知冷熱，有觸感”等能力，同時做到賬號隔離，敏感信息不出車，車載通信端到端加密，保障用戶隱私安全。據(jù)官方介紹，蔚來自研的端側(cè)多模態(tài)感知，擁有數(shù)十億參數(shù)，融合了圖像（視覺）、音頻（聽覺）、車身傳感器（觸覺）等多模感知，并像人類一樣，能將多維度感知用自然語言描述，從而更全面的感知艙內(nèi)外的人和世界，提供更懂你、更高效、更保護(hù)隱私的智能體驗�；�于端側(cè)多模感知，NOMI可以像朋友一樣，看見你的物品、著裝、狀態(tài)，甚至艙外的車輛、樓宇、動物植物，進(jìn)而提供更懂你的服務(wù)、更有趣的溝通。值得一提的是，端側(cè)多模態(tài)感知內(nèi)部測試中，預(yù)計今年內(nèi)上車。

　　此外，NOMI將擁有更高效的信息認(rèn)知能力，能在海量信息源中精準(zhǔn)判斷用戶意圖與需求，無縫調(diào)度大模型架構(gòu)內(nèi)組件，實現(xiàn)“領(lǐng)會用戶意圖有默契，執(zhí)行夠聰明，靈活不打擾”的優(yōu)質(zhì)用車體驗。蔚來自研的端云一體的認(rèn)知中樞，能夠根據(jù)多維感知信息，通過推理分析形成復(fù)雜任務(wù)的處理能力，讓 NOMI真正成為貼心可靠的助手。認(rèn)知中樞集成了行業(yè)最全知識庫，能夠從容調(diào)度執(zhí)行各種任務(wù)，回答各種問題。

　　中樞包括中控分發(fā)，多模拒識，跨域繼承&跳轉(zhuǎn)，多Agent決策幾個部分；其中包含中控分發(fā)：NOMI會根據(jù)用戶所說的內(nèi)容，結(jié)合對話上下文、感知以及狀態(tài)信息，智能地判斷調(diào)用任務(wù)型交互、問答閑聊、用車助手等，同時也能支持語義創(chuàng)建完整的快捷場景；多模拒識：依據(jù)文本，音頻以及圖像信息綜合決策是否是在和NOMI交互，目標(biāo)是實現(xiàn)用戶在和NOMI交互時要有回復(fù)，用戶在和車?yán)锲渌�人聊天時NOMI不插嘴；跨域繼承&跳轉(zhuǎn)：結(jié)合用戶長上下文信息，幫助NOMI GPT靈活地在百科聊天以及任務(wù)中去做上下文理解及指代消解；多Agent決策：在前置分發(fā)信息不足無法明確時，調(diào)用多個Agent，根據(jù)前置信息以及Agent輸出信息最終決策給用戶的返回內(nèi)容。蔚來首創(chuàng)了模態(tài)內(nèi)外多維度對比學(xué)習(xí)技術(shù)（Interspeech 2023），并且首次將其工程化運(yùn)用于NOMI對話系統(tǒng)中，包括多模拒識和調(diào)度分發(fā)，最終使得拒識得誤識別率和誤拒識率均控制在2%以內(nèi)，調(diào)度分發(fā)單輪準(zhǔn)確率達(dá)到98%+，長距離多輪分發(fā)準(zhǔn)確率達(dá)到95%+。

　　此外，NOMI將擁有獨(dú)有情感引擎，其是NOMI實現(xiàn)擬人交互的關(guān)鍵，通過與用戶長期溝通與陪伴、記憶、學(xué)習(xí)，實現(xiàn)有個性的成長，讓NOMI不只是一個冰冷的“助手”，更是懂你的情感伙伴。同時，關(guān)于記憶方面，NOMI的記憶能力包括短期記憶和長期記憶，短期記憶可以讓NOMI記住用戶最近在聊的話題、用戶之前提到人和物，長期記憶讓NOMI能夠記住用戶和家人朋友，記住用戶的喜好，記住和用戶在一起點(diǎn)點(diǎn)滴滴。值得一提的是，情感引擎能夠幫助NOMI更快的學(xué)習(xí)成長，通過實時反饋、事后反思、人為訓(xùn)練等方式，不斷變得更加聰明，不斷掌握新技能和新知識。情感引擎也在讓NOMI有更獨(dú)特的人設(shè)，包括性格、三觀、夢想等，讓NOMI的每一句對話、每一個表情，都符合NOMI的基本人設(shè)，但也會隨著陪伴時間的增長，而潛移默化地和用戶更加契合。

　　在感知、認(rèn)知、決策等方面，官方將采用十億級參數(shù)模型，以毫秒級的速度響應(yīng)用戶的訴求。同時也有百億千億級參數(shù)的通用生成模型，以秒級響應(yīng)速度，作為NOMI開放域知識問答、復(fù)雜邏輯推理能力的支撐。

　　此外，NOMI GPT將擁有交互視窗，官方為NOMI GPT打造全新交互界面，可更加靈動的展示多種類型的生成內(nèi)容。具體為思考狀態(tài)：新增‘思考中’、‘生成中’兩種狀態(tài)，NOMI思考狀態(tài)一目了然；標(biāo)題展示：支持標(biāo)題序號和加粗樣式。試試說「推薦5個北京適合遛娃的地方」；表格展示：支持表格展示樣式，試試說「把周杰倫每張專輯的發(fā)布時間列個表格給我」；關(guān)聯(lián)推薦：在生成結(jié)果下方，會展現(xiàn)更多關(guān)聯(lián)推薦的問法；停止生成：可隨時說「停止生成」或「別說了」等，來終止NOMI GPT生成。

　　NOMI知識豐富度與推理能力升級，為用戶解答疑惑、拓寬視野。其中，NOMI支持包括科學(xué)、歷史、文學(xué)、藝術(shù)、影視等不限領(lǐng)域的百科知識問答；支持景點(diǎn)推介、游玩攻略、行程建議等出行場景問答；提升理解、推理與創(chuàng)作能力，能夠進(jìn)行學(xué)習(xí)、創(chuàng)作、咨詢等個人問答等。

　　值得一提的是，此次官方針對NOMI表情互動體驗也進(jìn)行升級，包含精準(zhǔn)表情：增加更多趣玩表情互動指令。比如「做個鬼臉」、「看蝴蝶」、「吹蒲公英」、「吹彩色紙屑」、「摸小狗」、「看流星」、「數(shù)星星」等，可精準(zhǔn)觸發(fā)對應(yīng)的表情；支持任意描述的表情指令「做一個xx的表情」，或者「表演一個xx的樣子」，提供趣味回復(fù)和靈活匹配的表情。比如「做一個中了大獎的表情」、「做一個給老婆表白的表情」、「表演一個蝙蝠俠的樣子」；支持表情九連拍，可以通過「你有哪些表情」觸發(fā)一連串的表情表演。

　　當(dāng)然，在氛圍營造方面，NOMI支持營造任意的氛圍。只需要說「來個XX的氛圍」，NOMI會基于大模型強(qiáng)大的推理能力，在16,777,216種氛圍燈搭配中，找到最適合用戶表達(dá)的氛圍搭配。比如：場景氛圍：「來個二人世界的氛圍」「調(diào)成哄娃睡覺的氛圍」「來個全家去春游的氛圍」；心情氛圍：「來個元?dú)鉂M滿去上班的氛圍」「來個加班很晚很疲憊的氛圍」；世界氛圍：「營造一個北極光的氛圍」「來個法蘭西的氛圍」「來個上海的氛圍」。

　　在其它方面，NOMI支持查詢車輛信息、用車知識、指示燈等，幫助新老用戶更深入的了解和使用車輛。車輛信息查詢：「我這輛車有多長」「ET7和ET5誰更寬」「這輛車涉水深度是多少」；用車知識查詢：「兒童座椅怎么裝」「怎么重啟車機(jī)」「發(fā)生了剮蹭怎么辦」；指示燈查詢：「儀表上有個紅圈里面有個P是啥」「儀表有個小旗子邊上有個加號是啥」「儀表有個綠色小蝴蝶是什么意思」。

　　跟隨245 NOMI應(yīng)用更新上線全新AI場景生成，包含NOMI支持通過自然語言，一句話實現(xiàn)場景任務(wù)創(chuàng)建，在千量級車輛原子能力中，組合出使用情境，貼合用戶駕乘習(xí)慣的方方面面。例如：行車顧問：支持日常通勤、行車準(zhǔn)備、離車設(shè)定等情境下的用車習(xí)慣設(shè)定，如：「工作日早上我上車就自動導(dǎo)航去公司，把熱點(diǎn)打開，空調(diào)調(diào)到23度，然后播放NIORadio資訊充電站」等。關(guān)于該品牌更多信息，我們也將持續(xù)關(guān)注。（編譯/汽車之家 周易）

查看同類文章：

企業(yè)動向

電動車車聞

更多精彩內(nèi)容：

新車效果圖/假想圖

新能源

>>汽車之家車聞-快速真實的報道 深入犀利的點(diǎn)評<<