2020年11月，科大訊飛iFlyAuto新產品發布會在廣州開場，科大訊飛的多模態交互能力一經介紹就吸引了在場嘉賓的眼球。

2021年3月在上海舉行的第四屆中國汽車企業創新大會上，科大訊飛智能汽車副總經理趙毅先生參會并做了《科大訊飛汽車座艙多模感知》的主題分享，引發在場專家學者的熱烈討論。

2021年4月,首屆上汽零束SOA平臺開發者大會在上海隆重舉行。科大訊飛在SOA人工智能展區，集中展示了智能座艙多模感知系統demo、車載多語種語音助理及智能音頻管理系統硬件三大創新技術產品，引起了與會嘉賓、媒體的廣泛關注。

這一系列動作，無不顯示著科大訊飛以多模態交互能力為抓手，完善智能駕艙交互解決方案，實現智能汽車賽道超車的戰略藍圖。

智能駕艙多模交互方興未艾

當前，全球汽車產業正面臨著百年未有之大變局，5G、大數據、人工智能、云計算等各種科技正在加速重構行業格局，推動汽車從一個“硬件為主”的工業產品，進化成為一個可以自學習、自進化、自成長的個性化智能終端，一個悉心陪伴每位車主的另一種生命體。能夠真正為車主提供更個性化、更智能化、更情感化的服務，會成為未來汽車產品的核心競爭力，這必將帶來了一系列新挑戰。

從汽車產業鏈來說，汽車真正做到懂人，且能結合環境精準服務，需要這輛車具備強大的交互和場景實現能力。當前車上的語音助手更多是功能性的，沒有太多情感化的表達。面向用戶構建對話邏輯，形成汽車的對話風格，需要服務和交互界面的相互結合，需要從交互層面去考慮車的服務和人進行連接的設計。

從消費者層面來說，消費者不再希望車只是一個代步工具，而是一個滿足娛樂需求、辦公需求的個性化移動空間，同時需要具備“感知”人、“理解”人的能力，從而在行車過程提供舒適智能的體驗。

提升用戶體驗的核心是做到更精準的感知，機器需要非常精確地理解人的意圖，才能夠實現更精準的交互，這就需要交互能力的完善和升級。在近五年國內外汽車產業的規劃中，可以清晰看到智能駕艙多模態交互已成為重點規劃產品。科大訊飛在這方面無疑走在了前列。

科大訊飛實現了“聽、說、看、顯”全鏈路技術升級

實現車載多模態交互量產的第一步是提升車載語音的普及度。只有語音交互變成用戶的強需求，結合其他模態才有意義。

科大訊飛進入汽車前裝市場已經有十年時間。這十年，智能語音一直是科大訊飛智能汽車的一面旗幟，從最初的命令詞語音識別系統，再到后來的麥克風陣列降噪技術、AIUI對話式人機交互技術......科大訊飛智能汽車已經逐步構建了包括語音喚醒、語音識別、自然語言理解、語音合成、聲紋識別、聲源定位等在內的全閉環的汽車智能語音交互核心技術。

在強大的語音能力構成的基石上，科大訊飛多模態人機交互和駕駛安全守護技術解決方案（以下簡稱訊飛多模態交互解決方案）創新性的加入了視覺的能力：

1、場景服務是實現用戶體驗個性化的通道，這天然要求車輛具備駕駛者識別的能力。訊飛大規模人臉庫訓練的紅外異質FaceID技術，能夠實現活體檢測和無感登錄，并以此為基礎實現個性化服務，讓汽車更懂用戶，讓服務更周到。

2、正如語音和視覺的結合是人與人最重要的交互方式，視覺交互的方式有更好的指向性。車輛進一步升級成為真正的“人工智能”，需要綜合使用聽覺、視覺感知的技術。科大訊飛汽車級視線追蹤技術，讓用戶注視即可實現喚醒交互，目光所至皆可控制，很好地減少了交互步驟避免了語音交互所帶來的問題。

唇音融合語音技術的創新型加入，具備唇音免喚醒、唇音檢出、唇音增強三大核心能力，開口說話就能一語直達，就算是輕聲細語，也能聽清，能夠讓車內交互更快、更準、更有溫度。

同時，屏幕注視感知和人眼位置感知，可以調節車機屏幕亮度，讓抬頭顯示等輔助設備更易用，提升駕駛體驗。

3、目前與視線相關的駕駛員監控系統已從法規層面成為剛需：Euro-NCAP要求DMS成為五星評級的必要條件之一，中國目前也在跟進相關標準法規的制定。科大訊飛基于眼睛和嘴巴開閉度的感知技術，能夠判斷用戶疲勞程度；結合頭姿估計和實現追蹤，能夠準確判斷視線是否離開路面；針對用戶打電話和抽煙等行為，可以實現對應的車輛控制與提醒等。多種信息融合進行處理，讓車輛駕駛更安全。

在多模輸出上，訊飛多模態交互解決方案最終會以形象復刻、口型同步、動效展示、氛圍燈律動等更具有科技感的方式呈現。

“聽、說、看、顯”全鏈路技術升級，構建了完整的多模態體系，能夠實現車輛可在上車-行駛-下車的整個用車周期中，對語音、圖像、活體等多種信息的融合處理，更主動、更深入地了解乘客的信息，從而主動對其進行關懷、推送相關的內容/服務，并改變車輛設置，進而帶來顛覆性的交互體驗。

在未來新十年里，市場全球化、產業智數化、產品科技化、品牌年輕化的新時代特征將加速重構產業價值體系。科大訊飛將努力扮演助推智能汽車行業創新發展的探索者、組織者、引領者，交出智能駕艙交互和車聯網系統構建的“訊飛答卷”。