抬頭仰望夜空，面對浩瀚星海，心中無限遐想，雖知遙不可及，卻期待能像航海者那樣，在星光的指引下破浪而行。銀河，凝聚了從古至今人類對宇宙的無限憧憬，也代表了人類智慧對文明科技孜孜不倦，不斷探索的精神。
以“銀河”命名的吉利旗艦車型E8，不久前剛完成其首秀，內外飾采用了全新的”漣漪”設計語言，并搭載了虛幻引擎為用戶提供更具創(chuàng)意、安全、智能的座艙體驗，備受公眾關注的同時也引入了不少專業(yè)領域的話題和討論。
其實長久以來，智能座艙都無可爭議地被視為新能源汽車的”大腦“，無論是內飾的美學設計還是人機界面（HMI）的交互體驗，都已成為智能汽車發(fā)展道路上引領潮流和邁向成功的重要標志。那么，銀河E8智能座艙的設計與實現(xiàn)的目標是什么？怎樣依靠實時技術在反復迭代中提升品質？虛幻引擎有哪些技術能幫助團隊提升座艙體驗？如何利用有限的芯片算力來挑戰(zhàn)超大屏幕的實時畫質和性能？
上述的幾個問題一直以來都是智能座艙/車機（HMI）開發(fā)過程中被時常提及和關注的焦點，筆者一時之間也無法給出正確有效的答案，幸運的是后來我在同事的幫助下聯(lián)絡到吉利汽車研究院，得此機會與負責研發(fā)銀河E8智能座艙的團隊一起來深入探討關于量產車智能座艙的設計、實現(xiàn)、和落地這幾個業(yè)內最為關心的核心話題。
Q：首先祝賀吉利研究院智能座艙的團隊使用虛幻引擎成功研發(fā)出銀河E8智能車機系統(tǒng)，能否先跟大家先介紹一下團隊？
A：在21年的時候，我們開始孵化并建立了一個3D HMI的專項，目標是把游戲行業(yè)成熟的3D交互技術，應用在汽車行業(yè)的HMI里面，提升智能座艙的”娛樂”體驗，并基于這個目標開始構建團隊及工具鏈。核心成員參考了游戲行業(yè)的研發(fā)團隊結構結合汽車行業(yè)的特定需求做了“本地化融合”，HMI工具鏈也根據(jù)對游戲引擎的使用經驗和項目需求，最終選擇了Unreal。團隊構成包括模型師、地編、特效師、TA、UE4開發(fā)等，負責座艙3D技術相關的前瞻POC及3D HMI產品的全棧落地。
Q：E8 的外觀和內飾設計讓人耳目一新， 對于車機系統(tǒng)還了解不多，能否結合軟硬件先介紹一下？
A：銀河E8內外飾設計采用了西湖“漣漪”的設計語言，在智能車機（HMI）方面為了給用戶表現(xiàn)出最大的誠意，通過采用8K分辨率的貫穿式高清屏幕+高通8295芯片的硬件組合，來呈現(xiàn)出極致的沉浸式視覺體驗。回顧當初設立的這一目標，在智能車機領域當時還鮮有項目落地，團隊從8295-DHU到實現(xiàn)8K-全屏的3D引擎渲染，可以說一路上處處充滿了挑戰(zhàn)。雖然高通8295在行業(yè)里已經是最頂級的車規(guī)級芯片，但對于8K屏幕、駕駛、娛樂一拖三的產品需求來說，仍然是充滿了未知。
Q：當時市面上大多數(shù)車型搭載的芯片還都處于高通8155這個代次，吉利研究院最初出于哪些考慮要為E8的車機選用新一代的高通驍龍8295芯片？
A：E8作為吉利銀河的首款純電旗艦車型，希望能給到用戶的是高價值感的產品，在座艙和HMI的層面需要給用戶提供最高的硬件配置、最安全的平臺架構，最強的軟件工具和最好的用戶體驗，以當時行業(yè)內普遍應用的8155芯片算力來講，無論是在測試數(shù)據(jù)還是落地項目的表現(xiàn)方面都無法達到E8的既定目標和滿足相應的需求，所以很快就決定放棄8155，選用高通下一代具有更高算力的8295芯片。
Q：近幾年市場上可選擇的3D引擎和HMI開發(fā)工具也不少，能否講下最終選擇用虛幻引擎來開發(fā)的原因和過程？
A：在公司層面：項目開發(fā)上需要純自研車機系統(tǒng)（ 銀河N OS） 進行代碼級融合，作為一款3D引擎：Unreal不僅有行業(yè)領先的視覺渲染效果，還提供了開發(fā)車機系統(tǒng)的定制化引擎，最重要的是源碼全部開源，方便我們做二次開發(fā)和功能定制，在性能上也有更寬域的壓榨空間。在團隊執(zhí)行層面，首先大家公認游戲引擎的能力和可拓展性相比傳統(tǒng)工具更強，在后來的引擎選型方面，主要是在Unreal、Unity、Cocos這幾款商業(yè)引擎中選擇，Unreal在PC/主機類游戲里有著完整的工具鏈生態(tài)及高品質渲染的優(yōu)點，強大的交互和渲染能力帶來的是移動端基礎包體存儲的增加；Unity在智能手機生態(tài)興起時上市并在移動端得到廣泛的應用，大量的移動端引擎的開發(fā)者，是首批為移動端低功耗而誕生的引擎，包體大小靈活可控，但在渲染品質和可拓展性上相對較弱，需要有團隊具有較強的渲染管線定制的能力；Cocos同Unity一樣是智能手機興起時誕生的2D引擎，有較多數(shù)量的開發(fā)者和較高的使用率，通過后續(xù)的更新了加入了3D引擎的模塊，優(yōu)點也是輕量化+國產引擎。基于以上的研究和對于HMI視覺品質的需求，我們最終選擇了Unreal，同時也對Epic Games團隊的技術能力和支持力度表示由衷的感謝。
Q：團隊在實現(xiàn)將虛幻引擎整合到銀河N OS無界的過程中有遇到過哪些挑戰(zhàn)？
A：首先就是關于芯片平臺的問題，因為銀河E8是首批用到8295芯片的車型，在開發(fā)DHU的主板時就遇到了很大的阻礙和難度；之后就是解決8K分辨率的貫穿式長屏的顯示，無論從DHU芯片平臺的視頻驅動上，還是引擎渲染窗口的負載率上，都需要面對很大的挑戰(zhàn)；在開發(fā)過程中，設計與開發(fā)的分離，也對落地的實現(xiàn)還原效果以及性能損耗造成了一定流程上的阻力；在內容制作過程中，8K屏幕的抗鋸齒方案的選擇上，也給我們帶來了比較大的困擾，是選擇FXAA還是TAA，是選擇低性能還是接受一定的性能損耗，最后我們還是選擇了TAA，在保持住整體視覺效果的基礎上，后面再通過其他手段來優(yōu)化性能。
Q：用戶可以在銀河N OS無界上體驗到哪些使用虛幻引擎開發(fā)的應用場景？
A：在銀河N OS無界中，我們首次引入了還原真實世界以及數(shù)字孿生的概念；進入車機系統(tǒng)，首先映入眼簾的就是具有視覺震撼力的一個桌面場景，我們稱之為靈境無界的3D主題，在場景中我們融入了富有中國韻味的西湖元素，搭配銀河E8特有的漣漪美學，表現(xiàn)出一個既真實又虛幻，既有科技感又富有詩意的環(huán)境氛圍；
我們還運用虛幻引擎的特性，設計了跟隨時間變化的環(huán)境光照，美輪美奐的雨雪天氣，當用戶打開車門進入座艙，點點星光從門開的一側飄向另一側，這些都是依靠虛幻引擎賦予的能力所實現(xiàn)；在數(shù)字孿生方面，我們在桌面上放置了銀河E8的可交互車模，用戶可以方便快捷的控制大燈、門窗、后備箱等；其他功能比如車輛的運動模式，空調的吹風效果，車控的效果示意等等也都是通過虛幻引擎開發(fā)實現(xiàn)的；并且在后續(xù)的智駕版本中加入了銀河輔助駕駛，自動泊車，記憶泊車等功能，還可以通過虛幻引擎搭建虛擬視圖，可以說在銀河N OS無界版中，幾乎每一處都使用了虛幻引擎的能力。
Q：這些實時交互的場景是在虛幻引擎哪個版本上開發(fā)的？從idea 到落地上車大致是怎樣的一個開發(fā)流程？
A：虛幻 4.27 車機定制版流程-概念提出、需求分析、界面概念設計、美術3D引擎還原、引擎軟件開發(fā)、整車功能集成、引擎和系統(tǒng)優(yōu)化、上車測試交付。
Q：在HMI的開發(fā)過程中有哪些虛幻引擎的功能或工具對項目幫助比較大？
A：開發(fā)：Level：流關卡在一鏡到底和場景切換得流暢和資變體：運行時資產管理方便快捷Sequencer：結合Level創(chuàng)建得Level Sequences讓轉場動畫得制作更高效還有常用得藍圖(動畫、材質)、lightmap、后效等優(yōu)化：Insights：啟動耗時優(yōu)化工具FrontEnd：性能優(yōu)化工具命令行控制臺：stat 系列、MemReport等除了以上虛幻提供得工具外，還結合一些外部工具提高更好得使用效果和便捷性，比如：安卓工具：AndroidStudio Profile、SnapDragon（產看GPU使用率，busying脈沖耗時占比）、RenderDoc、BootChart（查看啟動時系統(tǒng)資源競爭關系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）可視化編程：虛幻引擎提供了藍圖系統(tǒng)，允許開發(fā)人員使用可視化的節(jié)點來創(chuàng)建邏輯和交互。這對于設計和實現(xiàn)HMI中的各種交互邏輯非常有用。高品質渲染：虛幻引擎擁有先進的渲染引擎，可以實現(xiàn)高質量的圖形效果。這對于創(chuàng)建逼真的用戶界面和可視化效果至關重要。車輛動力學仿真：如果項目涉及到與車體對象的交互，虛幻引擎的物理仿真系統(tǒng)可以幫助模擬真實世界中的物理效果，從而增強HMI的真實感和交互性。多平臺支持：虛幻引擎支持多種平臺，包括PC、主機、移動設備等，這意味著開發(fā)的HMI可以輕松地在不同的設備上部署和運行。工具：Insights（查看cpu消耗）、FrontEnd、Stat（Mesh合批、drawcall的優(yōu)化）安卓工具：AndroidStudio Profile、SnapDragon（產看GPU使用率，busying脈沖耗時占比）、RenderDoc、BootChart（查看啟動時系統(tǒng)資源競爭關系）Linux工具：adb top |dumpsys、bind（綁和操作）QNX：busyboxDebug（查看GPU、顯存等）
Q：最終package部署上車之后在屏幕上實際呈現(xiàn)的分辨率和運行效率是多少？調試過程中最大的難點是什么，如何解決的？
A：分辨率：7680*936 (8K)性能參數(shù)：CPU:34%(單核)、GPU:40%、內存(700M)、顯存(700M)最大的難點還是集中在這個8K屏幕上，產品需要 “一鏡到底、即時響應”之外還要兼顧系統(tǒng)消耗占用最低、運行流暢無卡頓和最優(yōu)視覺效果，做了如下的解決方案：• 動態(tài)幀策略：HMI在前臺鎖定25幀，除此之外在其他場景下會設置15fps、5fps以及freeze三擋策略，來優(yōu)化系統(tǒng)的占比• 分層資源管理：2D和3D的資產占比在1:9，除了車模常駐在內存外，其他資源都是通過后臺靜默加載來無縫銜接鏡頭切換，做到體驗絲滑無卡頓• UE4和車機系統(tǒng)交互策略：車機信號和觸控作為HMI的唯二信號源，我們對數(shù)據(jù)鏈路進行了即時和緩存的區(qū)分；此外在場景對高頻信號的“無序”且“反復”的處理上做了2級緩存和分類。
Q：在銀河E8這個HMI的項目上，虛幻引擎與傳統(tǒng)工具相比有什么優(yōu)勢？
A：最大的優(yōu)勢就是工具鏈和能力比較全，基礎的DCC到關卡導入的地編的工具與流程很便捷；獨特的藍圖功能，覆蓋了關卡藍圖、普通藍圖、gameplay藍圖、材質藍圖，可以通過藍圖節(jié)點來對邏輯、材質、轉場等功能進行快速實現(xiàn)，加速了POC和后期項目工程開發(fā)的進度；