駕駛場景仿真畫面一換視角就模糊變形、一插入虛擬車輛就前后景錯位？這個困擾行業(yè)的共性難題，迎來了新的技術(shù)突破。
近期，長城汽車與中國香港科技大學(xué)、清華大學(xué)等高校研究團(tuán)隊聯(lián)合發(fā)布的最新開源研究成果 SPVC，針對3D駕駛場景渲染中的各類偽影問題，提出了一套結(jié)構(gòu)化、全景式的視頻修復(fù)方案，讓數(shù)字仿真場景更穩(wěn)定、更可控、更貼近真實道路環(huán)境。
為什么駕駛輔助場景仿真，急需一套“修復(fù)術(shù)”？
近年來，3D高斯?jié)姙R（3DGS）憑借高質(zhì)量重建與高效渲染的優(yōu)勢，逐漸成為駕駛輔助場景建模的主流技術(shù)路線。但在實際應(yīng)用中，它始終面臨兩個典型痛點：
- 新視角渲染失真：當(dāng)車輛軌跡偏離原始采集路徑時，道路、建筑、車道線容易出現(xiàn)結(jié)構(gòu)扭曲、局部模糊
- 3D資產(chǎn)插入違和：往場景中添加虛擬車輛等資產(chǎn)時，容易出現(xiàn)車身外觀失真、前景與背景銜接錯位
不止是單幀畫面的問題，連續(xù)視頻序列還容易出現(xiàn)時序閃爍、幀間不一致的現(xiàn)象。這些仿真中的“偽影”，會讓下游的感知、規(guī)劃模型學(xué)習(xí)到錯誤的特征，最終削弱駕駛輔助算法在真實道路上的決策可靠性。
SPVC 針對結(jié)構(gòu)化、全景式、視頻級、跨數(shù)據(jù)集修復(fù)，縮小仿真與真實場景的差距
SPVC：一套框架解決四類修復(fù)難題
SPVC全稱為 Structured and Panoptic Video Fixing for Cross-Dataset Driving Scene Rendering，（面向駕駛場景跨數(shù)據(jù)集的結(jié)構(gòu)化與全景視頻渲染修復(fù)），它沒有走“針對單個問題單獨(dú)優(yōu)化”的路線，而是將駕駛場景修復(fù)統(tǒng)一為四大設(shè)計目標(biāo)：
結(jié)構(gòu)化修復(fù)：給修復(fù)加上“空間標(biāo)尺”
引入相機(jī)位姿、3D檢測框、高清地圖作為明確的空間約束，給修復(fù)過程劃定清晰的空間邏輯，減少無依據(jù)的內(nèi)容生成，讓修復(fù)結(jié)果符合真實物理規(guī)律。
全景式修復(fù)：前景背景同步修正
既修正背景的道路、建筑、標(biāo)識牌扭曲，也解決前景插入車輛帶來的外觀失真、前后景錯位，實現(xiàn)全場景的渲染偽影修復(fù)，沒有“修補(bǔ)盲區(qū)”。
視頻級修復(fù)：保證時序流暢不閃爍
針對連續(xù)駕駛視頻序列做整體處理，而非逐幀單修，充分利用幀間時序信息，有效改善視角變化時的畫面閃爍問題，保證視頻序列的連貫一致。
跨數(shù)據(jù)集修復(fù)：一套模型適配多場景
通過在多個公開數(shù)據(jù)集與自研采集數(shù)據(jù)上訓(xùn)練，同一個模型可以適配不同數(shù)據(jù)來源、不同道路場景的修復(fù)需求，無需針對每個數(shù)據(jù)集單獨(dú)訓(xùn)練修復(fù)模型，通用性更強(qiáng)。
簡單來說，SPVC就像一套專為數(shù)字駕駛場景設(shè)計的“智能高清修復(fù)系統(tǒng)”：視角變了能修清，加虛擬車能修自然，換數(shù)據(jù)集也能穩(wěn)定生效。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 星空人工智能產(chǎn)業(yè) > VR|虛擬現(xiàn)實 » 駕駛場景仿真獲突破 長城汽車聯(lián)手高校讓仿真更貼近真實路況