▍文章來源于康謀自動駕駛

01 引言

當前，三維重建技術(shù)正處于從"實驗室演示"邁向"工業(yè)級應(yīng)用"的關(guān)鍵時期。每一次對場景細節(jié)的精準還原，每一幀實時流暢的渲染效果，都在檢驗算法對真實世界的復(fù)現(xiàn)能力。高效、高質(zhì)量的三維重建能夠顯著提升數(shù)字資產(chǎn)制作效率，助力提升虛擬測試的真實性，加速仿真驗證流程。

然而，在"平衡重建質(zhì)量與效率"這一核心目標下，現(xiàn)有技術(shù)仍面臨諸多挑戰(zhàn)，包括大規(guī)模場景的處理效率、動態(tài)物體的建模能力，以及跨平臺部署的兼容性等難題。

針對這些問題，康謀也有一些思考、經(jīng)驗與看法，本文將與大家一起交流。下文將介紹3DGS原理框架、實戰(zhàn) demo 與自駕仿真落地探索等相關(guān)內(nèi)容。

此外，為了更深入地與行業(yè)同仁交流技術(shù)細節(jié)，康謀將在10月21日（周二）15:00舉辦主題為《從三維重構(gòu)到仿真革新：3DGS技術(shù)解析與實踐應(yīng)用》的線上直播，屆時將詳細解析3DGS技術(shù)核心、實戰(zhàn)演示與在自動駕駛仿真中的創(chuàng)新應(yīng)用，歡迎掃碼預(yù)約！

02 3DGS的原理框架

技術(shù)概覽

3D Gaussian Splatting（3DGS）是一種基于數(shù)百萬個可學(xué)習(xí)的“3D色塊”來實現(xiàn)逼真3D場景實時渲染的新興技術(shù)。這里的“3D色塊”實際上是指3D高斯球——每一個都是具備位置、形狀、顏色和透明度屬性的基礎(chǔ)單元。

利用這些高斯球，我們可以對真實場景進行三維重建，再通過Splatting技術(shù)將其投影至二維平面，最后借助圖像分塊的光柵化方法渲染成最終圖像。

以下展示的是采用3DGS技術(shù)重建的部分場景，不難看出，無論是場景的細節(jié)還原度還是色彩表現(xiàn)力，效果都十分出色。

在保持高保真度場景重建的同時，3DGS技術(shù)還具備出色的渲染速度，這得益于其采用的基于圖像分塊的渲染方式。通過與其他三維重建方法對比可見，3DGS在視覺效果上能夠媲美NeRF-360，而訓(xùn)練時間卻大幅縮短至幾十分鐘甚至幾分鐘。相較于NeRF-360動輒數(shù)十小時的訓(xùn)練成本，這無疑是一項重要突破。

能夠在與Instant-NGP相當?shù)挠?xùn)練時長內(nèi)，達到接近NeRF-360的重建質(zhì)量，正是3DGS技術(shù)的關(guān)鍵優(yōu)勢所在，也是其在三維重建領(lǐng)域持續(xù)受到關(guān)注的重要原因。

3DGS整體框架

3D Gaussian Splatting（3DGS）的整體框架是一個端到端的管道，其核心思想是將整個三維場景表示為數(shù)百萬個可學(xué)習(xí)的3D高斯球。這些高斯球作為場景的基本表示單元，每個都擁有各自的屬性，包括3D空間中的位置、描述其形狀與方向的協(xié)方差矩陣、以及視角相關(guān)的球諧函數(shù)所表示的顏色和不透明度。

整個流程可以分為7個步驟：

初始化：基于輸入的RGB圖像序列，通過sfm算法（COLMAP）估計初始稀疏點云及相機位姿；

高斯空間建模：將初始點云轉(zhuǎn)換為一系列3D高斯橢球；

視錐體篩選：根據(jù)當前相機參數(shù)，剔除位于視錐體范圍之外的3D高斯橢球；

可微分投影：將保留的3D高斯橢球通過可微分的仿射變換投影至2D圖像平面；

分塊光柵化：將投影后的高斯橢球按圖像塊組織，并采用基于瓦片的光柵器，實現(xiàn)并行、有序的混合渲染；

損失計算與反向傳播：比較渲染輸出與真實圖像，計算重構(gòu)損失并通過反向傳播優(yōu)化高斯橢球的各項屬性參數(shù)；

自適應(yīng)密度控制：在訓(xùn)練過程中動態(tài)執(zhí)行高斯橢球的克隆與分裂操作。

03 3DGS實戰(zhàn)demo搭建

利用開源模型就可以進行一些場景的重建，開源倉庫：https://github.com/graphdeco-inria/gaussian-splatting

COLMAP初始化點云

要對3DGS模型進行訓(xùn)練，需要先的得到一組初始化點云，利用COLMAP可以從一組無序的照片中，得到相機的拍攝位姿和場景的三維點云。

得到初始化點云和相機位姿的效果如下圖：

輸入模型進行迭代訓(xùn)練

得到初始化點云后，就可以將點云信息輸入到3DGS模型中進行迭代訓(xùn)練。3DGS迭代訓(xùn)練通過不斷渲染誤差反饋來優(yōu)化高斯的位置、顏色和形狀，并動態(tài)增刪高斯，使場景逐漸從粗糙點群精化為高保真實體模型。

以下是初始化點云和訓(xùn)練迭代2萬次后的點云對比，可以看到迭代訓(xùn)練后的點云信息更加豐富，場景細節(jié)更加多樣。利用這些點云和3DGS橢球就可以構(gòu)建出逼真的三維場景。

04 3DGS在自駕仿真中的應(yīng)用探索

從World Extractor到aiSim

康謀推出的World Extractor能從原始傳感器數(shù)據(jù)中，直接創(chuàng)建出3DGS重建的數(shù)據(jù)信息，從而可以直接導(dǎo)入康謀仿真軟件aiSim中，進行場景渲染。這大大節(jié)省了仿真場景構(gòu)建時間。

并且，aiSim通過優(yōu)化渲染模型，可以獲得高保真的3DGS場景導(dǎo)入。

新構(gòu)建了GGSR，即通用高斯?jié)姙R渲染器，優(yōu)化3D重建場景下RayTracying傳感器渲染

優(yōu)化廣角鏡頭渲染，增強一致性

支持自由移動視角，減少偽影產(chǎn)生

左邊是渲染優(yōu)化前，會出現(xiàn)大FoV相機不一致性。右邊是渲染方案優(yōu)化后，可以增強一致性。

優(yōu)秀的仿真效果：

網(wǎng)格陰影表現(xiàn)（左）、環(huán)境反射表現(xiàn)（右）

05 3DGS未來發(fā)展與挑戰(zhàn)

在系統(tǒng)探討了3DGS的技術(shù)原理與實踐路徑后，我們需要清醒地認識到：這項技術(shù)正處在從"可用"到"好用"的關(guān)鍵演進階段，同時也存在著很多待發(fā)展的技術(shù)要點和面臨的挑戰(zhàn)！

發(fā)展

3DGS技術(shù)正沿著效率極致化與能力邊界拓展的雙重路徑演進。一方面追求超大規(guī)模場景的實時重建與交互，另一方面致力于實現(xiàn)動態(tài)場景的精準建模與語義級理解。

效率與應(yīng)用的極致化

- 實時性與交互性：實現(xiàn)毫秒級動態(tài)場景重建與渲染，支持用戶實時交互；

- 硬件加速：開發(fā)專用硬件（如ASIC/FPGA）與更優(yōu)的CUDA內(nèi)核，讓3DGS在移動端、邊緣設(shè)備上流暢運行；

- 大規(guī)模場景：突破內(nèi)存限制，實現(xiàn)對城市級、自然景觀等超大規(guī)模場景的高效建模與漫游。

動態(tài)場景與語義理解

- 4D重建：輕松處理動態(tài)物體，生成高質(zhì)量4D動態(tài)場景，直接應(yīng)用于影視、自動駕駛仿真；

- 語義與編輯：與SAM等分割模型結(jié)合，實現(xiàn)實例級的物體識別、分離與編輯；

- 生成式AI融合：作為3D表示，與Diffusion等生成式模型結(jié)合，實現(xiàn)文本/圖片到3D場景的高質(zhì)量、高效率生成。

與其他技術(shù)的融合與統(tǒng)一

- 與NeRF互補：發(fā)揮3DGS渲染快的優(yōu)勢，彌補NeRF在抗鋸齒、細節(jié)重建上的不足，形成混合建模管線；

- “3D基礎(chǔ)模型”的基石：作為一種高效的3D表示方法，為構(gòu)建大規(guī)模3D場景的基礎(chǔ)模型提供可能。

挑戰(zhàn)

3DGS技術(shù)在渲染質(zhì)量與動態(tài)場景處理方面仍存在理論瓶頸，其"黑箱"特性與數(shù)據(jù)依賴性也制約了技術(shù)的規(guī)模化應(yīng)用。這些挑戰(zhàn)亟待從算法原理與工程實現(xiàn)層面協(xié)同突破。

渲染質(zhì)量與一致性

- 鋸齒與閃爍：由于2D Splatting的固有特性，容易出現(xiàn)鋸齒、走樣和邊緣閃爍問題；

- 跨視角不一致性：在不同視角下，Gaussian的分布可能出現(xiàn)輕微的不一致，影響幾何的精確性；

- 透明與反射材質(zhì)：對半透明、鏡面等高光/反射材質(zhì)的建模能力仍然較弱，效果不如基于體素渲染的NeRF。

動態(tài)場景與學(xué)習(xí)瓶頸

- 動態(tài)處理“粗暴”：目前的動態(tài)3DGS多依賴于變形場或時序參數(shù)，難以處理劇烈的、非剛性的形變；

- 數(shù)據(jù)依賴性強：性能高度依賴于輸入圖像的質(zhì)量和數(shù)量，對稀疏輸入或存在大量遮擋的場景，重建效果會急劇下降；

- 缺乏標準與生態(tài)：相比成熟的Mesh流程，3DGS缺乏行業(yè)標準工具鏈。

理論基礎(chǔ)與可控性

- “黑箱”特性：Gaussian的分布與參數(shù)缺乏明確的物理和幾何解釋，像一個可微分的點云渲染“黑盒”，難以進行精確的、程序化的控制；

- 參數(shù)冗余與過擬合：場景復(fù)雜度直接與Gaussian數(shù)量掛鉤，可能導(dǎo)致訓(xùn)練過擬合和存儲浪費。

06 總結(jié)

顯而易見，3DGS以創(chuàng)新的3D高斯球表示方法，在重建質(zhì)量與效率間實現(xiàn)了突破性平衡。從技術(shù)原理到實戰(zhàn)演示，再到康謀在自動駕駛仿真中的完整工具鏈實踐，3DGS展現(xiàn)了顯著的工程價值。

盡管在動態(tài)場景處理和渲染質(zhì)量方面仍面臨挑戰(zhàn)，但隨著硬件加速和算法優(yōu)化的持續(xù)推進，3DGS有望在自動駕駛、數(shù)字孿生等領(lǐng)域發(fā)揮更大價值，為三維重建技術(shù)開啟新的可能！