康謀分享 | 3DGS：革新自動駕駛仿真場景重建的關鍵技術

隨著自動駕駛技術的迅猛發展，構建高保真、動態的仿真場景成為了行業的迫切需求。傳統的三維重建方法在處理復雜場景時常常面臨效率和精度的挑戰。在此背景下，3D高斯點陣渲染（3DGS）技術應運而生，成為自動駕駛仿真場景重建的關鍵突破。

一、3DGS技術概述與原理

1、3DGS的技術概述

3DGS是一種基于3D高斯分布的三維場景表示方法。通過將場景中的對象轉化為多個3D高斯點，每個點包含位置、協方差矩陣和不透明度等信息，3DGS能夠精確地表達復雜場景的幾何形狀和光照特性。

與傳統的神經輻射場（NeRF）方法相比，3DGS在渲染速度和圖像質量方面表現出色，彌補了NeRF在動態場景處理和細節保留上的不足。

圖1：3DGS重建流程

2、3DGS的技術原理

在3DGS中，首先通過SfM（Structure from Motion）技術進行數據預處理，校準相機位置并恢復其內部和外部參數，生成稀疏點云。然后，基于這些點云初始化一組3D高斯點，每個高斯點的初始位置、協方差矩陣和不透明度都會進行設置。

訓練過程中，3DGS通過反向傳播不斷優化這些高斯點的位置、形狀和不透明度。值得注意的是，3DGS采用了自適應密度控制，能夠在每次反向傳播后去除那些不重要的高斯點，并根據需要對高斯點進行分裂或克隆，以保證場景重建的精度和細節。

圖2：訓練過程中高斯點的優化

二、3DGS在自動駕駛仿真中的應用

在自動駕駛領域，3DGS技術被廣泛應用于高保真仿真場景的重建。通過將多視角圖像轉化為3D高斯點云，3DGS能夠快速、精確地重建復雜的街道場景，為自動駕駛系統的訓練和驗證提供真實的虛擬環境。例如，Huang等人提出的S3Gaussian方法，通過自監督學習，從4D一致性中分解動態和靜態元素，實現了高質量的街道場景重建。

此外，Zhou等人提出的DrivingGaussian方法，針對環視動態自動駕駛場景，發展了基于3D高斯的重建仿真技術。該方法能夠有效建模復雜的多尺度背景和前景，提升了自動駕駛系統在復雜環境下的感知能力。

圖3：S3Gaussian方法

圖4：DrivingGaussian方法

1、3DGS的優勢與挑戰

（1）優勢

高效性：通過顯式建模方法，3DGS避免了傳統神經網絡訓練中的計算開銷，訓練速度更快，渲染效率更高。

精度：3D高斯點可以細致地捕捉場景中的每個細節，從而實現高精度的三維重建。

實時性：3DGS支持實時渲染，適合需要快速響應的應用場景，如自動駕駛仿真。

（2）挑戰

場景復雜度：對于極為復雜的三維場景，3DGS可能需要大量的高斯點，這會增加計算負擔和內存消耗。

動態場景的支持：目前，3DGS主要集中在靜態場景的重建，如何高效地處理動態場景中的物體變化，仍然是一個技術挑戰。

三、aiSim的3DGS重建功能

aiSim仿真平臺結合3DGS技術，可以提供強大的三維重建功能，極大地提升了自動駕駛仿真測試的效率和精度。

在aiSim中，3DGS被用于從多視角圖像中重建復雜的三維場景。aiSim能夠精確地捕捉環境的幾何形狀和光照特性，為自動駕駛系統提供高保真的虛擬環境。這種高精度的三維重建使得自動駕駛算法能夠在仿真中進行更為真實的測試，減少了對實際道路測試的依賴。

圖5：大FoV相機渲染出現非一致性（左）重建3DGS渲染方案后（右）

aiSim新構建的GGSR通用高斯潑濺渲染器優化了重建場景下光線追蹤傳感器的渲染效果，增強了廣角鏡頭渲染下的一致性，并能減少偽影的產生，實現高保真度的3DGS重建場景兼容。

在重建的靜態場景之上，aiSim支持自定義動態的場景交通流。通過添加動態實體，aiSim可以模擬交通流、行人行為等動態元素，為自動駕駛系統提供更為全面的測試場景。這種動態重建能力使得aiSim在驗證自動駕駛系統的泛化能力和應對復雜場景的能力方面，展現出了巨大的優勢。

圖6：十字路口車輛起步場景

四、結語

3DGS作為一種新興的三維場景重建技術，憑借其高效、精確和實時的特點，在自動駕駛仿真領域展現出了巨大的潛力。我們有理由相信，未來3DGS將為更多行業帶來創新性的解決方案。

▍參考文獻

1. 3D Gaussian Splatting for Real-Time Radiance Field Rendering

2. S3Gaussian: Self-Supervised Street Gaussians for Autonomous Driving

3. DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes