隨著自動駕駛技術的飛速發展，行業對測試精度和安全性的要求也越來越高。與傳統的道路測試相比，虛擬仿真能夠模擬各種復雜的駕駛環境，不受天氣、道路條件等因素限制。自動駕駛系統需要依靠搭載的傳感器感知外界環境，識別道路標志、檢測行人、估測物體距離等，從而做出安全、精準的駕駛決策。海克斯康作為自動駕駛汽車開發全鏈路測試方案的提供方，其VTD（Virtual Test Drive）軟件被廣泛應用于各類自動駕駛算法及汽車研發的測試工作中，該軟件在模擬高精度的交通仿真場景的同時，還兼具各類傳感器數據的物理仿真。

海克斯康VTD Camera仿真概述

自動駕駛仿真系統能夠對傳感器數據進行分析處理來感知周圍環境，并以此為依據進行決策。視覺感知是自動駕駛系統的關鍵技術，在傳感器仿真中，相機傳感器尤為重要。基于逼近真實道路場景的視覺環境，VTD的相機傳感器能夠配置現實世界中真實相機的內參外參，模擬鏡頭畸變、CMOS成像、ISP仿真等多種相機成像數據。不僅能夠模擬虛擬環境中的光照、天氣、物體遮擋等因素，還可以還原真實相機的物理特性，更加貼近真實駕駛環境，從而為自動駕駛測試中傳感器算法提供逼真的圖像數據。

Camera仿真的數據鏈路

簡化相機模型

Camera=Lens+Cmos(raw,R/G/B)+ISP(Control+rgb/Yuv)+feature&noise(env&cam)

為了更加真實地模擬實際相機的物理過程，仿真相機傳感器的數據處理鏈路分為鏡頭、CMOS傳感器、圖像信號處理（ISP）模塊，以及特性和噪聲模擬四個主要部分，用以在仿真系統中再現真實相機的工作機制和輸出結果。

1、鏡頭仿真與畸變模擬

鏡頭是光學系統的核心，它決定了光線進入相機時的折射、聚焦和畸變。為了模擬真實相機鏡頭中的畸變效應，VTD提供了lensDistortion工具，包含兩種畸變仿真方法：

方法一：基于OpenCV的參數化方法

該方法依賴于供應商提供的相機規格數據，通過OpenCV的畸變參數（如k1、k2、k3、p1、p2）以及內參矩陣參數（fx、fy、cx、cy），結合相機的視場角（fov）和分辨率（resolution）等數據，進行畸變建模。利用這些參數，我們可以重構鏡頭中的幾何畸變效應，模擬圖像在不同鏡頭下的真實扭曲與變形情況。

方法二：基于實驗的擬合方法

在此方法中，我們使用實際的相機鏡頭進行拍攝實驗，通過實驗數據（如實際Fov、實際像高）結合理論值（理論像高、畸變率、CMOS像素尺寸、分辨率等參數），利用多項式擬合出二者的對應關系。該過程模擬了真實相機鏡頭對圖像的影響，從而獲得最貼近真實情況的畸變效果。

2、CMOS仿真：

CMOS傳感器是相機的核心部件，它將物理世界中的光信號轉換為電信號進行記錄。VTD通過模擬真實相機的CMOS功能模塊，準確再現相機在不同光照條件下的響應特性。

VTD開發了一套完整的圖像色彩轉換流程，涵蓋從真實世界的圖像數據采集、仿真生成，到兩者之間的對比分析與調整。CMOS仿真主要為三通道RGB圖像到RAW圖像的轉換，通過數學擬合方法，對真實相機拍攝的圖像與VTD渲染出的圖像之間的參數進行擬合調整。

針對特定的CMOS傳感器，我們支持基于實驗數據擬合的方式。在暗室環境中使用24色標準色卡進行拍攝實驗，收集相機拍攝到的Raw圖數據，建立VTD渲染的RGB圖像到Raw數據之間映射關系，將RGB圖像轉化為不同格式（如RCCC、YUV）的Raw圖像（如下圖），再現真實相機拍攝下的圖像信號特性。

后處理結果圖和Raw圖

3、ISP仿真：

ISP是實際相機中用于調整和優化圖像質量的模塊，通常包括自動曝光控制、白平衡調節、對比度調整等功能。在仿真世界里，ISP仿真模塊通過VTD中的后處理模塊實現。

VTD在圖像渲染過程中對每個像素的顏色、亮度及其他屬性進一步處理，以模擬真實相機ISP的效果，可以調整圖像的曝光、白平衡，使得輸出圖像在這些參數上與真實相機圖像具有更加一致的色溫，為測試環境提供更為豐富真實的圖像。

曝光效果圖

白平衡效果圖

4、特性（feature）及噪聲（Noise）仿真：

特性是指因相機本身設計而對最終圖像造成的影響效果，例如景深和動態模糊等。景深是和光圈大小，鏡頭焦距，CMOS像素尺寸都相關的一個特性，下圖展示了VTD中對于景深的仿真，可以看到距離最近的骰子相對模糊，而遠處的骰子和車相對清晰。

景深效果圖

噪聲是實際相機在工作過程中不可避免的現象，主要來源于自然環境（如樹葉遮擋、大霧、雨滴、光暈、灰塵等）和硬件缺陷（如傳感器噪聲、硬件劃痕、白平衡偏差等）。為了模擬真實噪聲效果，VTD提供了多種噪聲仿真方法，通過調整物體材質、環境光照及后處理的著色器模塊等，逼真地再現了這些相機噪聲效果。

太陽暈光

鏡頭雨滴

例如，在雨天場景中，仿真相機可以模擬雨滴打在鏡頭上的效果；在晴朗的白天，太陽光照射到相機鏡頭上產生的光暈效果。此外，還可以加入人為的硬件噪聲模擬，如傳感器老化導致的圖像信號損壞或自動白平衡功能失效引起的色彩偏差。這些噪聲模擬的引入，增強了仿真系統在極端場景中的魯棒性測試能力，使得自動駕駛算法在更加多樣性和復雜的環境中得到驗證。

通過這條相機傳感器的數據處理鏈路，VTD能夠模擬相機從光線進入鏡頭、經過CMOS傳感器到ISP處理再到最終圖像輸出的全過程。這不僅使得相機仿真圖像在視覺上高度逼近現實，還為相機感知算法的開發和驗證提供了一個穩定而逼真的測試平臺。

Camera語義分割圖仿真

語義分割圖是指對圖像中的像素點基于目標級別進行分類，使每個像素點都有其對應于三維空間的目標從屬。語義分割圖對于基于視覺的感知算法進行后續工作起著重要作用。VTD中可以根據不同的材質/物體對渲染圖像進行語義分割，通過加載colorSegmentation工程來實現，支持自定義配置。

左圖為原始圖，右圖為對應的語義分割圖

深度圖

深度圖也被稱為距離影像，是指將圖像采集器到場景中各點的距離（深度）作為像素值的圖像。在深度數據流所提供的圖像幀中，每個像素點表示在深度感應器視野中對應的坐標處物體離攝像頭平面最近的表面到該相機平面的距離。

上圖為VTD中的深度圖像截圖，可以將此深度圖像的深度值z-buffer轉換為物體到相機平面的距離。z-buffer 值與物體表面到相機坐標系 xy 平面的距離關系如下：

z = 0.5*(f+n)/(f-n) + (-f*n)/(f-n) * (1/d) + 0.5

其中，z為z-buffer 值（歸一化為0~1），d為物體最近表面到相機坐標系 xy 平面的距離，n和f分別為 近裁剪面和遠裁剪面。z-buffer 值通常在0~1范圍內。z-buffer 值為“0”的像素位于近裁剪面（near clip）上，值為“1”的像素位于遠裁剪面（far clip）上。

多相機組

在空間不同位置上配置多個相機，從不同視角采集圖像或視頻數據，可以實現多視角同步顯示或三維空間投影等功能，滿足多種用戶仿真測試目標。

在VTD的多顯示器相機組中，可以單獨配置每個相機的內參和外參，靈活調節相機的主軸、光心位置、成像平面等，達到工程實際應用的多種需求。下圖展示了相機視錐角度的計算過程。

總結

基于海克斯康提供的VTD虛擬仿真測試方案，在為用戶提供高質量的虛擬交通場景圖像和對標真實相機參數的視覺模擬的同時，還能為自動駕駛系統的測試和優化提供重要的數據支持。同時結合VTD軟件基于光線追蹤技術的其他傳感器仿真方案（激光雷達、毫米波雷達等），一起為自動駕駛仿真提供全方位的支持