紅外相機相關技術的應用是當前的研究熱點。本文通過回顧紅外熱像儀的發展歷程,介紹了紅外熱像儀的幾種主要處理技術,闡述了紅外熱像儀的圖像非均勻性校正、噪聲去除和圖像偽彩色增強技術,并簡要分析了圖像處理中使用的一些主要算法。描述了紅外熱像儀的盲元檢測與補償、測溫、目標檢測和跟蹤技術,通過分析紅外測溫、目標檢測和跟蹤的主要算法,指出了這些技術的優缺點。同時,還介紹了多/高光譜紅外遙感技術的發展及其應用。分析表明,紅外熱像儀處理技術在多個領域得到廣泛應用,尤其在自動駕駛方向具有重要應用價值,本綜述有助于拓展讀者的研究思路和研究方法。
關鍵詞:圖像處理;盲元檢測與補償;紅外熱成像測溫;目標檢測與跟蹤;多/高光譜遙感技術
1 引言
紅外線是一種電磁波,任何溫度高于熱力學絕對零度的物體都會產生紅外輻射。熱紅外成像通常指中紅外成像和遠紅外成像,其利用紅外探測器和光學成像物鏡,接收被測目標的紅外輻射能量,并將其分布模式反映到紅外探測器的感光元件上;探測器將信息傳送給傳感器的電子元件進行圖像處理,從而獲得紅外熱圖像。
紅外熱成像是一種無損、非接觸式檢測技術,最初應用于軍事領域,主要分為兩類:
?
制冷型紅外技術:早期因制冷設備體積大僅用于實驗室,目前研究集中在提高工作溫度、長波探測和系統集成;
?
非制冷型紅外技術:屬于第三代紅外探測技術,采用焦平面探測器和雙色探測器,應用范圍更廣泛。
高光譜遙感是具有高光譜分辨率的遙感技術,以光譜學為基礎,通過捕捉電磁波與物質相互作用的波長變化,提供豐富地物信息,廣泛應用于地質調查、農業、植被遙感、海洋遙感、環境監測等領域。但該技術存在光譜段多、數據冗余問題,需進行降維、去噪等處理。
隨著科技發展,紅外熱成像和高光譜遙感技術的優勢被充分開發,例如被動接收人體輻射形成熱圖像,具有對人體無害、隱蔽性好、可全天候工作等優點,已廣泛應用于醫療、建筑、電力、航空、交通等領域。但紅外熱成像存在圖像對比度低、細節分辨率差等問題,需通過一系列處理步驟優化,本文旨在總結相關研究成果、指出不足,并探討基于深度學習的優化算法及紅外熱像儀的發展方向。
2 紅外熱像儀
2.1 核心組成
熱成像系統包含四個基本組成部分,各部分功能明確:
|
組成部分 |
核心功能 |
|
光學系統 |
將接收的紅外線聚焦到紅外探測器的感光元件上 |
|
紅外探測器 |
核心部件,將紅外輻射轉換為電信號 |
|
電子信息處理系統 |
對電信號進行放大和處理 |
|
顯示系統 |
將電信號以可見光圖像形式顯示在監視器或LED屏幕上 |
圖1 熱成像相機的組成(原文標注:Figure
2.2 成像原理
焦平面熱成像相機采用二維平面探測器結構,具備電子掃描功能,被測目標通過物鏡將紅外線聚焦到紅外探測器陣列平面,原理與攝影相似(如圖2 焦平面熱成像原理,原文標注:Figure
2. Focal plane thermal imaging principle [14])。
焦平面探測器由數萬個傳感元件陣列組成,具有響應率均勻性好、尺寸微米級、功耗低等特點,其中電阻式微測輻射熱計型技術最成熟、應用最廣泛。其工作原理為:紅外輻射通過光學透鏡到達探測像素,引起敏感區域溫度升高,熱膜電阻發生變化(如圖3 非制冷熱成像相機的工作原理,原文標注:Figure 3. Principle of operation of an uncooled
thermal imaging camera [2])。
如圖3所示,R?為內置探測器,R?為工作探測器,R?和R?為標準電阻,E為采樣電信號:
?
無紅外輻射時,橋路平衡,無電壓信號輸出;
?
有紅外輻射時,R?溫度變化導致電阻值改變,電路不平衡,輸出電壓信號。
2.3 關鍵性能指標
紅外熱像儀的核心性能指標包括:像素、空間分辨率、溫度分辨率、最小分辨率、光譜響應、幀率、探測識別距離等。其核心功能是將被測目標的紅外輻射轉換為二維灰度或偽彩色信號,呈現目標的二維溫度分布,可實現遠距離探測、精準制導,且能在雨霧、無光等環境中全天候工作。
3 熱成像相機處理技術
紅外熱像儀采集的圖像存在偏暗、對比度低、分辨率低、邊緣模糊等問題,且受外界環境和設備自身材料影響,測溫精度較低。需通過校正、去噪、增強等處理,提升紅外圖像的測溫精度、對比度、分辨率和信噪比。
3.1 紅外圖像處理技術
3.1.1 非均勻性校正
紅外圖像的非均勻性與制造材料、工藝、器件工作狀態、外部輸入、光學系統影響等相關,需通過校正算法優化。傳統校正方法分為兩類:
|
校正類型 |
具體算法 |
|
基于標定類 |
一點校正法、兩點校正法、多點校正法、插值校正法 |
|
基于場景類 |
時域高通濾波法、神經網絡法、卡爾曼濾波法、基于配準的方法 |
圖4 紅外圖像非均勻性校正算法研究(原文標注:Figure 4. Study of nonuniformity correction
algorithms for infrared images.)
(1)兩點標定校正
當紅外焦平面探測器增益和直流偏置分量不一致時,會產生乘性噪聲和加性噪聲。兩點校正的前提是:探測器單元線性、熱響應率穩定,環境溫度變化小,外部入射紅外能量在標定溫度范圍內,且1/f噪聲可忽略。
?
像素響應輸出表達式:(u??為增益系數,v??為直流偏置系數);
?
校正過程:;
?
校正后輸出:;
?
增益系數與偏置系數:。
圖5 兩點溫度標定示意圖(原文標注:Figure
5. Schematic diagram of the two-point temperature calibration.),其中b為標準像素輸出,左側a為未校正像素輸出,右側a為校正后像素輸出,P?和P?為低溫T?、高溫T?黑體均勻輻射下的探測器像素輸出值。
兩點校正法適用于標定溫度范圍內,超出范圍則會顯現非均勻性。
(2)多點標定校正
在高低溫環境下,紅外焦平面探測器響應元件呈非線性,兩點校正法會引入誤差,需采用多點標定。該方法采用多個不同溫度點,在每個溫度點之間進行兩點標定和多段線性擬合,更貼合探測器非線性響應的實際情況(如圖6 多點溫度標定示意圖,原文標注:Figure
6. Diagram of multi-point temperature calibration.)。
?
多溫度點輸出表達式:;
?
分段校正公式:(φ∈[φ?, φ???],m∈[1, k-1]);
?
通用校正公式:。
多點校正效果優于兩點校正,標定點數越多,校正偏差越小,溫度適應性越強。
(3)BP神經網絡校正
基于神經網絡的校正無需標定,其中BP神經網絡應用最廣泛、技術最成熟。其核心是誤差反向傳播算法:
1.
每個神經元與一個檢測單元相連,信息輸入隱藏層計算;
2.
計算值輸出至輸出層,與神經元期望值對比得到誤差;
3.
超出設定范圍的誤差反向傳播,修改權重系數;
4.
反復學習直至誤差小于設定閾值。
3.1.2 圖像去噪
紅外圖像受探測器材料、加工方法、外界環境影響,噪聲嚴重,需通過去噪處理提升視覺質量。傳統去噪研究集中在空間域和變換域,具體算法分類如下:
圖7 紅外圖像去噪算法研究(原文標注:Figure 7. Research on infrared image denoising
algorithms.)
近年來,基于深度學習的去噪成為主流,主要分為兩類:
?
多層感知器網絡模型;
?
基于卷積神經網絡的去噪(含固定尺度和變換尺度)。
代表性算法包括:
?
DnCNN(2017年提出):借鑒ResNet殘差學習,輸出原始圖像與重建圖像的殘差圖像,采用批量標準化技術,訓練效率和性能優異;
?
FFDnet(2018年提出):快速去噪解決方案;
?
其他:DeCS-net(適用于高光譜圖像去噪)、MCN網絡(適用于合成孔徑雷達圖像斑點噪聲去除)等。
3.1.3 圖像增強
紅外圖像增強的核心是強化有用信息、抑制無用信息,提升人眼對感興趣區域的識別度。算法分為傳統算法(基于空間域和頻域)和基于深度學習的算法(主流方向),具體分類如下:
圖8 紅外圖像增強算法(原文標注:Figure
8. Infrared image enhancement algorithms.)
主流傳統算法特點:
|
算法類型 |
核心原理 |
優缺點 |
|
直方圖均衡化 |
壓縮少像素灰度級、放大多像素灰度值,均勻化灰度分布 |
提升整體對比度,但會增強噪聲、丟失弱小目標 |
|
改進型直方圖算法 |
雙平臺直方圖均衡化、對比度受限自適應直方圖均衡化等 |
減少噪聲,優化對比度提升效果 |
|
自適應分段線性變換 |
拓寬目標分布窄區域,增強目標與背景對比度 |
突出感興趣區域,強化細節邊緣 |
|
Retinex增強 |
基于物體表面反射率與光照無關的理論,分解圖像亮度為反射率和入射光 |
提升圖像細節和動態范圍 |
|
傅里葉變換增強 |
低通濾波平滑圖像、高通濾波銳化圖像,突出輪廓特征和細節 |
兼顧平滑與銳化效果 |
|
小波變換增強 |
分離不同分辨率細節特征,非線性變換增強細節、抑制噪聲 |
增強細節的同時減少噪聲放大 |
此外,美國FILIR公司提出的數字細節增強技術,能有效壓縮紅外圖像動態范圍、保留弱小目標信息,是目前先進的紅外圖像增強方法,但核心技術未公開。
3.2 盲元檢測與補償
紅外焦平面陣列中存在盲元(過熱元、死元),會導致圖像出現亮斑或暗斑,需通過“檢測-定位-補償”流程處理,避免過檢測(正常像素誤判為盲元)和漏檢測(盲元誤判為正常像素)。
3.2.1 盲元檢測方法
|
檢測方法 |
核心原理 |
|
滑動窗口法 |
以待檢測像素為中心構建(2n+1)(2n+1)窗口,計算窗口內像素灰度值的最大值、最小值、平均值,當偏差Δ≥10%時判定為盲元 |
|
響應特性法 |
對比過熱元、死元、正常像素的響應溫度曲線,死元/過熱元曲線基本不變,正常像素曲線隨溫度變化 |
|
運動場景法 |
采用n×n窗口,以偏差Δ≥0.1為判定標準 |
|
積分時間調整法 |
調整積分時間,獲取不同時刻紅外焦平面響應輸出值,通過輸出差值檢測盲元 |
3.2.2 盲元補償算法
|
補償算法 |
核心原理 |
適用場景 |
|
鄰域替換法 |
用盲元周圍有效單元值的平均值替換盲元像素值 |
孤立盲元(大面積盲元效果差) |
|
時空相關性補償法 |
結合像素時間相關性(前一幀補償后單元值)和空間相關性,計算補償值 |
各類盲元(補償效果更優) |
3.3 紅外熱成像測溫技術
3.3.1 測溫原理
熱成像相機通過接收物體輻射能量生成信號,進而確定溫度,接收的輻射能量包括物體輻射能、大氣輻射能、環境反射輻射能。測溫遵循斯蒂芬–玻爾茲曼定律:,其中:
?
E為物體輻射功率;
?
ε為材料發射率;
?
σ為斯蒂芬-玻爾茲曼常數;
?
T為物體絕對溫度。
通過計算不同來源的輻射信號,對照標定曲線得到對應溫度,最終在顯示設備上呈現。
3.3.2 熱像儀標定
黑體是測溫標定的標準參考物,具有完全吸收任意波段電磁波、無反射無透射的特性(熱平衡狀態下發射系數和吸收系數均為1)。實際應用中,封閉等溫腔體上的小孔可模擬黑體輻射(稱為黑體爐)。
標定要求:
?
環境條件:室內溫度(23±5)℃,濕度≤85%RH,無強環境輻射;
?
標定流程:將熱像儀對準多個已知溫度的黑體,記錄每個黑體的輻射信號與溫度對應關系,形成標定曲線并存儲;測溫時,紅外探測器接收輻射信號后,通過標定曲線轉換為溫度。
3.4 目標檢測與跟蹤
紅外熱像儀的目標檢測主要針對人和車輛,核心流程為“圖像預處理→目標檢測→軌跡跟蹤”,不受光照條件影響,可在晝夜、雨霧等惡劣環境下工作,但遠距離監控時無法清晰識別面部和外貌特征。
3.4.1 預處理環節
包括圖像去噪、增強、非均勻性校正,為后續目標檢測奠定基礎。
3.4.2 檢測算法分類
|
算法類型 |
核心流程/特點 |
代表性算法 |
|
傳統檢測算法 |
目標區域框選→特征提取→分類器分類 |
特征提取:選擇性搜索、Edge Boxes;分類器:Adaboost、SVM |
|
基于深度學習的檢測算法 |
兩階段檢測(候選區域劃分→目標判斷)或單階段檢測(區域劃分與目標判斷結合) |
兩階段:R-CNN、Fast R-CNN、Faster R-CNN;單階段:SSD、YOLO系列(YOLOv2/3/4/5) |
深度學習算法優勢:訓練過程中自動提取紅外圖像特征(底層卷積獲取位置信息,高層卷積獲取語義信息),檢測效率和精度優于傳統算法。
4 多/高光譜熱紅外遙感
4.1 技術分類(按波段數量與光譜分辨率)
|
技術類型 |
波段數量 |
應用場景 |
|
多光譜成像技術 |
可見光-近紅外范圍內少數波段 |
常規地物識別、大范圍監測 |
|
高光譜成像技術 |
可見光-近紅外范圍內數百個波段 |
精細地物細分、光譜特征分析 |
|
超高光譜成像技術 |
可見光-近紅外范圍內數千個波段 |
高精度物質識別、微量成分檢測 |
4.2 核心特性與技術要點
高光譜遙感技術的核心是“圖譜合一”,獲取的數據為“數據立方體”,包含空間、輻射、光譜三重信息:
?
空間維度:呈現目標的空間分布;
?
光譜維度:每個空間單元可分解為數十至數百個窄波段,實現連續光譜覆蓋。
高光譜紅外成像系統采用面陣紅外探測器,通過光學分光棱鏡或光柵固定光譜波段,結合平臺移動掃描實現高光譜三維成像。
關鍵技術包括:
1.
高光譜圖像分類與特征識別;
2.
數據處理(數據降維、大氣校正等):
?
降維方法:卷積運算、最小噪聲分量變換;
?
大氣校正:ATREM模型、ACON模型、FLAASH模型(基于MODERAN 4+輻射傳輸模型,校正精度高)。
4.3 技術不足
?
數據冗余與維度災難:需有效降維和選波段;
?
空間分辨率低:光譜分辨率提高導致混合像元增多;
?
抗噪聲能力弱:相比全色、多光譜圖像更易受噪聲干擾;
?
信息利用不充分:空間和光譜信息在目標檢測、分類中未充分挖掘。
5 應用領域
5.1 紅外熱成像處理技術的應用
(1)交通領域
?
鐵路:火車車輪、軸承、熱軸箱測溫報警;
?
汽車:發動機、輪胎測溫,汽車防撞系統;
?
船舶:橋梁防撞預警系統;
?
航空:機身內部缺陷檢測、機場跑道異物識別與預警。
(2)醫療領域
?
疾病診斷:組織器官炎癥、疼痛、血液循環檢查,惡性腫瘤輔助診斷及轉移趨勢判斷;
?
體溫篩查:新冠疫情期間廣泛用于人員密集場所;
?
制藥監測:實時監測藥片表面溫度分布。
(3)軍事領域
?
偵察:地面/海洋/航天偵察,穿透偽裝探測地下/水下目標;
?
武器相關:導彈預警、夜視作戰、炸藥溫升特性研究。
(4)電力領域
?
設備檢修:輸變電設備、變壓器、配電柜等過熱故障檢測與定位;
?
優勢:非接觸測溫、精度高、安全性強,預防設備損壞和電網大面積停電。
(5)安防領域
?
火災救援:穿透煙霧和障礙物尋找被困人員及隱藏火源;
?
森林火災檢測:結合衛星導航建立快速預警系統;
?
公共安全:安防監控、刑事證據搜索。
5.2 多/高光譜遙感技術的應用
|
應用領域 |
核心應用場景 |
技術優勢 |
|
地質調查 |
蝕變帶識別、礦產勘探、地下目標表征、煤火動態檢測 |
精細光譜特征分析,提升找礦和地質災害監測精度 |
|
農業與植被遙感 |
植物物種區分、水分脅迫檢測、作物長勢監測與產量預估 |
光譜發射率反演,實現精準農業管理 |
|
海洋遙感 |
海洋油污染監測、海水溫度分布分析、海洋植被生長狀況評估 |
大范圍、無接觸監測,快速獲取海洋生態環境信息 |
|
環境監測 |
礦山污染檢測、土壤水分時空分布監測、地表溫度估算 |
動態監測能力強,為環境治理提供數據支撐 |
|
其他領域 |
軍事目標識別、材料表面發射率檢測、巖性分類mapping |
高光譜分辨率優勢,實現高精度物質識別 |
6 結論
紅外成像技術具有隱蔽性好、抗干擾強、目標識別能力突出、可全天候工作等特點,能在黑暗、煙霧等環境中探測目標,極大拓展了人類感知范圍。隨著產品成本降低,其民用領域應用不斷擴大(2020年全球民用紅外市場因新冠疫情測溫需求大幅增長,長期來看仍將快速發展)。
多/高光譜紅外遙感技術憑借“圖譜合一”的優勢,在地質、農業、環境等領域的精細監測中發揮重要作用,但需持續解決數據冗余、空間分辨率低、抗噪聲能力弱等問題。
未來,紅外熱成像設備將成為自動駕駛車載攝像和檢測設備的核心組成部分。目前其在汽車輔助駕駛中的應用仍處于較低水平,但隨著自動駕駛技術的發展,應用空間和潛力巨大。
