多約束協(xié)同的彩色夜視影像亞像素超分辨率重建

本項目針對夜視影像特點（低照度、運動遮擋、大噪聲、色彩信息不豐富等）和人眼視覺特性，研究并建立了復雜夜視場景下的多約束彩色夜視影像超分辨率重建方法。該方法在空間分辨率、色彩、紋理信息等各種細節(jié)上提高了夜視影像的質(zhì)量，最終提高了夜視影像的可視判讀能力。 在開展、完成項目的過程中，項目組按期提交了研究進展報告和結題報告。在項目的資助下，項目組已在高水平的國內(nèi)外學術期刊/會議上發(fā)表論文13篇（其中SCI/EI 檢索論文7篇）。以項目為依托，培養(yǎng)研究生11名，培養(yǎng)的研究生（已畢業(yè)）圍繞項目研究已完成相關學位論文6篇。通過項目研究，目前已經(jīng)建立了獨立、穩(wěn)定的科研團隊。 本研究對于夜視影像中弱特征信息的處理，如弱小目標分割、特征提取、微弱信息識別與解譯等各種研究與應用具有重要意義。

目前序列幀超分辨率重建主要針對理想成像環(huán)境中較高質(zhì)量的影像，大多僅注重空間分辨率的提高，當應用于夜視影像（具有低照度、運動遮擋、大噪聲、色彩信息不豐富等特點）時，效果往往不佳。. 本項目針對夜視影像特點和人眼視覺特性，將提高影像解譯和可視判讀能力作為最終目標，研究復雜夜視場景下的多約束夜視影像超分辨率重建方法。首先，為獲取準確的運動信息，建立并改進低照度下高精度的TV-L1光流亞像素運動估計算法。其次，構建保持影像邊緣特性的多尺度雙邊濾波算法來抑制重建中的噪聲放大并調(diào)整影像的高動態(tài)范圍。然后，研究基于日光影像統(tǒng)計特性和簡化顏色空間的夜視場景色彩重構算法，改善色彩信息。最后，將上述多約束融入到POCS 重建的整體框架中，相互協(xié)同，迭代重建出空間分辨率和色彩分辨力都極大提高的影像。. 本研究對夜視影像中弱小信息的分割、提取、識別與解譯等各種研究與應用都具有十分重要的意義。

超分辨率(Super-Resolution)即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實現(xiàn)時間分辨率向空間分辨率的轉(zhuǎn)換。

超分辨率圖像重建(Super-Resolution Image Reconstruction)

在大量的電子圖像應用領域，人們經(jīng)常期望得到高分辨率（簡稱HR）圖像。高分辨率意味著圖像中的像素密度高，能夠提供更多的細節(jié)，而這些細節(jié)在許多實際應用中不可或缺。例如，高分辨率醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對象；如果能夠提供高分辨的圖像，計算機視覺中的模式識別的性能就會大大提高。自從上世紀七十年代以來，電荷耦合器件(CCD)、CMOS圖像傳感器已被廣泛用來捕獲數(shù)字圖像。盡管對于大多數(shù)的圖像應用來說這些傳感器是合適的，但是當前的分辨率水平和消費價格不能滿足今后的需求。例如，人們希望得到一個便宜的高分辨率數(shù)碼相機/便攜式攝像機，或者期望其價格逐漸下降；科學家通常需要一個非常高的接近35毫米模擬膠片的分辨率水平，這樣在放大一個圖像的時候就不會有可見的瑕疵。因此，尋找一種增強當前分辨率水平的方法是非常必須的。

增加空間分辨率最直接的解決方法就是通過傳感器制造技術減少像素尺寸（例如增加每單元面積的像素數(shù)量）。然而，隨著像素尺寸的減少，光通量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴重惡化。不受散粒噪聲的影響而減少像素的尺寸有一個極限，對于0.35微米的CMOS處理器，像素的理想極限尺寸大約是40平方微米。當前的圖像傳感器技術大多能達到這個水平。

另外一個增加空間分辨率的方法是增加芯片的尺寸，從而增加圖像的容量。因為很難提高大容量的偶合轉(zhuǎn)換率，因此這種方法一般不認為是有效的。在許多高分辨率圖像的商業(yè)應用領域，高精度光學和圖像傳感器的高價格也是一個必須考慮的重要因素。因此，有必要采用一種新的方法來增加空間分辨率，從而克服傳感器和光學制造技術的限制。

一種很有前途的方法就是采用信號處理的方法從多個可觀察到的低分辨率（簡稱LR）圖像得到高分辨率圖像。最近這樣的一種分辨率增強技術正成為最熱的研究領域之一，在文獻中人們把它叫超分辨率（簡稱SR或者HR）圖像復原或者簡單地叫做分辨率增強。本文中我們用“超分辨率圖像復原”這個術語來指分辨率增強的信號處理方法，因為在克服低分辨率圖像系統(tǒng)固有的分辨率限制方面，“超分率”術語中的“超”字代表了一個非常好的技術特性。信號處理方法最大的好處就是它的成本低，同時現(xiàn)存的低分辨率圖像系統(tǒng)仍能使用。在許多實際應用中，特別是在醫(yī)療圖像、衛(wèi)星圖像和視頻等領域，同樣場景的多幀低分辨率圖像很容易得到的情況下，SR圖像復原被證明是非常有用的。一種應用就是用便宜的LR數(shù)碼相機/便攜式攝像機復原高質(zhì)量的數(shù)字圖像以便打印/停格使用，通常對于一個便攜式攝像機，很有可能連續(xù)顯示放大幀；另外一種非常重要的應用是在監(jiān)控、法院、科學、醫(yī)療和衛(wèi)星圖像應用中縮放感興趣區(qū)域（簡稱ROI），例如，在監(jiān)控和法院中，數(shù)字攝像機（簡稱DVR）已經(jīng)普遍取代了閉路電視（簡稱CCTV），就很有必要放大場景中的目標如汽車牌照或者疑犯的臉部 。在諸如CT和核磁共振（簡稱MRI）等醫(yī)療應用中，分辨率質(zhì)量有限的而獲取多幅圖像有是可能的情況下，SR技術是非常有用的；在遙感和地球資源衛(wèi)星（簡稱LANDSAT）一類衛(wèi)星圖像應用中，在同一地區(qū)的多幅圖像可提供的情況下，可以考慮使用SR技術增強目標的分辨率；另外一種非常迫切而現(xiàn)實的應用是把一般的NTSC格式低清電視信號轉(zhuǎn)換為高清電視信號（簡稱HDTV）而不失真地在HDTV上播放。

我們?nèi)绾螐亩喾鵏R圖像中得到HR圖像？在基于SR的空間分辨率增強技術中，其基本前提是通過同一場景可以獲取多幅LR細節(jié)圖像。在SR中，典型地認為LR圖像代表了同一場景的不同側(cè)面，也就是說LR圖像是基于亞像素精度的平移亞采樣。如果僅僅是整數(shù)單位的像素平移，那么每幅圖像中都包含了相同的信息，這樣就不能為HR圖像的復原提供新的信息。如果每幅LR圖像彼此之間都是不同的亞像素平移，那么它們彼此之間就不會相互包含，在這種情況下，每一幅LR圖像都會為HR圖像的復原提供一些不同的信息。為了得到同一場景的不同側(cè)面，必須通過一幀接一幀的多場景或者視頻序列的相關的場景運動。我們可以通過一臺照相機的多次拍攝或者在不同地點的多臺照相機獲取多個場景，例如在軌道衛(wèi)星一類可控制的圖像應用中，這種場景運動是能夠?qū)崿F(xiàn)的；對于局部對象移動或者震蕩一類的不可控制的圖像應用也是同樣能實現(xiàn)的。如果這些場景運動是已知的或者是在亞像素精度范圍了可估計的，同時如果我們能夠合成這些HR圖像，那么SR圖像復原是可以實現(xiàn)的.

與SR技術相關的一個課題是圖像修復，這是一個在圖像應用中被大量處理的領域，圖像修復的目標是恢復一個被模糊或者噪聲破壞的圖像，但是它不改變圖像的尺寸。事實上圖像修復和SR復原在理論是完全相關的，SR復原可以看作是第二代圖像修復課題。

與SR技術相關的另一個課題是圖像插值，即增加單幅圖像的尺寸。盡管這個領域已經(jīng)被廣泛地研究，即使一些基本的功能已經(jīng)建立，從一幅近似的LR圖像放大圖像的質(zhì)量仍然是有限的，這是因為對單幅圖像插值不能恢復在LR采樣過程中損失的高頻部分。因此圖像插值方法不能被認作是SR技術。為了在這方面有更大的改進，下一步就需要應用基于同一場景的相關的額外數(shù)據(jù)?；谕粓鼍暗牟煌挠^察信息的融合就構成了基于場景的SR復原。

由于影像理解的極端復雜性，從大比例尺航空影像和高分辨率遙感影像自動重建建筑物的逼真三維模型距離實用化還有很大的差距，特別是三維幾何重建和墻面紋理映射的大部分工作仍需由手工完成，這已成為制約高精度三維城市模型快速獲取的瓶頸問題。基于影像的三維城市自動建模一直是攝影測量和計算機視覺領域的研究熱點和學術前沿。本申請立足于不規(guī)則三角形網(wǎng)絡（TIN）的自適應動態(tài)更新和多層次細節(jié)控制等特點，研究TIN約束下的建筑物三維自動重建方法，包括：TIN約束下的立體影像特征點密集匹配與傳播方法和自動識別建筑物表面幾何面片并模型化的方法。根據(jù)匹配得到的建筑物密集特征點數(shù)據(jù)建立3D TIN，并融合2D 圖形與屬性信息實現(xiàn)建筑物三維表面模型的自動重建。本項目的研究為基于影像的建筑物三維表面模型自動重建提供了一種新的方法，也可以用于對激光掃描(LIDAR)獲得的數(shù)字表面模型數(shù)據(jù)進行自動處理。 2100433B