多約束協(xié)同的彩色夜視影像亞像素超分辨率重建項(xiàng)目摘要

目前序列幀超分辨率重建主要針對理想成像環(huán)境中較高質(zhì)量的影像，大多僅注重空間分辨率的提高，當(dāng)應(yīng)用于夜視影像（具有低照度、運(yùn)動(dòng)遮擋、大噪聲、色彩信息不豐富等特點(diǎn)）時(shí)，效果往往不佳。. 本項(xiàng)目針對夜視影像特點(diǎn)和人眼視覺特性，將提高影像解譯和可視判讀能力作為最終目標(biāo)，研究復(fù)雜夜視場景下的多約束夜視影像超分辨率重建方法。首先，為獲取準(zhǔn)確的運(yùn)動(dòng)信息，建立并改進(jìn)低照度下高精度的TV-L1光流亞像素運(yùn)動(dòng)估計(jì)算法。其次，構(gòu)建保持影像邊緣特性的多尺度雙邊濾波算法來抑制重建中的噪聲放大并調(diào)整影像的高動(dòng)態(tài)范圍。然后，研究基于日光影像統(tǒng)計(jì)特性和簡化顏色空間的夜視場景色彩重構(gòu)算法，改善色彩信息。最后，將上述多約束融入到POCS 重建的整體框架中，相互協(xié)同，迭代重建出空間分辨率和色彩分辨力都極大提高的影像。. 本研究對夜視影像中弱小信息的分割、提取、識別與解譯等各種研究與應(yīng)用都具有十分重要的意義。

本項(xiàng)目針對夜視影像特點(diǎn)（低照度、運(yùn)動(dòng)遮擋、大噪聲、色彩信息不豐富等）和人眼視覺特性，研究并建立了復(fù)雜夜視場景下的多約束彩色夜視影像超分辨率重建方法。該方法在空間分辨率、色彩、紋理信息等各種細(xì)節(jié)上提高了夜視影像的質(zhì)量，最終提高了夜視影像的可視判讀能力。 在開展、完成項(xiàng)目的過程中，項(xiàng)目組按期提交了研究進(jìn)展報(bào)告和結(jié)題報(bào)告。在項(xiàng)目的資助下，項(xiàng)目組已在高水平的國內(nèi)外學(xué)術(shù)期刊/會(huì)議上發(fā)表論文13篇（其中SCI/EI 檢索論文7篇）。以項(xiàng)目為依托，培養(yǎng)研究生11名，培養(yǎng)的研究生（已畢業(yè)）圍繞項(xiàng)目研究已完成相關(guān)學(xué)位論文6篇。通過項(xiàng)目研究，目前已經(jīng)建立了獨(dú)立、穩(wěn)定的科研團(tuán)隊(duì)。 本研究對于夜視影像中弱特征信息的處理，如弱小目標(biāo)分割、特征提取、微弱信息識別與解譯等各種研究與應(yīng)用具有重要意義。

超分辨率(Super-Resolution)即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時(shí)間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實(shí)現(xiàn)時(shí)間分辨率向空間分辨率的轉(zhuǎn)換。

超分辨率圖像重建(Super-Resolution Image Reconstruction)

在大量的電子圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率（簡稱HR）圖像。高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。例如，高分辨率醫(yī)療圖像對于醫(yī)生做出正確的診斷是非常有幫助的；使用高分辨率衛(wèi)星圖像就很容易從相似物中區(qū)別相似的對象；如果能夠提供高分辨的圖像，計(jì)算機(jī)視覺中的模式識別的性能就會(huì)大大提高。自從上世紀(jì)七十年代以來，電荷耦合器件(CCD)、CMOS圖像傳感器已被廣泛用來捕獲數(shù)字圖像。盡管對于大多數(shù)的圖像應(yīng)用來說這些傳感器是合適的，但是當(dāng)前的分辨率水平和消費(fèi)價(jià)格不能滿足今后的需求。例如，人們希望得到一個(gè)便宜的高分辨率數(shù)碼相機(jī)/便攜式攝像機(jī)，或者期望其價(jià)格逐漸下降；科學(xué)家通常需要一個(gè)非常高的接近35毫米模擬膠片的分辨率水平，這樣在放大一個(gè)圖像的時(shí)候就不會(huì)有可見的瑕疵。因此，尋找一種增強(qiáng)當(dāng)前分辨率水平的方法是非常必須的。

增加空間分辨率最直接的解決方法就是通過傳感器制造技術(shù)減少像素尺寸（例如增加每單元面積的像素?cái)?shù)量）。然而，隨著像素尺寸的減少，光通量也隨之減少，它所產(chǎn)生的散粒噪聲使得圖像質(zhì)量嚴(yán)重惡化。不受散粒噪聲的影響而減少像素的尺寸有一個(gè)極限，對于0.35微米的CMOS處理器，像素的理想極限尺寸大約是40平方微米。當(dāng)前的圖像傳感器技術(shù)大多能達(dá)到這個(gè)水平。

另外一個(gè)增加空間分辨率的方法是增加芯片的尺寸，從而增加圖像的容量。因?yàn)楹茈y提高大容量的偶合轉(zhuǎn)換率，因此這種方法一般不認(rèn)為是有效的。在許多高分辨率圖像的商業(yè)應(yīng)用領(lǐng)域，高精度光學(xué)和圖像傳感器的高價(jià)格也是一個(gè)必須考慮的重要因素。因此，有必要采用一種新的方法來增加空間分辨率，從而克服傳感器和光學(xué)制造技術(shù)的限制。

一種很有前途的方法就是采用信號處理的方法從多個(gè)可觀察到的低分辨率（簡稱LR）圖像得到高分辨率圖像。最近這樣的一種分辨率增強(qiáng)技術(shù)正成為最熱的研究領(lǐng)域之一，在文獻(xiàn)中人們把它叫超分辨率（簡稱SR或者HR）圖像復(fù)原或者簡單地叫做分辨率增強(qiáng)。本文中我們用“超分辨率圖像復(fù)原”這個(gè)術(shù)語來指分辨率增強(qiáng)的信號處理方法，因?yàn)樵诳朔头直媛蕡D像系統(tǒng)固有的分辨率限制方面，“超分率”術(shù)語中的“超”字代表了一個(gè)非常好的技術(shù)特性。信號處理方法最大的好處就是它的成本低，同時(shí)現(xiàn)存的低分辨率圖像系統(tǒng)仍能使用。在許多實(shí)際應(yīng)用中，特別是在醫(yī)療圖像、衛(wèi)星圖像和視頻等領(lǐng)域，同樣場景的多幀低分辨率圖像很容易得到的情況下，SR圖像復(fù)原被證明是非常有用的。一種應(yīng)用就是用便宜的LR數(shù)碼相機(jī)/便攜式攝像機(jī)復(fù)原高質(zhì)量的數(shù)字圖像以便打印/停格使用，通常對于一個(gè)便攜式攝像機(jī)，很有可能連續(xù)顯示放大幀；另外一種非常重要的應(yīng)用是在監(jiān)控、法院、科學(xué)、醫(yī)療和衛(wèi)星圖像應(yīng)用中縮放感興趣區(qū)域（簡稱ROI），例如，在監(jiān)控和法院中，數(shù)字?jǐn)z像機(jī)（簡稱DVR）已經(jīng)普遍取代了閉路電視（簡稱CCTV），就很有必要放大場景中的目標(biāo)如汽車牌照或者疑犯的臉部 。在諸如CT和核磁共振（簡稱MRI）等醫(yī)療應(yīng)用中，分辨率質(zhì)量有限的而獲取多幅圖像有是可能的情況下，SR技術(shù)是非常有用的；在遙感和地球資源衛(wèi)星（簡稱LANDSAT）一類衛(wèi)星圖像應(yīng)用中，在同一地區(qū)的多幅圖像可提供的情況下，可以考慮使用SR技術(shù)增強(qiáng)目標(biāo)的分辨率；另外一種非常迫切而現(xiàn)實(shí)的應(yīng)用是把一般的NTSC格式低清電視信號轉(zhuǎn)換為高清電視信號（簡稱HDTV）而不失真地在HDTV上播放。

我們?nèi)绾螐亩喾鵏R圖像中得到HR圖像？在基于SR的空間分辨率增強(qiáng)技術(shù)中，其基本前提是通過同一場景可以獲取多幅LR細(xì)節(jié)圖像。在SR中，典型地認(rèn)為LR圖像代表了同一場景的不同側(cè)面，也就是說LR圖像是基于亞像素精度的平移亞采樣。如果僅僅是整數(shù)單位的像素平移，那么每幅圖像中都包含了相同的信息，這樣就不能為HR圖像的復(fù)原提供新的信息。如果每幅LR圖像彼此之間都是不同的亞像素平移，那么它們彼此之間就不會(huì)相互包含，在這種情況下，每一幅LR圖像都會(huì)為HR圖像的復(fù)原提供一些不同的信息。為了得到同一場景的不同側(cè)面，必須通過一幀接一幀的多場景或者視頻序列的相關(guān)的場景運(yùn)動(dòng)。我們可以通過一臺照相機(jī)的多次拍攝或者在不同地點(diǎn)的多臺照相機(jī)獲取多個(gè)場景，例如在軌道衛(wèi)星一類可控制的圖像應(yīng)用中，這種場景運(yùn)動(dòng)是能夠?qū)崿F(xiàn)的；對于局部對象移動(dòng)或者震蕩一類的不可控制的圖像應(yīng)用也是同樣能實(shí)現(xiàn)的。如果這些場景運(yùn)動(dòng)是已知的或者是在亞像素精度范圍了可估計(jì)的，同時(shí)如果我們能夠合成這些HR圖像，那么SR圖像復(fù)原是可以實(shí)現(xiàn)的.

與SR技術(shù)相關(guān)的一個(gè)課題是圖像修復(fù)，這是一個(gè)在圖像應(yīng)用中被大量處理的領(lǐng)域，圖像修復(fù)的目標(biāo)是恢復(fù)一個(gè)被模糊或者噪聲破壞的圖像，但是它不改變圖像的尺寸。事實(shí)上圖像修復(fù)和SR復(fù)原在理論是完全相關(guān)的，SR復(fù)原可以看作是第二代圖像修復(fù)課題。

與SR技術(shù)相關(guān)的另一個(gè)課題是圖像插值，即增加單幅圖像的尺寸。盡管這個(gè)領(lǐng)域已經(jīng)被廣泛地研究，即使一些基本的功能已經(jīng)建立，從一幅近似的LR圖像放大圖像的質(zhì)量仍然是有限的，這是因?yàn)閷畏鶊D像插值不能恢復(fù)在LR采樣過程中損失的高頻部分。因此圖像插值方法不能被認(rèn)作是SR技術(shù)。為了在這方面有更大的改進(jìn)，下一步就需要應(yīng)用基于同一場景的相關(guān)的額外數(shù)據(jù)?；谕粓鼍暗牟煌挠^察信息的融合就構(gòu)成了基于場景的SR復(fù)原。

由于影像理解的極端復(fù)雜性，從大比例尺航空影像和高分辨率遙感影像自動(dòng)重建建筑物的逼真三維模型距離實(shí)用化還有很大的差距，特別是三維幾何重建和墻面紋理映射的大部分工作仍需由手工完成，這已成為制約高精度三維城市模型快速獲取的瓶頸問題?；谟跋竦娜S城市自動(dòng)建模一直是攝影測量和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)和學(xué)術(shù)前沿。本申請立足于不規(guī)則三角形網(wǎng)絡(luò)（TIN）的自適應(yīng)動(dòng)態(tài)更新和多層次細(xì)節(jié)控制等特點(diǎn)，研究TIN約束下的建筑物三維自動(dòng)重建方法，包括：TIN約束下的立體影像特征點(diǎn)密集匹配與傳播方法和自動(dòng)識別建筑物表面幾何面片并模型化的方法。根據(jù)匹配得到的建筑物密集特征點(diǎn)數(shù)據(jù)建立3D TIN，并融合2D 圖形與屬性信息實(shí)現(xiàn)建筑物三維表面模型的自動(dòng)重建。本項(xiàng)目的研究為基于影像的建筑物三維表面模型自動(dòng)重建提供了一種新的方法，也可以用于對激光掃描(LIDAR)獲得的數(shù)字表面模型數(shù)據(jù)進(jìn)行自動(dòng)處理。 2100433B