多深度融合感知的多視點(diǎn)視頻聯(lián)合處理與高效編碼結(jié)題摘要

本項(xiàng)目執(zhí)行期間，圍繞感知的多視點(diǎn)視頻處理的關(guān)鍵問題，抓住視覺媒體技術(shù)高速發(fā)展與廣泛應(yīng)用、視覺信息感知多元化的契機(jī)，研究多視點(diǎn)視頻中立體視覺的感知機(jī)制與編碼優(yōu)化模型。重點(diǎn)研究研究多視點(diǎn)深度協(xié)同的優(yōu)化方法，通過提出跨視點(diǎn)的宏超像素單元及聯(lián)合優(yōu)化，實(shí)現(xiàn)全局優(yōu)化的多視點(diǎn)深度場(chǎng)；構(gòu)建多深度融合感知的顯著性計(jì)算模型，采用聚類方法，提升深度顯著度計(jì)算中的魯棒性；進(jìn)一步在多視點(diǎn)光場(chǎng)數(shù)據(jù)上研究深度感知優(yōu)化的碼率分配方法和技術(shù)，實(shí)現(xiàn)多深度感知的多視點(diǎn)視頻高效編碼。最終取得核心理論與關(guān)鍵技術(shù)上的突破，實(shí)現(xiàn)原創(chuàng)性的科研成果，建立感知的多視點(diǎn)三維視頻數(shù)據(jù)高效處理平臺(tái)，進(jìn)一步推動(dòng)三維視頻在視覺感知表示、多視聯(lián)合處理、高效感知編碼等方面的研究與發(fā)展。

現(xiàn)實(shí)場(chǎng)景的三維視頻表示在軍事、航天、醫(yī)療、影視制作等領(lǐng)域有著廣泛的應(yīng)用前景，以深度感知為核心的視覺特性驅(qū)動(dòng)的三維視頻處理是當(dāng)前國(guó)際研究的前沿與熱點(diǎn)，涉及視覺機(jī)理、圖像處理與優(yōu)化等多個(gè)學(xué)科方向的交叉，其挑戰(zhàn)在于以多視點(diǎn)深度感知為驅(qū)動(dòng)的多視點(diǎn)視頻聯(lián)合處理，涉及到的核心問題包括：時(shí)-空-視多深度感知一致性、雙目深度感知測(cè)度、多深度感知下的高效編碼方法等。本項(xiàng)目力圖揭示三維視頻在信號(hào)處理與視覺感知處理之間的協(xié)同優(yōu)化機(jī)理，研究多視點(diǎn)深度協(xié)同的優(yōu)化方法，探索時(shí)-空-視多深度場(chǎng)的幾何與深度感知一致性難題，實(shí)現(xiàn)全局優(yōu)化的多視點(diǎn)深度場(chǎng)；構(gòu)建多深度融合感知的顯著性計(jì)算模型，探索深度感知優(yōu)化的碼率分配方法和技術(shù)，實(shí)現(xiàn)多深度感知的多視點(diǎn)視頻高效編碼，解決多深度感知驅(qū)動(dòng)的三維視頻處理的關(guān)鍵問題，建立多深度感知的多視點(diǎn)視頻聯(lián)合處理與高效編碼平臺(tái)，在理論和關(guān)鍵技術(shù)研究上取得突破，推動(dòng)以多視點(diǎn)為核心的三維視頻的廣泛應(yīng)用。

在H.264/MPEG-4AVC視頻壓縮標(biāo)準(zhǔn)提出的，一個(gè)使用單一視頻流對(duì)于多臺(tái)攝像機(jī)同時(shí)采集的視頻進(jìn)行高效編碼的編碼標(biāo)準(zhǔn)。多視點(diǎn)視頻編碼主要用于編碼立體（雙視圖）的視頻，以及自由視點(diǎn)電視和多視圖三維電視。

三維視頻能夠提供生動(dòng)逼真的自然場(chǎng)景信息,在全景視頻、交互式立體視頻和多視點(diǎn)視頻等方面有著廣泛應(yīng)用,將成為信息市場(chǎng)的經(jīng)濟(jì)增長(zhǎng)點(diǎn)。國(guó)際相關(guān)組織正致力于它的技術(shù)開發(fā)和標(biāo)準(zhǔn)化工作。MVC是三維視頻的關(guān)鍵技術(shù)。課題進(jìn)行以下創(chuàng)新性研究，以提高M(jìn)VC編碼效率。提出區(qū)域視點(diǎn)差技術(shù),提高視點(diǎn)差估計(jì)精確度。為了去除視圖間冗余度,對(duì)空間直接模式等做擴(kuò)展研究，修改H.264/AVC語法語義。提出固定基本視圖和臨時(shí)基本視圖相結(jié)合的MVC預(yù)測(cè)編碼新結(jié)構(gòu)，改善P視圖和B視圖后繼的預(yù)測(cè)視圖質(zhì)量；在參與式視頻會(huì)議一類應(yīng)用中，計(jì)算選擇參會(huì)者正面攝象機(jī)為基本視點(diǎn)，提高編碼效率。按照新提出的視圖間平均亮度主要具有乘性關(guān)系，實(shí)現(xiàn)視圖間亮度差補(bǔ)償和色度校正。預(yù)計(jì)成果有10多篇高水平論文，申請(qǐng)4項(xiàng)發(fā)明專利，爭(zhēng)取有提案被國(guó)際標(biāo)準(zhǔn)化組織最終接受。總體研究水平和國(guó)際同步。課題組已做深入研究并已有兩個(gè)提案進(jìn)入國(guó)際標(biāo)準(zhǔn)化會(huì)議ad hoc組。

《計(jì)算機(jī)科學(xué)技術(shù)名詞 》第三版