多視點視頻的表達與交互基本信息

隨著電子和計算技術(shù)的飛速發(fā)展，可視技術(shù)已經(jīng)日趨成熟并且被廣泛地應(yīng)用到不同的領(lǐng)域當(dāng)中，現(xiàn)在人們已經(jīng)不滿足于傳統(tǒng)視頻所提供的簡單視覺信息，需要立體的、交互的和多元化的視頻服務(wù)，作為新型媒體的多視點視頻正好可以滿足上述需求，因此對它的研究備受重視。我們的研究目標(biāo)就是要利用多視點視頻更好地為人類生活服務(wù)，而要讓多視點視頻真正發(fā)揮出其強大的威力，就要解決多視點視頻采集與存儲問題、多視點視頻在不同帶寬上的有效傳輸問題和視角之間的切換問題。研究內(nèi)容如下：.（1）分布式多視點視頻的采集和存儲問題，即如何通過多視點視頻采集系統(tǒng)最大限度地獲取原始視頻數(shù)據(jù)并傳輸給服務(wù)器進行處理。.（2）基于視間預(yù)測的多視點視頻編碼問題，即如何高效地編碼采集到的多視點視頻數(shù)據(jù)使其適應(yīng)不同帶寬的傳輸要求。.（3）多視點視頻編碼傳輸中的視點切換問題，即如何在保證質(zhì)量和低延遲的情況下，將客戶需要的視角進行選擇傳輸和隨機切換。

在H.264/MPEG-4AVC視頻壓縮標(biāo)準(zhǔn)提出的，一個使用單一視頻流對于多臺攝像機同時采集的視頻進行高效編碼的編碼標(biāo)準(zhǔn)。多視點視頻編碼主要用于編碼立體（雙視圖）的視頻，以及自由視點電視和多視圖三維電視。

三維視頻能夠提供生動逼真的自然場景信息,在全景視頻、交互式立體視頻和多視點視頻等方面有著廣泛應(yīng)用,將成為信息市場的經(jīng)濟增長點。國際相關(guān)組織正致力于它的技術(shù)開發(fā)和標(biāo)準(zhǔn)化工作。MVC是三維視頻的關(guān)鍵技術(shù)。課題進行以下創(chuàng)新性研究，以提高MVC編碼效率。提出區(qū)域視點差技術(shù),提高視點差估計精確度。為了去除視圖間冗余度,對空間直接模式等做擴展研究，修改H.264/AVC語法語義。提出固定基本視圖和臨時基本視圖相結(jié)合的MVC預(yù)測編碼新結(jié)構(gòu)，改善P視圖和B視圖后繼的預(yù)測視圖質(zhì)量；在參與式視頻會議一類應(yīng)用中，計算選擇參會者正面攝象機為基本視點，提高編碼效率。按照新提出的視圖間平均亮度主要具有乘性關(guān)系，實現(xiàn)視圖間亮度差補償和色度校正。預(yù)計成果有10多篇高水平論文，申請4項發(fā)明專利，爭取有提案被國際標(biāo)準(zhǔn)化組織最終接受?？傮w研究水平和國際同步。課題組已做深入研究并已有兩個提案進入國際標(biāo)準(zhǔn)化會議ad hoc組。

本項目執(zhí)行期間，圍繞感知的多視點視頻處理的關(guān)鍵問題，抓住視覺媒體技術(shù)高速發(fā)展與廣泛應(yīng)用、視覺信息感知多元化的契機，研究多視點視頻中立體視覺的感知機制與編碼優(yōu)化模型。重點研究研究多視點深度協(xié)同的優(yōu)化方法，通過提出跨視點的宏超像素單元及聯(lián)合優(yōu)化，實現(xiàn)全局優(yōu)化的多視點深度場；構(gòu)建多深度融合感知的顯著性計算模型，采用聚類方法，提升深度顯著度計算中的魯棒性；進一步在多視點光場數(shù)據(jù)上研究深度感知優(yōu)化的碼率分配方法和技術(shù)，實現(xiàn)多深度感知的多視點視頻高效編碼。最終取得核心理論與關(guān)鍵技術(shù)上的突破，實現(xiàn)原創(chuàng)性的科研成果，建立感知的多視點三維視頻數(shù)據(jù)高效處理平臺，進一步推動三維視頻在視覺感知表示、多視聯(lián)合處理、高效感知編碼等方面的研究與發(fā)展。