多視點視頻追蹤問題的研究

為了解決如何在很擁擠的環(huán)境下，以及在各個攝像鏡頭的區(qū)域之間有重疊或者沒有重疊情形下追蹤目標物體的問題，我們提出了一種先混合多個視角的視頻數(shù)據(jù)，再檢測背景和前景信息從而進行目標追蹤的多視角目標追蹤算法。在我們的項目中，首先通過將各個視點的信息投影到參考平面以及平行于參考平面的多個平行平面的投影方法混合各個視角內(nèi)信息形成一個四階張量，然后使用增長的張量子空間算法建立背景模型進行前景分割。在對圖像進行預處理階段，我們提出了一類新的凸優(yōu)化模型用于去除帶模糊的乘法噪音。更進一步，我們有提出了使用框架分解和基于l_1范數(shù)的L-curve曲線方法對帶模糊的乘法噪音問題進行處理。最后對目標區(qū)域應用貝葉斯定律以及粒子濾波等方法來進行追蹤，連續(xù)兩幀之間的目標運動使用一種仿射的圖像變換來模擬。為了提高運算速度以及增加結(jié)果的準確性，項目組計劃使用并行算法以及在預測目標運動的階段引入時間序列分析的方法，目前這些工作仍然在繼續(xù)進行之中。最后的試驗結(jié)果表明我們的項目所提出方法可以在處理陰影，遮擋，擁擠環(huán)境中的多個目標的追蹤等困難問題上能取得比較好的的試驗成果，可以為項目的進一步研究打下一個良好的基礎。

在本項目中，我們提出一種先混合多個視角的視頻數(shù)據(jù)，再檢測背景和前景信息從而進行目標追蹤的多視角目標追蹤算法?，F(xiàn)在流行的使用數(shù)個攝像頭視角進行追蹤的算法都是先檢測不同鏡頭內(nèi)多個目標的特征信息進行前景背景分析，然后將得到的信息混合起來進行目標追蹤。然而這種在單個攝像頭視角內(nèi)檢測信息的方法受環(huán)境影響很大，例如發(fā)光物體的反射和陰影，以及各個目標之間有無遮擋的情況等。在我們的項目中，首先通過將各個視點的信息投影到參考平面以及平行于參考平面的多個平行平面的投影方法混合各個視角內(nèi)信息形成一個四階張量，然后使用增長的張量子空間算法建立背景模型進行前景分割，最后對目標區(qū)域應用貝葉斯定律以及粒子濾波等方法來進行追蹤，我們將對比現(xiàn)在流行的各種視頻追蹤算法的結(jié)果來驗證我們的結(jié)論。項目預期我們的方法可以在處理陰影，遮擋，擁擠環(huán)境中多個目標的追蹤等困難問題上能取得一定的研究成果，為進一步的研究打下一個良好的基礎。

在H.264/MPEG-4AVC視頻壓縮標準提出的，一個使用單一視頻流對于多臺攝像機同時采集的視頻進行高效編碼的編碼標準。多視點視頻編碼主要用于編碼立體（雙視圖）的視頻，以及自由視點電視和多視圖三維電視。

三維視頻能夠提供生動逼真的自然場景信息,在全景視頻、交互式立體視頻和多視點視頻等方面有著廣泛應用,將成為信息市場的經(jīng)濟增長點。國際相關組織正致力于它的技術(shù)開發(fā)和標準化工作。MVC是三維視頻的關鍵技術(shù)。課題進行以下創(chuàng)新性研究，以提高MVC編碼效率。提出區(qū)域視點差技術(shù),提高視點差估計精確度。為了去除視圖間冗余度,對空間直接模式等做擴展研究，修改H.264/AVC語法語義。提出固定基本視圖和臨時基本視圖相結(jié)合的MVC預測編碼新結(jié)構(gòu)，改善P視圖和B視圖后繼的預測視圖質(zhì)量；在參與式視頻會議一類應用中，計算選擇參會者正面攝象機為基本視點，提高編碼效率。按照新提出的視圖間平均亮度主要具有乘性關系，實現(xiàn)視圖間亮度差補償和色度校正。預計成果有10多篇高水平論文，申請4項發(fā)明專利，爭取有提案被國際標準化組織最終接受。總體研究水平和國際同步。課題組已做深入研究并已有兩個提案進入國際標準化會議ad hoc組。

隨著電子和計算技術(shù)的飛速發(fā)展，可視技術(shù)已經(jīng)日趨成熟并且被廣泛地應用到不同的領域當中，現(xiàn)在人們已經(jīng)不滿足于傳統(tǒng)視頻所提供的簡單視覺信息，需要立體的、交互的和多元化的視頻服務，作為新型媒體的多視點視頻正好可以滿足上述需求，因此對它的研究備受重視。我們的研究目標就是要利用多視點視頻更好地為人類生活服務，而要讓多視點視頻真正發(fā)揮出其強大的威力，就要解決多視點視頻采集與存儲問題、多視點視頻在不同帶寬上的有效傳輸問題和視角之間的切換問題。研究內(nèi)容如下：.（1）分布式多視點視頻的采集和存儲問題，即如何通過多視點視頻采集系統(tǒng)最大限度地獲取原始視頻數(shù)據(jù)并傳輸給服務器進行處理。.（2）基于視間預測的多視點視頻編碼問題，即如何高效地編碼采集到的多視點視頻數(shù)據(jù)使其適應不同帶寬的傳輸要求。.（3）多視點視頻編碼傳輸中的視點切換問題，即如何在保證質(zhì)量和低延遲的情況下，將客戶需要的視角進行選擇傳輸和隨機切換。