多攝像機(jī)視頻監(jiān)控中的人物角色分類技術(shù)研究結(jié)題摘要

監(jiān)控場(chǎng)景中的動(dòng)作聚類、事件解譯以及人物角色分類是計(jì)算機(jī)視覺領(lǐng)域的難點(diǎn)問題，目前本領(lǐng)域的研究人員更多的是考慮低層語(yǔ)義信息，如物體檢測(cè)、跟蹤等。本項(xiàng)目研究視頻監(jiān)控場(chǎng)景中的人物角色分類相關(guān)理論與關(guān)鍵技術(shù)，特別是針對(duì)所提取特征的多樣性和異構(gòu)性，執(zhí)行角色識(shí)別的模型選擇。本項(xiàng)目執(zhí)行三年來形成一系列成果，包括專利7項(xiàng)、期刊論文6篇（含SCI檢索國(guó)際期刊5篇）、會(huì)議論文14篇（含ACM MM、INFOCOM、ICIP、ICME、ICASSP等國(guó)際著名會(huì)議）。本項(xiàng)目研究成果可為人物角色分類技術(shù)在實(shí)時(shí)視頻監(jiān)控、視頻分析和檢索和視頻數(shù)據(jù)挖掘等語(yǔ)義檢索層面的應(yīng)用提供理論指導(dǎo)。

本項(xiàng)目研究多攝像機(jī)視頻監(jiān)控場(chǎng)景中的人物角色分類相關(guān)理論與關(guān)鍵技術(shù)，內(nèi)容包括：1）針對(duì)傳統(tǒng)的攝像機(jī)規(guī)劃技術(shù)僅針對(duì)靜態(tài)的場(chǎng)景，或者說只能使用脫機(jī)的方法的弊端，我們研究針對(duì)異構(gòu)攝像機(jī)的三維人物主動(dòng)跟蹤中在線攝像機(jī)規(guī)劃問題；2）針對(duì)光照變化、背景擾動(dòng)和運(yùn)動(dòng)目標(biāo)引起的背景變化對(duì)運(yùn)動(dòng)檢測(cè)和分割，從背景的快速建模和更新的角度研究目標(biāo)人物視覺信息提??；3）針對(duì)運(yùn)動(dòng)分割的結(jié)果，我們研究人物衣著分析技術(shù)以識(shí)別出人物所穿的服裝是否為保存于服裝庫(kù)中的某套衣服，并標(biāo)定出這套衣服；4）有重疊視域的情況下，多攝像機(jī)與單攝像機(jī)相比提供了關(guān)于被跟蹤目標(biāo)的更多有效信息，我們研究使用多攝像機(jī)從多時(shí)空、多視角和多模態(tài)三個(gè)方面進(jìn)行人物行為分析；5）針對(duì)所提取特征的多樣性和異構(gòu)性，執(zhí)行角色識(shí)別的模型選擇。研究成果為人物角色分類技術(shù)在實(shí)時(shí)視頻監(jiān)控、視頻分析和檢索和視頻數(shù)據(jù)挖掘等語(yǔ)義檢索層面的應(yīng)用提供理論指導(dǎo)。

建造師（Architect），宇宙長(zhǎng)老會(huì)成員，是漫威作品中的角色。

登場(chǎng)作品：【復(fù)仇者（Avengers）】#28(1966年5月)。2100433B

數(shù)字?jǐn)z像機(jī)自從問世以來，記錄圖像的質(zhì)量飛快發(fā)展。數(shù)字?jǐn)z像機(jī)隨著攝像機(jī)普及的程度不斷提高，在各個(gè)領(lǐng)域中人們使用數(shù)字?jǐn)z像機(jī)的頻率不斷加大。數(shù)字?jǐn)z像機(jī)的種類也是紛繁眾多，根據(jù)不同的用途，不同的分類方法將數(shù)攝像機(jī)進(jìn)行了多種方式的分類。

• 一、按照成像質(zhì)量分類

1.廣播級(jí)攝像機(jī)這類攝像機(jī)圖像質(zhì)量非常高，色彩影調(diào)還原逼真，調(diào)整精度比較高，工作性能全面，但價(jià)格比較貴。標(biāo)清廣播級(jí)像素面積為720×576（PAL），傳輸碼率為50Mb′s，高清廣播級(jí)像素面積為1920×1080（PAL），傳輸碼率為50Mb/s。廣播級(jí)攝像機(jī)主要應(yīng)用于數(shù)字電影拍攝制作和廣播電視領(lǐng)域，如電視臺(tái)、廣告公司和影視劇制作單位的拍攝使用。

2.專業(yè)級(jí)攝像機(jī)（又稱業(yè)務(wù)用攝像機(jī)）

專業(yè)級(jí)攝像機(jī)應(yīng)用在廣播電視以外的專業(yè)領(lǐng)域中，如教育領(lǐng)域、部隊(duì)科教宣傳方面、工業(yè)生產(chǎn)領(lǐng)域、醫(yī)療衛(wèi)生領(lǐng)域等。這就突出強(qiáng)調(diào)了攝像機(jī)的要求要輕便、價(jià)錢便宜，圖像質(zhì)量低于廣播專用的攝像機(jī)，標(biāo)清業(yè)務(wù)級(jí)像素面積為720×576（PAL），傳輸碼率為25Mb/s，高清廣播級(jí)像素面積為1280×720（PAL），傳輸碼率為25Mb/s。

3.民用級(jí)攝像機(jī)（又稱家用攝像機(jī)）

民用攝像機(jī)應(yīng)用在圖像質(zhì)量要求不高的場(chǎng)合，如DV格式的數(shù)字掌中寶攝像機(jī)，標(biāo)清攝像機(jī)面積為720×576（PAL），高清一般能達(dá)到1280×720（PAL）傳輸碼率，水平清晰度約在500電視線，信噪比約在50dB，這類攝像機(jī)具有超小型化的特點(diǎn)，比如SONY/ PANASONIC/JvC掌中寶系列的攝像機(jī)都屬于這種類型，因此，使許多特殊條件下的拍攝成為可能。體育的特技攝像,小型攝像機(jī)機(jī)頭可安裝在主裁判的保護(hù)面罩上;國(guó)際摩托車比賽,小型攝像機(jī)可安裝在摩托車上,從運(yùn)動(dòng)員角度進(jìn)行攝像等,這些在節(jié)目制作上有一定的作用。在近幾年的發(fā)展中民用攝像機(jī)也逐步跨入高清的領(lǐng)域,成像質(zhì)量也得到了飛速發(fā)展。民用攝像機(jī)的另一個(gè)特點(diǎn)是價(jià)格最便宜,我國(guó)這類攝像機(jī)正在以迅雷之勢(shì)開始普及,如今普遍進(jìn)入家庭消費(fèi),因而稱之為家用攝像機(jī)。

• 二、根據(jù)節(jié)目制作方式分類

在廣播電視領(lǐng)域根據(jù)電視節(jié)目制作方式的不同,它們又可以分為以下三種:

1.演播室使用(ESP)的攝像機(jī)ESP,即“電子演播室制作”( Electronic Studio Production),它主要是指在演播室內(nèi)

進(jìn)行的錄像或直播節(jié)目制作。在這種制作模式下使用的攝像機(jī),工作的條件非常有利于高質(zhì)量畫面的獲取,如照明強(qiáng)度、色溫等適度、高保真音響等。如新聞演播室出像、一臺(tái)綜藝晚會(huì)等,為了提高性能指標(biāo),通常采用尺寸較大的攝像器件。因此,它們的清晰度最高,信噪比最大,圖像質(zhì)量最好。當(dāng)然,它們的體積大,價(jià)格也昂貴。

2.電子新聞采訪(ENG)攝像機(jī)ENG,即電子新聞采集(Electronic News Gathering)。這種方式制作節(jié)目的特點(diǎn)是使用便攜式的攝像、錄像設(shè)備來采集電視新聞;節(jié)目分為前期拍攝與后期編輯兩個(gè)階段。

由于新聞拍攝的現(xiàn)場(chǎng)復(fù)雜多變,ENG攝像機(jī)一般機(jī)器體積小,質(zhì)量輕,便于攜帶,對(duì)非標(biāo)準(zhǔn)照明情況具有良好的適應(yīng)性,在惡劣環(huán)境中(如工作溫度大范圍的變化)具有很好的安全穩(wěn)定性,在調(diào)試操作使用中具有很大的方便性(全自動(dòng)方式)。它們的圖像質(zhì)量比演播室用攝像機(jī)稍低,價(jià)格也相對(duì)便宜一點(diǎn)。

3.現(xiàn)場(chǎng)節(jié)目制作(EFP)攝像機(jī)

EFP,即電子現(xiàn)場(chǎng)制作( Electronic Field Production)。這種方式制作節(jié)目的特點(diǎn)是多種設(shè)備同時(shí)使用,包括多臺(tái)攝像機(jī)、切換臺(tái)、調(diào)音臺(tái)以及其他輔助設(shè)備(燈光、話筒錄像機(jī)和運(yùn)載工具);信號(hào)經(jīng)現(xiàn)場(chǎng)切換提供連續(xù)不斷的一次性信號(hào),節(jié)目可以在現(xiàn)場(chǎng)制作完成后可以直播或錄播;于是該種節(jié)目制作方式現(xiàn)場(chǎng)性強(qiáng)。EFP攝像機(jī)工作條件介于上述兩種攝像機(jī)之間,性能指標(biāo)也兼顧到這兩個(gè)方面。它們的圖像質(zhì)量與演播室使用的攝像機(jī)很相近,但體積小一些,能滿足輕便型現(xiàn)場(chǎng)節(jié)目制作的需求。

• 三、按照攝像器件數(shù)量分類

三片攝像機(jī)攝像機(jī)成像單元采用三個(gè)成像器件芯片組成,光線通過三棱鏡將攝入鏡頭的光線分為三原色(紅綠、藍(lán)),將它們輸入不同的成像器件,由于每一個(gè)成像器件都有一個(gè)很大的光線采集區(qū)域,并且每個(gè)成像器件所獲得的紅綠藍(lán)信息都是入射光線本身所帶的信息。所以以該種方式形成的圖像質(zhì)量高,色彩還原好,清晰度與信噪比高。專業(yè)級(jí)、廣播級(jí)攝像機(jī)多采用該種方式。三片成像器件雖然成功解決了分色的問題,但它并不完美。首先,它必須一一個(gè)棱鏡,這就使得它的體積很難減小。如果成像器件的尺寸要加大,那么棱鏡的尺寸也必須加大。并且棱鏡本身也是光學(xué)器件,它的光學(xué)失真會(huì)直接造成畫面失真。這種天然的障礙使得三片成像器件的成像方式很難實(shí)現(xiàn)大尺寸成像畫幅。三片成像器件的最大畫幅也就做到2/3in,再往上,效果和成本都令人無(wú)法接受。這也是為什么三片成像器件的攝像機(jī)相對(duì)來說體積比較大,同時(shí)這也是三片成像器件只應(yīng)用在攝像機(jī)而無(wú)法應(yīng)用在照相機(jī)上的原因。

2.單片攝像機(jī)

攝像機(jī)采用一個(gè)成像器件芯片,影像只有一路成像在成像器件上。反映三基色RGB的信號(hào),是用每一個(gè)像素上配置拜爾片陣濾色片以及這種濾色片匹配的特定的信號(hào)處理器來完成色彩的重現(xiàn)。但從拜爾片陣顏色轉(zhuǎn)化成原色必須通過數(shù)碼攝像機(jī)進(jìn)行演繹,而演繹的過程卻會(huì)引致色彩誤差。所以傳統(tǒng)單片攝像機(jī)的圖像質(zhì)量一般,多用于非專業(yè)領(lǐng)域。

• 四、按照一體化程度分類

1.一體化攝像機(jī)

一體化攝像機(jī)是攝像機(jī)和錄像機(jī)結(jié)合成為一體的設(shè)備。該種攝像機(jī)的攝像單元與錄像單元不能分

離,在工作的時(shí)候即完成將光信號(hào)轉(zhuǎn)換成電信號(hào)的過程(攝像過程),并且最后將電信號(hào)轉(zhuǎn)換成磁信號(hào)記錄在記錄載體

上(錄像過程)。一體化攝像機(jī)又稱為攝錄放一體機(jī)。

2.可分離攝像機(jī)

可分離攝像機(jī)是攝像機(jī)配以攝像機(jī)附加器,可單獨(dú)作為攝像機(jī)用。如在ESP方式制作的綜藝晚會(huì)節(jié)目中的多臺(tái)攝像機(jī),每臺(tái)攝像機(jī)上就可以不配備錄像單元,只需要最終在切換臺(tái)處的錄像機(jī)記錄即可。也可配合單獨(dú)的便攜式的錄像機(jī)作為攝錄機(jī)使用,這樣由于節(jié)目制作的不同需要可以配合不同格式的錄像機(jī)。

• 五、按攝像器件的尺寸分類

攝像器件的尺寸大小直接關(guān)系圖像質(zhì)量的好壞。在相同制造工藝下,尺寸越大有效像素就多,圖像清晰度就越好,同時(shí)靈敏度也會(huì)提高。當(dāng)然攝像機(jī)體積也會(huì)增大。

六、按照存儲(chǔ)介質(zhì)分類

1.磁帶攝像機(jī)

磁帶攝像機(jī)以磁帶為存儲(chǔ)介質(zhì)來儲(chǔ)存動(dòng)態(tài)影像的攝像機(jī)。由于磁帶攝像機(jī)按照視頻格式的不同,使用的不同格式的磁帶種類繁。根據(jù)不同的要求使用不同的磁帶格式。

2.光盤攝像機(jī)

該類攝像機(jī)采用的是以光盤作為其存儲(chǔ)介質(zhì)?？刹翆慏VD光盤等。民用DVD數(shù)碼攝像機(jī)(光盤式DV)的存儲(chǔ)介質(zhì)是采用DVDR,DVR R,或是DVD-RW,DVD RW來存儲(chǔ)動(dòng)態(tài)視頻圖像的。

家用DVD數(shù)碼攝像機(jī)最大的優(yōu)點(diǎn)是“即拍即放”,能快速在大部分DVD播放機(jī)上播放。不足之處是DD光盤的價(jià)格與磁帶DV相比略微偏高了一點(diǎn)。

3.硬盤攝像機(jī)

4.存儲(chǔ)卡式攝像機(jī)

該種攝像機(jī)省電、體積小、攝像時(shí)耗材使用少、后期剪輯方便,工作狀態(tài)穩(wěn)定。