多源監(jiān)控視頻大尺度人群異常行為感知研究項(xiàng)目摘要

近年來，隨著我國(guó)政治、經(jīng)濟(jì)、文化與社會(huì)活動(dòng)日趨活躍，大型活動(dòng)已經(jīng)成為促進(jìn)經(jīng)濟(jì)發(fā)展和文化交流的重要載體，對(duì)大型的群體活動(dòng)的有效監(jiān)控成為城市管理必不可少的一部分。針對(duì)大尺度人群監(jiān)控問題中群體規(guī)模大、事件范圍大、時(shí)間跨度大的特點(diǎn)，本項(xiàng)目結(jié)合本學(xué)科的發(fā)展趨勢(shì)和申請(qǐng)者相關(guān)的工作基礎(chǔ)，通過匯聚流體力學(xué)、機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用和理論拓展的研究成果，利用拉格朗日粒子動(dòng)力學(xué)和因果關(guān)聯(lián)性分析的相關(guān)理論，對(duì)多源大尺度群體監(jiān)控問題進(jìn)行研究，揭示多源大尺度群體事件的演化規(guī)律，提出相應(yīng)的群體行為分析模型，實(shí)現(xiàn)擁擠群體的異常行為的快速高效感知。本項(xiàng)研究將形成一套完整的研究方案及相關(guān)技術(shù)路線，以期望對(duì)大尺度群體的智能視覺感知技術(shù)進(jìn)行突破與創(chuàng)新，對(duì)于提高我國(guó)計(jì)算機(jī)視覺相關(guān)領(lǐng)域的基礎(chǔ)研究水平具有重要的科學(xué)價(jià)值。同時(shí)，對(duì)提高我國(guó)群體性事件的防控能力，實(shí)現(xiàn)城市公共安全智能化、信息化管理具有重要的現(xiàn)實(shí)意義。

近年來，隨著我國(guó)政治、經(jīng)濟(jì)、文化與社會(huì)活動(dòng)日趨活躍，大型活動(dòng)已經(jīng)成為促進(jìn)經(jīng)濟(jì)發(fā)展和文化交流的重要載體，對(duì)大型的群體活動(dòng)的有效監(jiān)控成為城市管理必不可少的一部分。本課題利用流體動(dòng)力學(xué)和因果關(guān)聯(lián)性分析的相關(guān)理論，對(duì)多源大尺度群體監(jiān)控問題進(jìn)行研究，揭示多源大尺度群體事件的演化規(guī)律。提出了基于視頻結(jié)構(gòu)特性分析的時(shí)空域特征提取算法、人群行為異常感知及因果事態(tài)推演建模分析、實(shí)現(xiàn)不同尺度群體的密度、分布及運(yùn)動(dòng)結(jié)構(gòu)重要特征描述及異常行為的快速高效感知。課題研究期間，共發(fā)表主要期刊論文7篇，國(guó)際會(huì)議8篇（獲得1篇最佳會(huì)議論文獎(jiǎng)），申請(qǐng)國(guó)家發(fā)明專利9項(xiàng)（已授權(quán)2項(xiàng)），培養(yǎng)博士研究生3人，碩士研究生4人。結(jié)合實(shí)際城市公共安全圖像監(jiān)控系統(tǒng)的實(shí)戰(zhàn)應(yīng)用，在上海市公安局搭建了高清圖像監(jiān)控基于多源監(jiān)控視頻大尺度群體異常行為感知系統(tǒng)演示平臺(tái)，并設(shè)計(jì)有效的針對(duì)人群分析的半自動(dòng)基礎(chǔ)數(shù)據(jù)標(biāo)注系統(tǒng)。本課題對(duì)提高我國(guó)群體性事件的防控能力，實(shí)現(xiàn)城市公共安全智能化、信息化管理具有重要的理論意義和現(xiàn)實(shí)意義。

本項(xiàng)目執(zhí)行期間，圍繞感知的多視點(diǎn)視頻處理的關(guān)鍵問題，抓住視覺媒體技術(shù)高速發(fā)展與廣泛應(yīng)用、視覺信息感知多元化的契機(jī)，研究多視點(diǎn)視頻中立體視覺的感知機(jī)制與編碼優(yōu)化模型。重點(diǎn)研究研究多視點(diǎn)深度協(xié)同的優(yōu)化方法，通過提出跨視點(diǎn)的宏超像素單元及聯(lián)合優(yōu)化，實(shí)現(xiàn)全局優(yōu)化的多視點(diǎn)深度場(chǎng)；構(gòu)建多深度融合感知的顯著性計(jì)算模型，采用聚類方法，提升深度顯著度計(jì)算中的魯棒性；進(jìn)一步在多視點(diǎn)光場(chǎng)數(shù)據(jù)上研究深度感知優(yōu)化的碼率分配方法和技術(shù)，實(shí)現(xiàn)多深度感知的多視點(diǎn)視頻高效編碼。最終取得核心理論與關(guān)鍵技術(shù)上的突破，實(shí)現(xiàn)原創(chuàng)性的科研成果，建立感知的多視點(diǎn)三維視頻數(shù)據(jù)高效處理平臺(tái)，進(jìn)一步推動(dòng)三維視頻在視覺感知表示、多視聯(lián)合處理、高效感知編碼等方面的研究與發(fā)展。

現(xiàn)實(shí)場(chǎng)景的三維視頻表示在軍事、航天、醫(yī)療、影視制作等領(lǐng)域有著廣泛的應(yīng)用前景，以深度感知為核心的視覺特性驅(qū)動(dòng)的三維視頻處理是當(dāng)前國(guó)際研究的前沿與熱點(diǎn)，涉及視覺機(jī)理、圖像處理與優(yōu)化等多個(gè)學(xué)科方向的交叉，其挑戰(zhàn)在于以多視點(diǎn)深度感知為驅(qū)動(dòng)的多視點(diǎn)視頻聯(lián)合處理，涉及到的核心問題包括：時(shí)-空-視多深度感知一致性、雙目深度感知測(cè)度、多深度感知下的高效編碼方法等。本項(xiàng)目力圖揭示三維視頻在信號(hào)處理與視覺感知處理之間的協(xié)同優(yōu)化機(jī)理，研究多視點(diǎn)深度協(xié)同的優(yōu)化方法，探索時(shí)-空-視多深度場(chǎng)的幾何與深度感知一致性難題，實(shí)現(xiàn)全局優(yōu)化的多視點(diǎn)深度場(chǎng)；構(gòu)建多深度融合感知的顯著性計(jì)算模型，探索深度感知優(yōu)化的碼率分配方法和技術(shù)，實(shí)現(xiàn)多深度感知的多視點(diǎn)視頻高效編碼，解決多深度感知驅(qū)動(dòng)的三維視頻處理的關(guān)鍵問題，建立多深度感知的多視點(diǎn)視頻聯(lián)合處理與高效編碼平臺(tái)，在理論和關(guān)鍵技術(shù)研究上取得突破，推動(dòng)以多視點(diǎn)為核心的三維視頻的廣泛應(yīng)用。