增強(qiáng)現(xiàn)實(shí)中多目標(biāo)3D跟蹤定位和WH-SIFT特征識(shí)別方法研究

由于目前大多數(shù)增強(qiáng)現(xiàn)實(shí)跟蹤定位技術(shù)主要采用純粹基于幾何信息的跟蹤定位方式，缺乏對(duì)場(chǎng)景的理解和對(duì)目標(biāo)的識(shí)別。造成現(xiàn)有算法需要大量的人工干預(yù)，無(wú)法實(shí)現(xiàn)場(chǎng)景中的多目標(biāo)跟蹤定位。此外，現(xiàn)有的特征提取匹配算法為保證特征對(duì)尺度、光照和視點(diǎn)變化的魯棒性，而采用高維數(shù)的強(qiáng)特征描述。強(qiáng)特征描述矢量的建立加大了系統(tǒng)的計(jì)算負(fù)載，降低了系統(tǒng)的實(shí)時(shí)性能。對(duì)需要進(jìn)行大數(shù)據(jù)量處理的問(wèn)題，如圖像檢索、大型三維模型的創(chuàng)建構(gòu)成性能瓶頸。針對(duì)以上問(wèn)題，本課題采用Bag of features的物體識(shí)別模型在Randomized ferns分類器框架下，實(shí)現(xiàn)校園環(huán)境下的多目標(biāo)識(shí)別。實(shí)驗(yàn)結(jié)果表明，該算法實(shí)時(shí)性好，識(shí)別場(chǎng)景數(shù)量可多達(dá)1000個(gè)。在特征提取匹配算法方面，課題組采用Walsh-Hadamard核變換方法，在保持特征具有尺度、光照、視點(diǎn)不變性的同時(shí)，有效降低特征描述矢量的維數(shù)。在增強(qiáng)現(xiàn)實(shí)跟蹤定位方面，課題組對(duì)基于平面的跟蹤注冊(cè)算法以及基于模型的跟蹤注冊(cè)算法都進(jìn)行了深入的研究與探索。完成了戶外復(fù)雜環(huán)境下的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)算法，并成功應(yīng)用于圓明園數(shù)字?jǐn)?shù)重現(xiàn)項(xiàng)目。在完成課題基礎(chǔ)上，課題組超額完成了基于詞匯樹的目標(biāo)識(shí)別算法，并成功應(yīng)用于基于手機(jī)平臺(tái)的移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中。同時(shí)課題組拓展研究了實(shí)時(shí)目標(biāo)檢測(cè)算法，實(shí)現(xiàn)了手機(jī)端的蔬菜自動(dòng)檢測(cè)算法。 課題的研究成果為構(gòu)建更高效、穩(wěn)定、能夠自適應(yīng)場(chǎng)景和環(huán)境的智能化增強(qiáng)現(xiàn)實(shí)平臺(tái)打下了基礎(chǔ)，拓展了系統(tǒng)的應(yīng)用領(lǐng)域和適用范圍。目前課題取得的多目標(biāo)識(shí)別以及跟蹤定位算法研究成果已申請(qǐng)國(guó)家發(fā)明專利，并成功應(yīng)用到國(guó)家重大專項(xiàng)支持項(xiàng)目以及多項(xiàng)企業(yè)聯(lián)合項(xiàng)目。

目前大多數(shù)增強(qiáng)現(xiàn)實(shí)跟蹤定位技術(shù)主要采用純粹基于幾何信息的跟蹤定位方式，缺乏對(duì)場(chǎng)景的理解和對(duì)目標(biāo)的識(shí)別。造成現(xiàn)有算法需要大量的人工干預(yù)，無(wú)法實(shí)現(xiàn)場(chǎng)景中的多目標(biāo)跟蹤定位。此外，算法在實(shí)現(xiàn)特征識(shí)別時(shí)，為保證特征對(duì)尺度、光照和視點(diǎn)變化的魯棒性，而采用高維數(shù)的強(qiáng)特征描述。強(qiáng)特征描述矢量的建立加大了系統(tǒng)的計(jì)算負(fù)載，降低了系統(tǒng)的實(shí)時(shí)性能。對(duì)需要進(jìn)行大數(shù)據(jù)量處理的問(wèn)題，如圖像檢索、大型三維模型的創(chuàng)建構(gòu)成性能瓶頸。針對(duì)以上問(wèn)題，課題采用Bag of features的物體識(shí)別模型在Randomized ferns分類器框架下，實(shí)現(xiàn)復(fù)雜場(chǎng)景下的多目標(biāo)識(shí)別與跟蹤定位。同時(shí)采用Walsh-Hadamard核變換方法，在保持特征具有尺度、光照、視點(diǎn)不變性的同時(shí)，有效降低特征描述矢量的維數(shù)。課題的研究成果將為構(gòu)建更高效、穩(wěn)定、能夠自適應(yīng)場(chǎng)景和環(huán)境的智能化增強(qiáng)現(xiàn)實(shí)平臺(tái)打下基礎(chǔ)，拓展系統(tǒng)的應(yīng)用領(lǐng)域和范圍。

本書主要內(nèi)容為：由3dmax創(chuàng)建角色模型，并通過(guò)Unity3D和Vuforia工具進(jìn)行實(shí)際場(chǎng)景互動(dòng)，實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)應(yīng)用。概述增強(qiáng)現(xiàn)實(shí)相關(guān)技術(shù)背景和實(shí)現(xiàn)方法，通過(guò)一個(gè)項(xiàng)目實(shí)例從頭到尾深入剖析具體創(chuàng)作流程和方法。

多目標(biāo)跟蹤技術(shù)是計(jì)算機(jī)視覺、圖像理解領(lǐng)域的核心研究之一,其在視頻監(jiān)控、視頻分析及檢索、運(yùn)動(dòng)分析及合成等領(lǐng)域發(fā)揮了重要作用。由于在跟蹤過(guò)程中，目標(biāo)形態(tài)的變化、遮擋的存在、復(fù)雜的環(huán)境制約及運(yùn)動(dòng)的相互影響等使得對(duì)多運(yùn)動(dòng)目標(biāo)的跟蹤變得更加困難。在本研究中，申請(qǐng)人擬采用交互模型來(lái)對(duì)目標(biāo)的運(yùn)動(dòng)進(jìn)行預(yù)測(cè)，并通過(guò)半監(jiān)督的在線學(xué)習(xí)方法進(jìn)行自適應(yīng)特征選擇，實(shí)現(xiàn)對(duì)多目標(biāo)的實(shí)時(shí)魯棒跟蹤。首先，使用交互模型可以對(duì)多目標(biāo)的運(yùn)動(dòng)提供較為準(zhǔn)確的估計(jì)；其次，通過(guò)在線特征選擇和遮擋分析為跟蹤目標(biāo)構(gòu)建具有自適應(yīng)性的表觀模型；然后，在跟蹤過(guò)程中將交互模型與基于半監(jiān)督CovBoost的在線特征選擇、在線隨機(jī)森林遮擋判別分析器結(jié)合起來(lái)，提出一種基于交互模型和在線特征選擇的多目標(biāo)跟蹤器，將跟蹤中的關(guān)鍵問(wèn)題（運(yùn)動(dòng)建模和表觀建模）統(tǒng)一到一個(gè)多目標(biāo)跟蹤框架下；最后實(shí)現(xiàn)實(shí)時(shí)準(zhǔn)確的多目標(biāo)跟蹤，并嘗試拓展到視頻監(jiān)控、智能交通等實(shí)際社會(huì)民生應(yīng)用中。

第 1章　增強(qiáng)現(xiàn)實(shí)技術(shù)概述

1.1　什么是 AR　2

1.2　AR 設(shè)備　3

1.3　AR 的多種表現(xiàn)形式　3

1.4　AR 的應(yīng)用實(shí)例　4

1.4.1　AR 導(dǎo)航　4

1.4.2　支付寶 AR 實(shí)景紅包　4

1.4.3　Pokémon Go　5

1.4.4　蛋生世界　6

1.5　AR 的發(fā)展歷程　6

1.6　本章小結(jié)　7

1.7　練習(xí)　8

第　2章 增強(qiáng)現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)方法

2.1　識(shí)別方式　10

2.2　AR 應(yīng)用的基本運(yùn)行過(guò)程　10

2.3　AR SDK 與Unity 3D 簡(jiǎn)介　11

2.4　Vuforia、Unity 3D的下載與安裝　12

2.4.1　Vuforia 注冊(cè)　12

2.4.2　Vuforia 下載　13

2.4.3　Unity 3D 下載與安裝　14

2.5　本章小結(jié)　16

2.6　練習(xí)　16

第3章　初識(shí)Unity 3D

3.1　Unity 3D 簡(jiǎn)介　18

3.2　認(rèn)識(shí) Unity 3D 的界面　18

3.2.1　工程創(chuàng)建　18

3.2.2　Hierarchy（層級(jí)視圖）　19

3.2.3　Scene（場(chǎng)景視圖）　21

3.2.4　Inspector（觀察者視圖）　22

3.2.5　操作工具　23

3.2.6　Project（項(xiàng)目視圖）　25

3.3　Unity 的資源導(dǎo)入　27

3.4　本章小結(jié)　30

3.5　練習(xí)　31

第4章　Unity 3D的用戶界面基礎(chǔ)

4.1　Unity UGUI 簡(jiǎn)介　33

4.2　Canvas 和Rect Transform　33

4.2.1　創(chuàng)建 Canvas　33

4.2.2　Rect Transform 簡(jiǎn)介　35

4.2.3　Rect Transform 與Transform的區(qū)別　36

4.3　EventSystem　37

4.4　UGUI 控件簡(jiǎn)介　38

4.4.1　UI Text　38

4.4.2　UI Image　40

4.4.3　UI Button　42

4.5　本章小結(jié)　46

4.6　練習(xí)　46

第5章　粒子系統(tǒng)與動(dòng)畫系統(tǒng)

5.1　粒子系統(tǒng)的創(chuàng)建　49

5.2　粒子系統(tǒng)參數(shù)　51

5.2.1　基本屬性　51

5.2.2　Emission 組件　55

5.2.3　Shape 組件　56

5.3　動(dòng)畫的切割　56

5.4　Animator 組件　59

5.5　動(dòng)畫狀態(tài)機(jī)　60

5.6　本章小結(jié)　64

5.7　練習(xí)　65

第6章　腳本語(yǔ)言開發(fā)基礎(chǔ)

6.1　認(rèn)識(shí)腳本開發(fā)　67

6.2　Unity 腳本的生命周期　68

6.3　訪問(wèn)游戲?qū)ο蠛徒M件　70

6.3.1　掛載腳本　70

6.3.2　獲取游戲?qū)ο蟆?1

6.3.3　獲取任意對(duì)象　72

6.4　Time 類簡(jiǎn)介　73

6.5　本章小結(jié)　74

6.6　練習(xí)　75

第　7章 創(chuàng)建一個(gè)簡(jiǎn)單的AR應(yīng)用

7.1　Unity 工程的創(chuàng)建　77

7.2　添加識(shí)別圖與模型素材　78

7.2.1　注冊(cè)識(shí)別圖　78

7.2.2　導(dǎo)入模型和識(shí)別圖　81

7.3　在場(chǎng)景中放置模型和圖片　82

7.3.1　放置 ARCamera　82

7.3.2　放置 Image Target　83

7.3.3　放置模型　84

7.4　測(cè)試 AR效果　85

7.5　本章小結(jié)　86

7.6　練習(xí)　87

第　8章 讓模型動(dòng)起來(lái)

8.1　Unity 3D 動(dòng)畫系統(tǒng)簡(jiǎn)介　89

8.2　動(dòng)畫剪切　91

8.2.1　動(dòng)畫編輯模式　91

8.2.2　對(duì)動(dòng)畫進(jìn)行剪切　92

8.3　使用動(dòng)畫狀態(tài)機(jī)　94

8.3.1　創(chuàng)建狀態(tài)機(jī)　94

8.3.2　創(chuàng)建動(dòng)畫狀態(tài)　95

8.3.3　向狀態(tài)中加入動(dòng)畫　96

8.4　對(duì)動(dòng)畫添加觸發(fā)事件　98

8.5　用腳本和按鈕控制動(dòng)畫的播放　100

8.5.1　創(chuàng)建按鈕　100

8.5.2　控制腳本的創(chuàng)建與編寫　103

8.5.3　腳本和事件的添加　105

8.6　本章小結(jié)　106

8.7　練習(xí)　107

第9章　聲音的添加

9.1　Audio Source 組件與Audio Listener 組件　109

9.2　添加背景音樂(lè)與模型聲音　109

9.2.1　添加聲音組件　109

9.2.2　添加音頻文件　110

9.3　用腳本和按鈕來(lái)控制聲音的播放　111

9.3.1　聲音控制腳本的創(chuàng)建與編寫　111

9.3.2　給腳本音頻變量賦值　113

9.4　本章小結(jié)　114

9.5　練習(xí)　114

第　10章 讓模型走起來(lái)

10.1　碰撞器簡(jiǎn)介　116

10.2　射線簡(jiǎn)介　117

10.3　添加模型移動(dòng)的腳本　118

10.3.1　創(chuàng)建地面和碰撞器　118

10.3.2　給模型添加標(biāo)簽　119

10.3.3　移動(dòng)腳本的編寫　121

10.4　本章小結(jié)　122

10.5　練習(xí).......................................122

第　11章 特效的添加

11.1　粒子系統(tǒng)簡(jiǎn)介.......................124

11.2　特效的添加...........................124

11.2.1　創(chuàng)建一個(gè)粒子系統(tǒng) .....124

11.2.2　粒子材質(zhì)的添加和

修改　.............................126

11.3　用腳本控制特效...................127

11.4　本章小結(jié)...............................129

11.5　練習(xí).......................................129

第　12章 應(yīng)用下載

12.1　Android平臺(tái)........................131

12.1.1　JDK和SDK的安裝 ...131

12.1.2　工程的打包 .................132

12.1.3　APK包的簽名 ............134

12.2　iOS平臺(tái)................................136

12.3　本章小結(jié)...............................137

12.4　練習(xí).......................................137

第　13章 綜合實(shí)例

13.1　準(zhǔn)備工作...............................139

13.2　導(dǎo)入素材...............................140

13.3　添加動(dòng)畫...............................142

13.4　添加聲音...............................146

13.5　添加特效和背景...................146

13.6　添加交互功能.......................148

13.7　添加脫卡功能.......................150

13.8　打包下載...............................1512100433B