多視照片全局約束下的Kinect在線室內三維測圖技術研究

目前，室內場景三維測圖常采用昂貴的LiDAR激光掃描儀，需提前設置拍攝站點和標靶，掃描前期準備工作較長。本項目針對現有技術中離線測圖存在的不足，本項目提供了一種基于Kinect和流媒體技術的實時三維測圖方法，具有輕便、靈活、成本低廉；實時測圖；前期工作耗時少，掃描效果好等優(yōu)點。課題組按照計劃對室內三維地圖構建進行了深入研究，研究了基于FNEA多尺度聚簇的初始約束網構建，基于層次圖模型的實時聯合平差算法，帶空間范圍約束的特征點最鄰近查詢索引等關鍵技術，構建了一套有利于的Kinect實時三維測圖設備，初步形成“多視照片全局約束，Kinect局部精細建模”技術體系，可實現面向LiDAR、照片和Kinect數據的室內三維場景的拼接合并。項目發(fā)表SCI論文1篇，獲得國家發(fā)明專利授權3項，EI論文1篇，培養(yǎng)博士生1名，碩士生1名，組織召開國際會議1次，參與國際會議2次，為全息位置地圖三維構建提供了框架支撐，并將相關技術擴展到了室內定位和室內三維行為識別方面，在武漢市公安局犯罪現場重建進行了初步試用。項目后續(xù)研究成果將持續(xù)發(fā)表，目前還有1篇SCI論文和1篇EI論文進入編輯部終審，待出版專著1部。 2100433B

Kinect作為新型RIM（Range Imaging）相機的杰出代表，具有獨特的數據特點，以其為切入點，發(fā)展RIM相機在線三維測圖技術，對室內導航具有重要意義。現有Kinect技術進行大場景三維測圖時，相機連續(xù)定位易出現累計誤差，導致模型重建不精確。針對該問題，本課題以多視照片全局約束，Kinect局部精細建模為總體指導思想，提出利用高清多視照片的寬視場信息預先構建閉環(huán)模式的全局約束網，來對Kinect建模過程進行全局控制，通過突破Kinect局部精細模型在全局約束網中的粗定位和實時平差關鍵技術，實現精確可控的在線測圖。通過研究全局約束網構建方法、基于質量檢查的Kinect定位失效判斷、輔助定位點支持的啟發(fā)式重定位、Kinect與高清照片的實時平差算法，形成定位失效判斷-輔助粗定位-平差精定位技術鏈條，豐富RIM相機測圖理論與方法體系，提升室內復雜環(huán)境下快速三維測圖的應用價值。

近些年來, 隨著三維掃描技術的迅速發(fā)展, 獲取幾何模型的三維數據變得越來越容易. 然而, 由于硬件設施本身的局限性或者環(huán)境光線的干擾, 出現了大量的殘缺模型. 這些缺陷包括洞, 縫隙, 拓撲短路等等.本項目致力于直接在殘缺模型上進行幾何分析，即在不修改模型本身的基礎上，直接計算測地距離場。 為此，我們提出從全局的觀點刻畫測地度量的性質，建立在殘缺模型上的目標函數，通過優(yōu)化方法找到對各種缺陷均不敏感的測地距離場。 通過三年的努力，我們在理論、方法取得了一系列的進展，包括 a. 提出了基于梯度場重建距離場的理論和算法[SIGGRAPH ASIA 2012] b. 提出了對拓撲噪聲不敏感的測地距離場的計算理論[計算機輔助幾何設計與圖形學學報] c. 提出了內蘊圍長的理論、計算、及應用[SIGGRAPH 2016] d. 提出了基于測地度量的質心power圖，用于把曲面分解成若干帶有質量約束且形狀緊致的區(qū)域[SIGGRAPH ASIA 2016] e. 基于測地距離的盡可能等距的變形算法[SIGGRAPH 2016]。 受該基金的支持，項目負責人及團隊成員已經發(fā)表17篇學術論文，其中SCI文獻8篇，EI期刊論文8篇。更難能可貴的是，在國際頂級期刊ACM TOG上發(fā)表了3篇文章，在國內外造成了很大的影響（寧波大學官網以新聞的形式報道了兩次）。 此外，受該基金的資助，項目負責人邀請了多位國內外頂級專家來寧波大學舉辦了兩次高水平的研討會。項目負責人還與香港大學王文平教授建立了長期穩(wěn)定的學術合作關系。王文平教授來寧波大學做過四次學術講座，本人也有幸成為香港大學的訪問副教授。 總結起來，傳統(tǒng)算法不能在這些殘缺模型上計算出有意義的測地距離場，模型上的一個裂痕或者拓撲短路會使計算結果發(fā)生根本的改變。本項目提出的魯棒的測地線算法能夠在已有的幾何分析方法與殘缺模型之間搭起一座橋梁，推動數字幾何處理繼續(xù)向前發(fā)展。

測地距離是直線距離在彎曲空間中的推廣，在以網格曲面為研究對象的數字幾何領域有廣泛的應用。傳統(tǒng)的測地線算法都是基于測地距離場的梯度是單位向量這一基本性質而設計的，在程式上由近及遠、層層展開，逐步求出從源點到其它點的測地距離。然而，隨著三維掃描技術的發(fā)展，出現了大量的殘缺模型。由于算法程式的限制，傳統(tǒng)算法不能在這些殘缺模型上計算出有意義的測地距離場，模型上的一個裂痕或者拓撲短路會使計算結果發(fā)生根本的改變。為了在殘缺模型上計算出更有意義的測地距離場，國際國內的學者開始尋求新的解決思路，包括熱核方法和橋接法等。然而，這些算法要么僅適用于部分缺陷，要么求得的結果與測地度量相去甚遠。因此，我們提出從全局的觀點刻畫測地度量的性質，建立在殘缺模型上的目標函數，通過優(yōu)化方法找到對各種缺陷均不敏感的測地距離場。魯棒的測地線算法將在已有的幾何分析方法與殘缺模型之間搭起一座橋梁，推動數字幾何處理繼續(xù)向前發(fā)展。