面向室內場景的機器人智能三維感知技術研究

摘要

近年來，在人工智能技術取得長足進步，各種視覺傳感技術，特別是三維感知技術快速發(fā)展等因素的推動下，新型機器人逐漸具備了更為強大的感知與理解能力，為快速、準確的三維場景重建與理解開創(chuàng)了新的渠道。本項目以三維幾何處理和分析為核心，旨在研究適用于機器人平臺的三維重建和分析方法，并充分利用機器人的自主行為能力這一特點，實現(xiàn)機器人對未知室內環(huán)境的自主化、智能化三維感知。其輸出既包括對室內場景的高質量三維重建，又包括對場景結構的精細化分析和理解。項目擬首先研究面向機器人平臺的智能三維感知框架。在此框架下，研究面向單機器人的主動交互式場景重建和理解，以及基于多機器人的協(xié)同化智能三維感知。

地圖是機器人環(huán)境理解和執(zhí)行交互任務的基礎。三維攝像機可獲取場景一定距離和分辨率的二維圖像信息和三維信息。隨著機器人任務的逐步復雜和工作范圍的增大，基于三維視覺傳感器的點云地圖在人機交互、存儲和計算更新方面存在嚴重制約。為此，本項目引入二維/三維攝像機融合的復合三維視覺系統(tǒng)，開展機器人室內場景復合語義地圖創(chuàng)建方法研究。主要包括：.①建立層次式復合三維語義地圖模型，有效融合三維點云地圖、特征地圖和語義地圖優(yōu)勢，提升大場景下機器人導航、智能交互和快速定位能力；.②研究基于二維和三維攝像機融合的機器人三維運動估計和路徑優(yōu)化方法，提高視覺程計在不同場景下的魯棒性和估計精度；.③基于場景圖像和三維信息，提出無先驗知識的三維場景智能分割方法，建立分割區(qū)域目標的詞袋描述模型，研究場景特定目標語義識別方法；.④根據(jù)連續(xù)三維視覺信息，探索基于語義目標和幾何特性的大規(guī)模室內場景節(jié)點語義識別方法，實現(xiàn)語義地圖創(chuàng)建

集成成像技術作為一種三維成像和可視化領域的新技術，在三維重建、目標探測及生物醫(yī)學微成像等領域有著廣泛的應用前景。本課題實現(xiàn)了一種具有偏移和放縮特征的彈性離軸分布感知系統(tǒng)，解決了目前基于相機陣列的集成成像系統(tǒng)中結構復雜、成像效率低等技術難題。在低照度環(huán)境下的彈性離軸分布系統(tǒng)設計和三維重構算法，顯著性目標檢測和遮擋去除等實際應用方面取得了一系列研究成果。在本項目的資助下，課題組共發(fā)表學術論文21篇，其中SCI論文7篇，國際會議論文14篇；獲批1項國家自然科學基金；獲得2項遼寧省自然科學學術成果獎，1項全國智能移動終端應用創(chuàng)新大賽一等獎；授權3項國內發(fā)明專利；培養(yǎng)了碩士生5名。本項目的研究不僅能夠有效的推動集成成像在實際應用領域上的發(fā)展，還將為我國發(fā)展下一代三維可視化、目標探測及生物醫(yī)學領域的三維立體微成像等領域所涉及的技術難題提供技術支撐，具有重要的理論價值和實用前景。 2100433B

集成成像作為一種無視覺疲勞的全視差、連續(xù)視點的裸眼顯示方式，現(xiàn)已成為真三維立體成像及顯示領域的研究熱點。與全息三維技術相比，集成成像技術以簡單的成像結構、較小的數(shù)據(jù)計算量及無需相干光源和苛刻的成像顯示環(huán)境等方面具有明顯的優(yōu)勢。然而，現(xiàn)有的集成成像存在成像結構復雜的問題，而且精密的傳感器個體空間分布給成像帶來極大挑戰(zhàn)。為此，本項目將深入研究彈性離軸分布感知系統(tǒng)，其自由彈性結構既解決了精密復雜的二維成像結構問題，既保留了橫向及縱向分辨率的同時又融合了偏移和縮放特征。此外，為解決在低照度環(huán)境下派生出的三維場景可視化重構問題，進一步提出為抑制噪聲引入圖像先驗分布的光子計數(shù)可視化重構算法。本項目的研究能夠有效地深化發(fā)展集成成像在深海探測、衛(wèi)星遙感、生物醫(yī)學等領域的實際應用。