空間信息并行處理方法與技術(shù)

第1章 緒論 1

第2章 高性能計算與高性能地學(xué)計算 5

2.1 高性能計算演化進(jìn)程 5

2.1.1 向量機(jī)、向量并行機(jī)時代 5

2.1.2 大規(guī)模并行計算時代 6

2.1.3 異構(gòu)并行計算時代 7

2.1.4 云計算與大數(shù)據(jù)時代 8

2.2 常見的高性能計算硬件平臺 9

2.2.1 Linux集群平臺 9

2.2.2 GPU平臺 10

2.2.3 集成眾核MIC平臺 11

2.3 常見并行模型與方法技術(shù) 14

2.3.1 MPI并行模型 14

2.3.2 OpenMP并行模型 15

2.3.3 CUDA并行模型 16

2.3.4 OpenCL并行模型 17

2.3.5 云計算編程技術(shù) 20

2.4 衡量高性能計算并行算法的指標(biāo) 22

2.4.1 計時工具 22

2.4.2 加速比 22

2.4.3 執(zhí)行效率 23

2.4.4 可擴(kuò)展性 23

2.4.5 阿姆達(dá)爾定律 23

2.5 高性能地學(xué)計算 24

2.5.1 高性能地學(xué)計算研究現(xiàn)狀 24

2.5.2 高性能地學(xué)計算未來展望 26

2.6 本章小結(jié) 26

第3章 基于集群平臺的MPI并行數(shù)據(jù)處理技術(shù) 28

3.1 概述 28

3.1.1 并行計算基礎(chǔ) 28

3.1.2 MPI及島filICH 29

3.1.3 相關(guān)研究現(xiàn)狀 31

3.2 基于集群的MPI并行計算方法 31

3.2.1 集群平臺類型的選擇 31

3.2.2 編程開發(fā)模型和工具的選擇 32

3.2.3 需要開發(fā)的并行程序的定位 32

3.3 基于Linux集群平臺的MODTRAN并行算法 33

3.3.1 應(yīng)用背景概述 33

3.3.2 MODTRAN數(shù)據(jù)處理并行化研究現(xiàn)狀 36

3.3.3 PMODTRAN并行算法設(shè)計 37

3.3.4 PMüDτ'RAN并行算法實現(xiàn) 38

3.3.5 PMODτ'RAN并打算法性能測試 41

3.4 基于Linux集群平舍的等高線生成并行算法 44

3.4.1 柵格DEM生成等高線算法原理 45

3.4.2 優(yōu)化后的等高線追蹤串行算法實現(xiàn) 47

3.4.3 串行算法熱點分析 51

3.4.4 柵格DEM生成等高線并行算法設(shè)計 53

3.4.5 柵格DEM生成等高線并行算捷實現(xiàn) 55

3.4.6 柵格DEM生成等高錢并行算法實驗與測試 58

3.4.7 柵格DEM生成等高線并行算法的進(jìn)一步優(yōu)化 61

3.5 基于Windows集群的MPI并行處理方法 66

3.5.1 Windows集群搭建與配直 67

3.5.2 基于Windows集群的并行算法設(shè)計與實現(xiàn) 67

3.6 本章小結(jié) 69

第4章 基于Intel多核/眾核平臺的OpenMP井行數(shù)據(jù)處理技術(shù) 71

4.1 概述 71

4.1.1 多核與MIC設(shè)備 71

4.1.2 OpenMP編程模型 72

4.1.3 基于Intel多核/眾核計算平臺的研究現(xiàn)狀 74

4.2 基于Intel多核/眾核平臺的OpenMP并行數(shù)據(jù)處理方法 75

4.3 基于Intel多核平臺的坡度坡向并行算法 77

4.3.1 坡度坡向算法原理及串行實現(xiàn) 77

4.3.2 利用句enMP實現(xiàn)坡度、坡向并行算法 80

4.3.3 在多核平臺上并行坡度、坡向算法性能測試 80

4.4 基于Intel多核/眾核平臺的NLM圖像處理并行算法 81

4.4.1 NLM圖像處理并行算法原理 81

4.4.2 NLM算法并行化研究現(xiàn)狀 83

4.4.3 基于多核平臺的NLM并行算法并行化設(shè)計 84

4.4.4 基于Intel多核/眾核平臺的NLM并行算法實現(xiàn) 85

4.4.5 基于Intel眾核平臺MIC的NLM并行算法實現(xiàn) 87

4.4.6 NLM并行算法在Intel多核/眾核平臺上的性能測試 88

4.5 本章小結(jié) 93

第5章 基于GPU平臺的CUDA/OpenCL并行數(shù)據(jù)處理技術(shù) 94

5.1 概述 94

5.1.1 GPU與通用GPU計算 94

5.1.2 CUDA與OpenCL編程模型 95

5.1.3 通用GPU計算在地學(xué)領(lǐng)域的應(yīng)用現(xiàn)狀 96

5.2 基于GPU的空間信息并行處理方法 97

5.3 利用CUDA實現(xiàn)壓縮感知重構(gòu)并行算法 98

5.3.1 壓縮感知重構(gòu)算法原理及實現(xiàn) 98

5.3.2 壓縮感知重構(gòu)算捷并行化研究現(xiàn)狀 99

5.3.3 壓縮感知重構(gòu)算法熱點分析及其并行化設(shè)計 100

5.3.4 基于CUDA的壓縮感知重構(gòu)并行算法實現(xiàn) 102

5.3.5 基于CUDA的壓縮感知重構(gòu)并行算法性能測試 104

5.4 基于OpenCL的壓縮感知重構(gòu)并行算法 105

5.4.1 基于句OpenCL的壓縮感知重構(gòu)并行算法實現(xiàn) 105

5.4.2 基于OpenCL的壓縮感知重構(gòu)并行算法實驗 110

5.5 本章小結(jié) 112

第6章 基于CPU GPUIMIC異構(gòu)平臺的協(xié)同并行數(shù)據(jù)處理技術(shù) 113

6.1 概述 113

6.2 基于CPU MIC/GPU異構(gòu)平臺的協(xié)同井行處理方法 114

6.3 基于CPU MIC異構(gòu)計算平臺下的NLM協(xié)同并行算法 117

6.3.1 CPU MIC協(xié)同的NLM并行算法 117

6.3.2基于動態(tài)任務(wù)分配的C臼PU 陽C協(xié)同NLM并行算法 199

6.4 基于CPU PUIMIC異構(gòu)計算平臺下的泛Kriging協(xié)同并行算法 124

6.4.1 Kriging算法并行化研究現(xiàn)狀 124

6.4.2 Kriging算法原理及其實現(xiàn) 125

6.4.3 基于句enCL的泛Kriging并行算法設(shè)計 127

6.4.4 基于句enCL的泛Kriging并行算法實現(xiàn) 130

6.4.5 基于CPU GPU!MIC異構(gòu)平臺的泛Kriging并行算法性能測試 138

6.5 不同異構(gòu)計算平臺算法性能對比實驗 141

6.6 本章小結(jié) 143

第7章 基于大數(shù)據(jù)Sp缸k平臺的并行數(shù)據(jù)處理技術(shù) 144

7.1 概述 144

7.2 云計算與大數(shù)據(jù)及其關(guān)鍵技術(shù) 145

7.2.1 云計算與大數(shù)據(jù) 145

7.2.2 Hadoop 146

7.2.3 Sperk 148

7.2.4 Docker容器虛擬化技術(shù) 151

7.2.5 大數(shù)據(jù)集群資源管理框架 153

7.3 基于云計算/大數(shù)據(jù)平臺的并行數(shù)據(jù)處理方法 155

7.4 DBSCAN算法及其在Spark平臺上并行設(shè)計與實現(xiàn) 156

7.4.1 nBSCAN算法 156

7.4.2 nBSCAN算法并行化現(xiàn)狀 158

7.4.3 nBSCAN并行算法在Spark平臺上的設(shè)計與實現(xiàn) 160

7.4.4 nBSCAN并行算法在Spark平臺上的優(yōu)化 165

7.4.5 nBSCAN并行算法在不同資源管理器模式下的并行實現(xiàn) 168

7.5 DBSCAN并行算法性能測試與分析 170

7.5.1 實驗平臺及配置 170

7.5.2 實驗數(shù)據(jù) 171

7.5.3 實驗內(nèi)容 171

7.5.4 測試結(jié)果及分析 172

7.6 基于Spark平臺的DBSCAN并行算法在城市擁培區(qū)域發(fā)現(xiàn)應(yīng)用 177

7.6.1 nBSCAN并行算法在城市擁培區(qū)域發(fā)現(xiàn)的應(yīng)用流程 177

7.6.2 實驗數(shù)據(jù)與平臺 178

7.6.3 實驗測試與分析 178

7.7 本章小結(jié) 182

參考文獻(xiàn) 183 2100433B

本書著眼于空間信息處理領(lǐng)域的行業(yè)應(yīng)用/算法，采用現(xiàn)階段主流的多種高性能計算平臺和對應(yīng)的編程模型，對實際的空間信息處理算法的不同并仔計算模式進(jìn)行研究，形成基于集群的MPI并行計算方法、基于多核IMIC的句也阻并行計算方法、基于GPU平臺的CUDAI句enCL并行計算方法、基于CPU GPU協(xié)同的異構(gòu)并行計算方法，以及基于Spark平臺的大數(shù)據(jù)并行計算方法.這些計算方法都有各自適用的范圍及優(yōu)勢，作者通過實例為讀者提供選擇性較多的變間信息并行處理參考方法，從而為大規(guī)模的雪間數(shù)據(jù)處理與分析提供技術(shù)支持。

并行審計技術(shù)隨著信息技術(shù)的快速發(fā)展，當(dāng)前已形成了多種并行審計技術(shù)。但是，我們可以將其分為三類：一是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時，利用測試數(shù)據(jù)對系統(tǒng)進(jìn)行評價；二是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時，追蹤或映射應(yīng)用系統(tǒng)的變化狀況；三是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時，選擇交易進(jìn)行審計復(fù)核?；谏鲜龇诸?，下面分別介紹三種并行審計技術(shù)：綜合測試、快照和系統(tǒng)控制審計復(fù)核文件，它們依次對應(yīng)上述三類并行審計技術(shù)。

并行審計技術(shù)綜合測試

綜合測試（ITF）是在應(yīng)用系統(tǒng)正常處理其業(yè)務(wù)時，用測試數(shù)據(jù)對系統(tǒng)進(jìn)行檢測的一種方法。這種方法要在應(yīng)用系統(tǒng)的文件中建立一個虛擬實體，并讓應(yīng)用系統(tǒng)處理該實體的審計測試數(shù)據(jù)。例如：應(yīng)用系統(tǒng)是工資系統(tǒng)，可在其數(shù)據(jù)庫中建立一個虛擬的職員；應(yīng)用系統(tǒng)是一個存貨系統(tǒng)，可在其數(shù)據(jù)庫中建立一個虛擬的存貨項目。測試數(shù)據(jù)和正常產(chǎn)生的業(yè)務(wù)數(shù)據(jù)一同輸入應(yīng)用系統(tǒng)進(jìn)行處理，通過將應(yīng)用系統(tǒng)對測試數(shù)據(jù)處理的結(jié)果同預(yù)期結(jié)果進(jìn)行比較，可確定應(yīng)用系統(tǒng)的處理和控制功能是否恰當(dāng)、可靠。采用綜合測試法將會涉及兩個問題：采用何種方法建立測試數(shù)據(jù)與采用何種方法消除綜合測試交易對系統(tǒng)的影響。

1.建立測試數(shù)據(jù)的方法。第一種方法是對被審計單位的現(xiàn)場交易做標(biāo)記輸入到應(yīng)用系統(tǒng)中，視帶標(biāo)記的交易為測試數(shù)據(jù)。采用這種方法，應(yīng)用系統(tǒng)中必須有特定的計算機(jī)程序能夠識別出帶標(biāo)記的交易，并且使這些交易既要更新應(yīng)用系統(tǒng)的主文件，同時也要更新ITF虛擬實體。

給現(xiàn)場交易做標(biāo)記視為測試數(shù)據(jù) 選擇和識別ITF交易有多種策略。第一，在源文件中或屏幕布局中包含一個專門的標(biāo)識字段，用來表示一筆交易即為正常交易又為ITF交易。由審計人員來選擇確定對哪些現(xiàn)場交易做標(biāo)記，所選交易的特征可以與測試數(shù)據(jù)的設(shè)計相一致，也可以根據(jù)制定的抽樣計劃進(jìn)行選擇。第二，在應(yīng)用系統(tǒng)的程序中嵌入審計軟件模塊，利用審計軟件來選擇交易并給交易加標(biāo)記使其成為ITF交易。第三，在應(yīng)用系統(tǒng)中嵌入抽樣程序，抽樣程序具有根據(jù)抽樣計劃給交易做標(biāo)記，并使其成為ITF交易的功能。不論采用何種策略，應(yīng)用系統(tǒng)中必須有相應(yīng)的處理程序，專門處理帶標(biāo)記的交易。

給現(xiàn)場交易做標(biāo)記使其成為ITF交易的優(yōu)點是：容易使用，并且測試交易代表了系統(tǒng)的正常處理業(yè)務(wù)。但是這種方法也有缺點：首先，使用現(xiàn)場數(shù)據(jù)限制了對系統(tǒng)的全面測試；其次，在應(yīng)用系統(tǒng)中追加代碼來識別做標(biāo)記的交易，并以特定方式處理這些交易，可能會影響其正常處理，如：它可能降低系統(tǒng)的響應(yīng)時間。

第二種方法是自行設(shè)計測試數(shù)據(jù)，測試數(shù)據(jù)與現(xiàn)場交易數(shù)據(jù)一同輸入應(yīng)用系統(tǒng)。采用這種方法，審計人員應(yīng)當(dāng)根據(jù)所要使用的測試數(shù)據(jù)的特征來設(shè)計并創(chuàng)建測試數(shù)據(jù)。

自行設(shè)計測試數(shù)據(jù)同從現(xiàn)場交易中選擇測試數(shù)據(jù)相比，測試數(shù)據(jù)的覆蓋面大，可全面測試系統(tǒng)，但設(shè)計和建立測試數(shù)據(jù)要花費一定的時間和費用。

2.消除ITF交易的影響。在應(yīng)用系統(tǒng)中出現(xiàn)ITF交易會影響其輸出結(jié)果，因此，必須消除ITF交易的影響。可采用下列方法消除ITF交易的影響：一種方法是修改應(yīng)用程序使其能夠識別ITF交易，并消除ITF交易對用戶的影響；另一種方法是提交額外的輸入，抵銷ITF交易的影響。

并行審計技術(shù)快照（Snapshot）

當(dāng)應(yīng)用系統(tǒng)非常龐大或復(fù)雜時，追蹤通過系統(tǒng)的不同執(zhí)行路徑會有一定難度，審計人員要想對交易進(jìn)行審查，會面對一定的困難。對此情況，可以利用快照技術(shù)來進(jìn)行審查?？煺占夹g(shù)是指當(dāng)交易通過應(yīng)用系統(tǒng)流動時，讓軟件給交易拍“像”。通常是在應(yīng)用系統(tǒng)的重要處理發(fā)生點嵌入軟件，當(dāng)交易通過不同處理點時，嵌入軟件可捕捉交易的映像。為證實不同快照點的處理，審計人員使軟件捕捉交易的前映像和后映像，通過檢驗前映像、后映像及其變換，評價交易處理的真實性、準(zhǔn)確性和完整性。

實施快照技術(shù)主要涉及以下三個方面：第一，確定應(yīng)用系統(tǒng)中快照點的位置，它也是審計的關(guān)鍵點。審計人員可根據(jù)應(yīng)用系統(tǒng)中每一處理點的重要性來確定快照點的位置。第二，確定何時捕捉交易快照?？勺屒度胲浖δ承└唢L(fēng)險的交易始終做快照，也可安排嵌入軟件，根據(jù)某類抽樣計劃做不同交易的快照。第三，嵌入軟件必須對每一交易提供身份識別和時間戳，以使審計人員能確定，快照數(shù)據(jù)應(yīng)用于哪一筆交易、交易通過不同快照點時其狀態(tài)變化情況如何、捕捉到的快照數(shù)據(jù)是哪一個處理點的、捕捉到每一處理點的快照數(shù)據(jù)是何日何時的。此外，還應(yīng)設(shè)計相應(yīng)的快照報告生成系統(tǒng)，使其能夠按照審計人員的要求輸出快照報告。

并行審計技術(shù)系統(tǒng)控制審計復(fù)核文件

系統(tǒng)控制審計復(fù)核文件（SCARF）是指在一個應(yīng)用系統(tǒng)中嵌入審計模塊，對該系統(tǒng)的交易進(jìn)行連續(xù)監(jiān)控。審計模塊置于事先確定的點，用以采集審計人員認(rèn)為重要的交易或事件信息，采集到的信息存放在一個專門的審計文件一一SCARF主文件中，審計人員通過審查該文件的信息，可以確定應(yīng)用系統(tǒng)的哪些方面需要追查。

使用SCARF技術(shù)首先要確定由SCARF嵌入審計程序采集什么信息，其次要確定與SCARF一同使用的報告系統(tǒng)。

1.確定SCARF嵌入審計程序采集什么信息。在一個應(yīng)用系統(tǒng)中，SCARF嵌入審計程序的性質(zhì)和布局取決于審計人員所要采集證據(jù)的類型，在很多方面，SCARF技術(shù)與快照有相似的地方，它也可以捕捉快照。此外，還可以采集其他信息：應(yīng)用系統(tǒng)的錯誤、系統(tǒng)的例外情況、統(tǒng)計樣本等。

SCARF嵌入審計程序的完整性對于所采集證據(jù)的可靠性至關(guān)重要，因此必須采取措施對該程序的內(nèi)容及其完整性加以保護(hù)。第一，應(yīng)用程序中不應(yīng)包含嵌入審計程序的源代碼，只允許調(diào)用語句存在。程序源代碼應(yīng)保存在專門的庫文件中，只有經(jīng)過授權(quán)的人員才可訪問。第二，支持該程序的文檔也應(yīng)妥善安全地保管。第三，對程序進(jìn)行維護(hù)時，應(yīng)當(dāng)認(rèn)真考慮如何維護(hù)，如果審計人員具有編程技能和知識，應(yīng)自己進(jìn)行維護(hù)，如果必須依賴他人，則必須尋求獨立的第三方的幫助。

2.確定與SCARF一同使用的報告系統(tǒng)。

（1）確定SCARF文件如何更新?？蔀槊恳粦?yīng)用系統(tǒng)建立一個臨時的、SCARF工作文件，由臨時文件更新SCARF主文件，也可由每個應(yīng)用系統(tǒng)直接更新SCARF主文件。

（2）把SCARF文件的數(shù)據(jù)進(jìn)行分類并確定審計報告的格式。一個SCARF系統(tǒng)可采集大量數(shù)據(jù)，只有經(jīng)過恰當(dāng)分類，并采用適當(dāng)?shù)膱蟾嫘问捷敵?，才能為審計人員提供清晰的數(shù)據(jù)。

（3）確定報告的編制時間。編制報告期間的長度主要取決于所采集審計證據(jù)的重要性和生成報告的成本，如果SCARF系統(tǒng)識別出重要的異常情況，則讓報告生成系統(tǒng)立即生成報告，而在多數(shù)情況下，則選擇按一定的時間間隔生成報告。2100433B

本書論述了空間信息技術(shù)的基本理論、方法及應(yīng)用現(xiàn)狀。書中結(jié)合實際工程案例，分別闡述了空間信息技術(shù)在數(shù)字城市、土地資源管理、數(shù)字農(nóng)業(yè)、導(dǎo)航、位置服務(wù)、港口信息化中的應(yīng)用。本書面向空間信息技術(shù)領(lǐng)域的工程實踐，提供了空間信息工程項目的方案設(shè)計、技術(shù)實施方面的案例經(jīng)驗。

讀者對象：本書可供空間信息技術(shù)領(lǐng)域的工程師參考，也可作為高等院校地理信息類專業(yè)的教學(xué)參考書。

使用并行審計技術(shù)采集審計證據(jù)包括兩個方面：一是為采集、處理和打印審計證據(jù)，需要在應(yīng)用系統(tǒng)或系統(tǒng)軟件中嵌入專門的審計模塊。二是將采集到的證據(jù)存儲在應(yīng)用系統(tǒng)文件中或存儲在專門的審計文件中，以便審計人員進(jìn)行審查。