空間信息并行處理方法與技術(shù)內(nèi)容簡(jiǎn)介

本書(shū)著眼于空間信息處理領(lǐng)域的行業(yè)應(yīng)用/算法，采用現(xiàn)階段主流的多種高性能計(jì)算平臺(tái)和對(duì)應(yīng)的編程模型，對(duì)實(shí)際的空間信息處理算法的不同并仔計(jì)算模式進(jìn)行研究，形成基于集群的MPI并行計(jì)算方法、基于多核IMIC的句也阻并行計(jì)算方法、基于GPU平臺(tái)的CUDAI句enCL并行計(jì)算方法、基于CPU GPU協(xié)同的異構(gòu)并行計(jì)算方法，以及基于Spark平臺(tái)的大數(shù)據(jù)并行計(jì)算方法.這些計(jì)算方法都有各自適用的范圍及優(yōu)勢(shì)，作者通過(guò)實(shí)例為讀者提供選擇性較多的變間信息并行處理參考方法，從而為大規(guī)模的雪間數(shù)據(jù)處理與分析提供技術(shù)支持。

第1章 緒論 1

第2章 高性能計(jì)算與高性能地學(xué)計(jì)算 5

2.1 高性能計(jì)算演化進(jìn)程 5

2.1.1 向量機(jī)、向量并行機(jī)時(shí)代 5

2.1.2 大規(guī)模并行計(jì)算時(shí)代 6

2.1.3 異構(gòu)并行計(jì)算時(shí)代 7

2.1.4 云計(jì)算與大數(shù)據(jù)時(shí)代 8

2.2 常見(jiàn)的高性能計(jì)算硬件平臺(tái) 9

2.2.1 Linux集群平臺(tái) 9

2.2.2 GPU平臺(tái) 10

2.2.3 集成眾核MIC平臺(tái) 11

2.3 常見(jiàn)并行模型與方法技術(shù) 14

2.3.1 MPI并行模型 14

2.3.2 OpenMP并行模型 15

2.3.3 CUDA并行模型 16

2.3.4 OpenCL并行模型 17

2.3.5 云計(jì)算編程技術(shù) 20

2.4 衡量高性能計(jì)算并行算法的指標(biāo) 22

2.4.1 計(jì)時(shí)工具 22

2.4.2 加速比 22

2.4.3 執(zhí)行效率 23

2.4.4 可擴(kuò)展性 23

2.4.5 阿姆達(dá)爾定律 23

2.5 高性能地學(xué)計(jì)算 24

2.5.1 高性能地學(xué)計(jì)算研究現(xiàn)狀 24

2.5.2 高性能地學(xué)計(jì)算未來(lái)展望 26

2.6 本章小結(jié) 26

第3章 基于集群平臺(tái)的MPI并行數(shù)據(jù)處理技術(shù) 28

3.1 概述 28

3.1.1 并行計(jì)算基礎(chǔ) 28

3.1.2 MPI及島filICH 29

3.1.3 相關(guān)研究現(xiàn)狀 31

3.2 基于集群的MPI并行計(jì)算方法 31

3.2.1 集群平臺(tái)類(lèi)型的選擇 31

3.2.2 編程開(kāi)發(fā)模型和工具的選擇 32

3.2.3 需要開(kāi)發(fā)的并行程序的定位 32

3.3 基于Linux集群平臺(tái)的MODTRAN并行算法 33

3.3.1 應(yīng)用背景概述 33

3.3.2 MODTRAN數(shù)據(jù)處理并行化研究現(xiàn)狀 36

3.3.3 PMODTRAN并行算法設(shè)計(jì) 37

3.3.4 PMüDτ'RAN并行算法實(shí)現(xiàn) 38

3.3.5 PMODτ'RAN并打算法性能測(cè)試 41

3.4 基于Linux集群平舍的等高線生成并行算法 44

3.4.1 柵格DEM生成等高線算法原理 45

3.4.2 優(yōu)化后的等高線追蹤串行算法實(shí)現(xiàn) 47

3.4.3 串行算法熱點(diǎn)分析 51

3.4.4 柵格DEM生成等高線并行算法設(shè)計(jì) 53

3.4.5 柵格DEM生成等高線并行算捷實(shí)現(xiàn) 55

3.4.6 柵格DEM生成等高錢(qián)并行算法實(shí)驗(yàn)與測(cè)試 58

3.4.7 柵格DEM生成等高線并行算法的進(jìn)一步優(yōu)化 61

3.5 基于Windows集群的MPI并行處理方法 66

3.5.1 Windows集群搭建與配直 67

3.5.2 基于Windows集群的并行算法設(shè)計(jì)與實(shí)現(xiàn) 67

3.6 本章小結(jié) 69

第4章 基于Intel多核/眾核平臺(tái)的OpenMP井行數(shù)據(jù)處理技術(shù) 71

4.1 概述 71

4.1.1 多核與MIC設(shè)備 71

4.1.2 OpenMP編程模型 72

4.1.3 基于Intel多核/眾核計(jì)算平臺(tái)的研究現(xiàn)狀 74

4.2 基于Intel多核/眾核平臺(tái)的OpenMP并行數(shù)據(jù)處理方法 75

4.3 基于Intel多核平臺(tái)的坡度坡向并行算法 77

4.3.1 坡度坡向算法原理及串行實(shí)現(xiàn) 77

4.3.2 利用句enMP實(shí)現(xiàn)坡度、坡向并行算法 80

4.3.3 在多核平臺(tái)上并行坡度、坡向算法性能測(cè)試 80

4.4 基于Intel多核/眾核平臺(tái)的NLM圖像處理并行算法 81

4.4.1 NLM圖像處理并行算法原理 81

4.4.2 NLM算法并行化研究現(xiàn)狀 83

4.4.3 基于多核平臺(tái)的NLM并行算法并行化設(shè)計(jì) 84

4.4.4 基于Intel多核/眾核平臺(tái)的NLM并行算法實(shí)現(xiàn) 85

4.4.5 基于Intel眾核平臺(tái)MIC的NLM并行算法實(shí)現(xiàn) 87

4.4.6 NLM并行算法在Intel多核/眾核平臺(tái)上的性能測(cè)試 88

4.5 本章小結(jié) 93

第5章 基于GPU平臺(tái)的CUDA/OpenCL并行數(shù)據(jù)處理技術(shù) 94

5.1 概述 94

5.1.1 GPU與通用GPU計(jì)算 94

5.1.2 CUDA與OpenCL編程模型 95

5.1.3 通用GPU計(jì)算在地學(xué)領(lǐng)域的應(yīng)用現(xiàn)狀 96

5.2 基于GPU的空間信息并行處理方法 97

5.3 利用CUDA實(shí)現(xiàn)壓縮感知重構(gòu)并行算法 98

5.3.1 壓縮感知重構(gòu)算法原理及實(shí)現(xiàn) 98

5.3.2 壓縮感知重構(gòu)算捷并行化研究現(xiàn)狀 99

5.3.3 壓縮感知重構(gòu)算法熱點(diǎn)分析及其并行化設(shè)計(jì) 100

5.3.4 基于CUDA的壓縮感知重構(gòu)并行算法實(shí)現(xiàn) 102

5.3.5 基于CUDA的壓縮感知重構(gòu)并行算法性能測(cè)試 104

5.4 基于OpenCL的壓縮感知重構(gòu)并行算法 105

5.4.1 基于句OpenCL的壓縮感知重構(gòu)并行算法實(shí)現(xiàn) 105

5.4.2 基于OpenCL的壓縮感知重構(gòu)并行算法實(shí)驗(yàn) 110

5.5 本章小結(jié) 112

第6章 基于CPU GPUIMIC異構(gòu)平臺(tái)的協(xié)同并行數(shù)據(jù)處理技術(shù) 113

6.1 概述 113

6.2 基于CPU MIC/GPU異構(gòu)平臺(tái)的協(xié)同井行處理方法 114

6.3 基于CPU MIC異構(gòu)計(jì)算平臺(tái)下的NLM協(xié)同并行算法 117

6.3.1 CPU MIC協(xié)同的NLM并行算法 117

6.3.2基于動(dòng)態(tài)任務(wù)分配的C臼PU 陽(yáng)C協(xié)同NLM并行算法 199

6.4 基于CPU PUIMIC異構(gòu)計(jì)算平臺(tái)下的泛Kriging協(xié)同并行算法 124

6.4.1 Kriging算法并行化研究現(xiàn)狀 124

6.4.2 Kriging算法原理及其實(shí)現(xiàn) 125

6.4.3 基于句enCL的泛Kriging并行算法設(shè)計(jì) 127

6.4.4 基于句enCL的泛Kriging并行算法實(shí)現(xiàn) 130

6.4.5 基于CPU GPU!MIC異構(gòu)平臺(tái)的泛Kriging并行算法性能測(cè)試 138

6.5 不同異構(gòu)計(jì)算平臺(tái)算法性能對(duì)比實(shí)驗(yàn) 141

6.6 本章小結(jié) 143

第7章 基于大數(shù)據(jù)Sp缸k平臺(tái)的并行數(shù)據(jù)處理技術(shù) 144

7.1 概述 144

7.2 云計(jì)算與大數(shù)據(jù)及其關(guān)鍵技術(shù) 145

7.2.1 云計(jì)算與大數(shù)據(jù) 145

7.2.2 Hadoop 146

7.2.3 Sperk 148

7.2.4 Docker容器虛擬化技術(shù) 151

7.2.5 大數(shù)據(jù)集群資源管理框架 153

7.3 基于云計(jì)算/大數(shù)據(jù)平臺(tái)的并行數(shù)據(jù)處理方法 155

7.4 DBSCAN算法及其在Spark平臺(tái)上并行設(shè)計(jì)與實(shí)現(xiàn) 156

7.4.1 nBSCAN算法 156

7.4.2 nBSCAN算法并行化現(xiàn)狀 158

7.4.3 nBSCAN并行算法在Spark平臺(tái)上的設(shè)計(jì)與實(shí)現(xiàn) 160

7.4.4 nBSCAN并行算法在Spark平臺(tái)上的優(yōu)化 165

7.4.5 nBSCAN并行算法在不同資源管理器模式下的并行實(shí)現(xiàn) 168

7.5 DBSCAN并行算法性能測(cè)試與分析 170

7.5.1 實(shí)驗(yàn)平臺(tái)及配置 170

7.5.2 實(shí)驗(yàn)數(shù)據(jù) 171

7.5.3 實(shí)驗(yàn)內(nèi)容 171

7.5.4 測(cè)試結(jié)果及分析 172

7.6 基于Spark平臺(tái)的DBSCAN并行算法在城市擁培區(qū)域發(fā)現(xiàn)應(yīng)用 177

7.6.1 nBSCAN并行算法在城市擁培區(qū)域發(fā)現(xiàn)的應(yīng)用流程 177

7.6.2 實(shí)驗(yàn)數(shù)據(jù)與平臺(tái) 178

7.6.3 實(shí)驗(yàn)測(cè)試與分析 178

7.7 本章小結(jié) 182

參考文獻(xiàn) 183 2100433B

并行審計(jì)技術(shù)隨著信息技術(shù)的快速發(fā)展，當(dāng)前已形成了多種并行審計(jì)技術(shù)。但是，我們可以將其分為三類(lèi)：一是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時(shí)，利用測(cè)試數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行評(píng)價(jià)；二是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時(shí)，追蹤或映射應(yīng)用系統(tǒng)的變化狀況；三是當(dāng)應(yīng)用系統(tǒng)進(jìn)行處理時(shí)，選擇交易進(jìn)行審計(jì)復(fù)核。基于上述分類(lèi)，下面分別介紹三種并行審計(jì)技術(shù)：綜合測(cè)試、快照和系統(tǒng)控制審計(jì)復(fù)核文件，它們依次對(duì)應(yīng)上述三類(lèi)并行審計(jì)技術(shù)。

并行審計(jì)技術(shù)綜合測(cè)試

綜合測(cè)試（ITF）是在應(yīng)用系統(tǒng)正常處理其業(yè)務(wù)時(shí)，用測(cè)試數(shù)據(jù)對(duì)系統(tǒng)進(jìn)行檢測(cè)的一種方法。這種方法要在應(yīng)用系統(tǒng)的文件中建立一個(gè)虛擬實(shí)體，并讓?xiě)?yīng)用系統(tǒng)處理該實(shí)體的審計(jì)測(cè)試數(shù)據(jù)。例如：應(yīng)用系統(tǒng)是工資系統(tǒng)，可在其數(shù)據(jù)庫(kù)中建立一個(gè)虛擬的職員；應(yīng)用系統(tǒng)是一個(gè)存貨系統(tǒng)，可在其數(shù)據(jù)庫(kù)中建立一個(gè)虛擬的存貨項(xiàng)目。測(cè)試數(shù)據(jù)和正常產(chǎn)生的業(yè)務(wù)數(shù)據(jù)一同輸入應(yīng)用系統(tǒng)進(jìn)行處理，通過(guò)將應(yīng)用系統(tǒng)對(duì)測(cè)試數(shù)據(jù)處理的結(jié)果同預(yù)期結(jié)果進(jìn)行比較，可確定應(yīng)用系統(tǒng)的處理和控制功能是否恰當(dāng)、可靠。采用綜合測(cè)試法將會(huì)涉及兩個(gè)問(wèn)題：采用何種方法建立測(cè)試數(shù)據(jù)與采用何種方法消除綜合測(cè)試交易對(duì)系統(tǒng)的影響。

1.建立測(cè)試數(shù)據(jù)的方法。第一種方法是對(duì)被審計(jì)單位的現(xiàn)場(chǎng)交易做標(biāo)記輸入到應(yīng)用系統(tǒng)中，視帶標(biāo)記的交易為測(cè)試數(shù)據(jù)。采用這種方法，應(yīng)用系統(tǒng)中必須有特定的計(jì)算機(jī)程序能夠識(shí)別出帶標(biāo)記的交易，并且使這些交易既要更新應(yīng)用系統(tǒng)的主文件，同時(shí)也要更新ITF虛擬實(shí)體。

給現(xiàn)場(chǎng)交易做標(biāo)記視為測(cè)試數(shù)據(jù) 選擇和識(shí)別ITF交易有多種策略。第一，在源文件中或屏幕布局中包含一個(gè)專門(mén)的標(biāo)識(shí)字段，用來(lái)表示一筆交易即為正常交易又為ITF交易。由審計(jì)人員來(lái)選擇確定對(duì)哪些現(xiàn)場(chǎng)交易做標(biāo)記，所選交易的特征可以與測(cè)試數(shù)據(jù)的設(shè)計(jì)相一致，也可以根據(jù)制定的抽樣計(jì)劃進(jìn)行選擇。第二，在應(yīng)用系統(tǒng)的程序中嵌入審計(jì)軟件模塊，利用審計(jì)軟件來(lái)選擇交易并給交易加標(biāo)記使其成為ITF交易。第三，在應(yīng)用系統(tǒng)中嵌入抽樣程序，抽樣程序具有根據(jù)抽樣計(jì)劃給交易做標(biāo)記，并使其成為ITF交易的功能。不論采用何種策略，應(yīng)用系統(tǒng)中必須有相應(yīng)的處理程序，專門(mén)處理帶標(biāo)記的交易。

給現(xiàn)場(chǎng)交易做標(biāo)記使其成為ITF交易的優(yōu)點(diǎn)是：容易使用，并且測(cè)試交易代表了系統(tǒng)的正常處理業(yè)務(wù)。但是這種方法也有缺點(diǎn)：首先，使用現(xiàn)場(chǎng)數(shù)據(jù)限制了對(duì)系統(tǒng)的全面測(cè)試；其次，在應(yīng)用系統(tǒng)中追加代碼來(lái)識(shí)別做標(biāo)記的交易，并以特定方式處理這些交易，可能會(huì)影響其正常處理，如：它可能降低系統(tǒng)的響應(yīng)時(shí)間。

第二種方法是自行設(shè)計(jì)測(cè)試數(shù)據(jù)，測(cè)試數(shù)據(jù)與現(xiàn)場(chǎng)交易數(shù)據(jù)一同輸入應(yīng)用系統(tǒng)。采用這種方法，審計(jì)人員應(yīng)當(dāng)根據(jù)所要使用的測(cè)試數(shù)據(jù)的特征來(lái)設(shè)計(jì)并創(chuàng)建測(cè)試數(shù)據(jù)。

自行設(shè)計(jì)測(cè)試數(shù)據(jù)同從現(xiàn)場(chǎng)交易中選擇測(cè)試數(shù)據(jù)相比，測(cè)試數(shù)據(jù)的覆蓋面大，可全面測(cè)試系統(tǒng)，但設(shè)計(jì)和建立測(cè)試數(shù)據(jù)要花費(fèi)一定的時(shí)間和費(fèi)用。

2.消除ITF交易的影響。在應(yīng)用系統(tǒng)中出現(xiàn)ITF交易會(huì)影響其輸出結(jié)果，因此，必須消除ITF交易的影響?？刹捎孟铝蟹椒ㄏ齀TF交易的影響：一種方法是修改應(yīng)用程序使其能夠識(shí)別ITF交易，并消除ITF交易對(duì)用戶的影響；另一種方法是提交額外的輸入，抵銷(xiāo)ITF交易的影響。

并行審計(jì)技術(shù)快照（Snapshot）

當(dāng)應(yīng)用系統(tǒng)非常龐大或復(fù)雜時(shí)，追蹤通過(guò)系統(tǒng)的不同執(zhí)行路徑會(huì)有一定難度，審計(jì)人員要想對(duì)交易進(jìn)行審查，會(huì)面對(duì)一定的困難。對(duì)此情況，可以利用快照技術(shù)來(lái)進(jìn)行審查?？煺占夹g(shù)是指當(dāng)交易通過(guò)應(yīng)用系統(tǒng)流動(dòng)時(shí)，讓軟件給交易拍“像”。通常是在應(yīng)用系統(tǒng)的重要處理發(fā)生點(diǎn)嵌入軟件，當(dāng)交易通過(guò)不同處理點(diǎn)時(shí)，嵌入軟件可捕捉交易的映像。為證實(shí)不同快照點(diǎn)的處理，審計(jì)人員使軟件捕捉交易的前映像和后映像，通過(guò)檢驗(yàn)前映像、后映像及其變換，評(píng)價(jià)交易處理的真實(shí)性、準(zhǔn)確性和完整性。

實(shí)施快照技術(shù)主要涉及以下三個(gè)方面：第一，確定應(yīng)用系統(tǒng)中快照點(diǎn)的位置，它也是審計(jì)的關(guān)鍵點(diǎn)。審計(jì)人員可根據(jù)應(yīng)用系統(tǒng)中每一處理點(diǎn)的重要性來(lái)確定快照點(diǎn)的位置。第二，確定何時(shí)捕捉交易快照?？勺屒度胲浖?duì)某些高風(fēng)險(xiǎn)的交易始終做快照，也可安排嵌入軟件，根據(jù)某類(lèi)抽樣計(jì)劃做不同交易的快照。第三，嵌入軟件必須對(duì)每一交易提供身份識(shí)別和時(shí)間戳，以使審計(jì)人員能確定，快照數(shù)據(jù)應(yīng)用于哪一筆交易、交易通過(guò)不同快照點(diǎn)時(shí)其狀態(tài)變化情況如何、捕捉到的快照數(shù)據(jù)是哪一個(gè)處理點(diǎn)的、捕捉到每一處理點(diǎn)的快照數(shù)據(jù)是何日何時(shí)的。此外，還應(yīng)設(shè)計(jì)相應(yīng)的快照?qǐng)?bào)告生成系統(tǒng)，使其能夠按照審計(jì)人員的要求輸出快照?qǐng)?bào)告。

并行審計(jì)技術(shù)系統(tǒng)控制審計(jì)復(fù)核文件

系統(tǒng)控制審計(jì)復(fù)核文件（SCARF）是指在一個(gè)應(yīng)用系統(tǒng)中嵌入審計(jì)模塊，對(duì)該系統(tǒng)的交易進(jìn)行連續(xù)監(jiān)控。審計(jì)模塊置于事先確定的點(diǎn)，用以采集審計(jì)人員認(rèn)為重要的交易或事件信息，采集到的信息存放在一個(gè)專門(mén)的審計(jì)文件一一SCARF主文件中，審計(jì)人員通過(guò)審查該文件的信息，可以確定應(yīng)用系統(tǒng)的哪些方面需要追查。

使用SCARF技術(shù)首先要確定由SCARF嵌入審計(jì)程序采集什么信息，其次要確定與SCARF一同使用的報(bào)告系統(tǒng)。

1.確定SCARF嵌入審計(jì)程序采集什么信息。在一個(gè)應(yīng)用系統(tǒng)中，SCARF嵌入審計(jì)程序的性質(zhì)和布局取決于審計(jì)人員所要采集證據(jù)的類(lèi)型，在很多方面，SCARF技術(shù)與快照有相似的地方，它也可以捕捉快照。此外，還可以采集其他信息：應(yīng)用系統(tǒng)的錯(cuò)誤、系統(tǒng)的例外情況、統(tǒng)計(jì)樣本等。

SCARF嵌入審計(jì)程序的完整性對(duì)于所采集證據(jù)的可靠性至關(guān)重要，因此必須采取措施對(duì)該程序的內(nèi)容及其完整性加以保護(hù)。第一，應(yīng)用程序中不應(yīng)包含嵌入審計(jì)程序的源代碼，只允許調(diào)用語(yǔ)句存在。程序源代碼應(yīng)保存在專門(mén)的庫(kù)文件中，只有經(jīng)過(guò)授權(quán)的人員才可訪問(wèn)。第二，支持該程序的文檔也應(yīng)妥善安全地保管。第三，對(duì)程序進(jìn)行維護(hù)時(shí)，應(yīng)當(dāng)認(rèn)真考慮如何維護(hù)，如果審計(jì)人員具有編程技能和知識(shí)，應(yīng)自己進(jìn)行維護(hù)，如果必須依賴他人，則必須尋求獨(dú)立的第三方的幫助。

2.確定與SCARF一同使用的報(bào)告系統(tǒng)。

（1）確定SCARF文件如何更新?？蔀槊恳粦?yīng)用系統(tǒng)建立一個(gè)臨時(shí)的、SCARF工作文件，由臨時(shí)文件更新SCARF主文件，也可由每個(gè)應(yīng)用系統(tǒng)直接更新SCARF主文件。

（2）把SCARF文件的數(shù)據(jù)進(jìn)行分類(lèi)并確定審計(jì)報(bào)告的格式。一個(gè)SCARF系統(tǒng)可采集大量數(shù)據(jù)，只有經(jīng)過(guò)恰當(dāng)分類(lèi)，并采用適當(dāng)?shù)膱?bào)告形式輸出，才能為審計(jì)人員提供清晰的數(shù)據(jù)。

（3）確定報(bào)告的編制時(shí)間。編制報(bào)告期間的長(zhǎng)度主要取決于所采集審計(jì)證據(jù)的重要性和生成報(bào)告的成本，如果SCARF系統(tǒng)識(shí)別出重要的異常情況，則讓報(bào)告生成系統(tǒng)立即生成報(bào)告，而在多數(shù)情況下，則選擇按一定的時(shí)間間隔生成報(bào)告。2100433B

本書(shū)論述了空間信息技術(shù)的基本理論、方法及應(yīng)用現(xiàn)狀。書(shū)中結(jié)合實(shí)際工程案例，分別闡述了空間信息技術(shù)在數(shù)字城市、土地資源管理、數(shù)字農(nóng)業(yè)、導(dǎo)航、位置服務(wù)、港口信息化中的應(yīng)用。本書(shū)面向空間信息技術(shù)領(lǐng)域的工程實(shí)踐，提供了空間信息工程項(xiàng)目的方案設(shè)計(jì)、技術(shù)實(shí)施方面的案例經(jīng)驗(yàn)。

讀者對(duì)象：本書(shū)可供空間信息技術(shù)領(lǐng)域的工程師參考，也可作為高等院校地理信息類(lèi)專業(yè)的教學(xué)參考書(shū)。

使用并行審計(jì)技術(shù)采集審計(jì)證據(jù)包括兩個(gè)方面：一是為采集、處理和打印審計(jì)證據(jù)，需要在應(yīng)用系統(tǒng)或系統(tǒng)軟件中嵌入專門(mén)的審計(jì)模塊。二是將采集到的證據(jù)存儲(chǔ)在應(yīng)用系統(tǒng)文件中或存儲(chǔ)在專門(mén)的審計(jì)文件中，以便審計(jì)人員進(jìn)行審查。