自動(dòng)化測(cè)試最佳實(shí)踐

Dorothy Graham，軟件測(cè)試領(lǐng)域的大師級(jí)人物，有著40余年的軟件測(cè)試經(jīng)驗(yàn)，曾獲得軟件測(cè)試領(lǐng)域歐洲卓越成就獎(jiǎng)。世界知名的顧問，Grove Constaltants公司的創(chuàng)始人，在軟件測(cè)試的學(xué)術(shù)研究方面有極深的造詣，寫作經(jīng)驗(yàn)也極為豐富，著有軟件測(cè)試領(lǐng)域的世界名著《Software Test Automation》，影響深遠(yuǎn)。

Mark Fewster，軟件測(cè)試領(lǐng)域的大師級(jí)人物，在軟件測(cè)試和自動(dòng)化領(lǐng)域有30余年的工作經(jīng)驗(yàn)?，F(xiàn)擔(dān)任英國計(jì)算機(jī)協(xié)會(huì)軟件測(cè)試專家興趣小組（BCS SIGiST）和信息系統(tǒng)考試委員會(huì) （ISEB）的委員。最近20年致力于為軟件測(cè)試的各個(gè)方面提供培訓(xùn)和咨詢服務(wù)。經(jīng)常在國內(nèi)和國際會(huì)議與研討會(huì)上發(fā)表演講，并且與Graham合著了軟件測(cè)試領(lǐng)域的世界名著《Software Test Automation》。

朱少民，譯者，國內(nèi)軟件測(cè)試界的領(lǐng)軍人物和資深專家，二十多年來一直從事軟件測(cè)試、質(zhì)量管理和過程改進(jìn)等工作，先后出版十多部著作，包括測(cè)試方面的暢銷書《完美測(cè)試》、《全程軟件測(cè)試》、《輕輕松松自動(dòng)化測(cè)試》、《軟件測(cè)試方法和技術(shù)》等，經(jīng)常在國內(nèi)外會(huì)議上發(fā)表演講。之前曾任思科-網(wǎng)迅（中國）軟件有限公司QA高級(jí)總監(jiān)，目前是同濟(jì)大學(xué)軟件學(xué)院教授、中國科技大學(xué)軟件學(xué)院教指委委員。

本書贊譽(yù)

譯者序

序

前言

第0章　案例研究反思 / 1

0.1　管理層問題 / 1

0.2　技術(shù)因素 / 6

0.3　總結(jié) / 12

第1章　敏捷團(tuán)隊(duì)的自動(dòng)化測(cè)試之旅：第一年 / 13

1.1　本案例研究的背景 / 14

1.2　整個(gè)團(tuán)隊(duì)的承諾 / 14

1.3　建立自動(dòng)化策略 / 15

1.4　利用驗(yàn)收測(cè)試驅(qū)動(dòng)開發(fā)，使用FitNesse測(cè)試GUI / 18

1.5　使用增量方法 / 20

1.6　正確度量 / 20

1.7　慶祝成功 / 21

1.8　引入工程沖刺 / 22

1.9　團(tuán)隊(duì)成功 / 22

1.10　持續(xù)改進(jìn) / 24

1.11　總結(jié) / 24

第2章　終極數(shù)據(jù)庫自動(dòng)化 / 25

2.1　本案例研究的背景 / 25

2.2　測(cè)試中的軟件 / 26

2.3　自動(dòng)化測(cè)試的目標(biāo) / 27

2.4　開發(fā)內(nèi)部測(cè)試工具 / 28

2.5　結(jié)果 / 30

2.6　管理自動(dòng)化測(cè)試 / 31

2.7　測(cè)試套件和類型 / 31

2.8　現(xiàn)狀 / 33

2.9　在經(jīng)過一段很艱難的時(shí)光后才得到的經(jīng)驗(yàn)教訓(xùn) / 33

2.10　如何使用自動(dòng)化測(cè)試書中的建議 / 34

2.11　總結(jié) / 36

2.12　致謝 / 36

第3章　移動(dòng)到云端：TiP的演化——在線的持續(xù)回歸測(cè)試 / 37

3.1　本案例研究的背景 / 38

3.2　將測(cè)試移到云端 / 39

3.3　如何實(shí)施TiP / 41

3.4　每月服務(wù)評(píng)審記分卡樣例 / 43

3.5　Exchange TiP v2——將TiP遷移到Windows Azure云端 / 46

3.6　我們的心得 / 47

3.7　總結(jié) / 49

3.8　致謝 / 50

第4章　Automator的自動(dòng)化 / 51

4.1　本案例研究的背景：我的第一份工作 / 52

4.2　我的偉大構(gòu)想 / 53

4.3　一個(gè)突破 / 54

4.4　總結(jié) / 58

第5章　自動(dòng)化人員自傳：從主機(jī)到框架的自動(dòng)化 / 60

5.1　本案例研究的背景 / 61

5.2　主機(jī)綠屏自動(dòng)化測(cè)試項(xiàng)目 / 63

5.3　主機(jī)和基于腳本工具的差異 / 65

5.4　使用新的基于腳本的工具 / 66

5.5　IBM Maximo的自動(dòng)化測(cè)試 / 70

5.6　總結(jié) / 74

5.7　參考文獻(xiàn) / 74

第6章　項(xiàng)目1：失敗。項(xiàng)目2：成功！ / 76

6.1　本案例研究的背景 / 77

6.2　項(xiàng)目1：失敗 / 77

6.3　項(xiàng)目2：成功 / 78

6.4　下一個(gè)時(shí)間段：真實(shí)地測(cè)試 / 85

6.5　總結(jié) / 92

第7章　復(fù)雜政府系統(tǒng)的自動(dòng)化測(cè)試 / 93

7.1　本案例研究的背景 / 93

7.2　自動(dòng)化需求分析 / 94

7.3　我們的自動(dòng)化測(cè)試解決方案——自動(dòng)化測(cè)試和再測(cè)試 / 95

7.4　自動(dòng)化測(cè)試解決方案的應(yīng)用 / 101

7.5　總結(jié) / 102

第8章　設(shè)備仿真框架 / 103

8.1　本案例研究的背景 / 103

8.2　設(shè)備仿真框架的誕生 / 104

8.3　構(gòu)建DSF / 105

8.4　自動(dòng)化目標(biāo) / 106

8.5　案例研究 / 107

8.6　沒有銀彈 / 110

8.7　總結(jié) / 111

8.8　致謝 / 111

第9章　ESA項(xiàng)目中基于模型的測(cè)試用例生成 / 112

9.1　本案例研究的背景 / 113

9.2　基于模型的測(cè)試和測(cè)試用例生成 / 113

9.3　我們的應(yīng)用：ESA多任務(wù)用戶服務(wù)項(xiàng)目 / 116

9.4　學(xué)到的經(jīng)驗(yàn)和教訓(xùn) / 121

9.5　總結(jié) / 125

9.6　參考文獻(xiàn) / 126

9.7　致謝 / 126

第10章　10年過去了，項(xiàng)目還在進(jìn)行 / 127

10.1　本案例研究的背景：之前的故事 / 128

10.2　每月進(jìn)行自動(dòng)化測(cè)試的保險(xiǎn)報(bào)價(jià)系統(tǒng) / 128

10.3　接下來發(fā)生了什么 / 138

10.4　總結(jié) / 138

第11章　鳳凰在灰燼中重生 / 141

11.1　本案例研究的背景 / 141

11.2　鳳凰的誕生 / 142

11.3　鳳凰的死亡 / 144

11.4　鳳凰的重生 / 145

11.5　鳳凰的新生 / 148

11.6　總結(jié) / 152

第12章　政府機(jī)構(gòu)運(yùn)作系統(tǒng)的自動(dòng)化測(cè)試之旅 / 155

12.1　本案例研究的背景 / 156

12.2　該機(jī)構(gòu)的自動(dòng)化測(cè)試 / 156

12.3　2000~2008年 / 159

12.4　三次巧合 / 162

12.5　在測(cè)試團(tuán)隊(duì)中完善能力 / 165

12.6　未來的方向：繼續(xù)旅程 / 166

12.7　總結(jié) / 168

第13章　使用硬件接口的自動(dòng)化可靠性測(cè)試 / 169

13.1　本案例的研究背景 / 170

13.2　采取措施的必要性 / 170

13.3　自動(dòng)化測(cè)試啟動(dòng)（增量式方法） / 171

13.4　來自管理層的支持 / 172

13.5　測(cè)試框架的進(jìn)一步開發(fā) / 174

13.6　部署并改進(jìn)報(bào)告形式 / 177

13.7　總結(jié) / 178

第14章　Android應(yīng)用的基于模型GUI測(cè)試 / 180

14.1　本案例研究的背景 / 181

14.2　使用TEMA工具集的MBT / 182

14.3　應(yīng)用行為建模 / 187

14.4　測(cè)試用例的生成 / 190

14.5　連接和適配 / 191

14.6　結(jié)果 / 194

14.7　總結(jié) / 194

14.8　致謝 / 195

14.9　參考文獻(xiàn) / 195

第15章　SAP業(yè)務(wù)流程的自動(dòng)化測(cè)試 / 197

15.1　本案例研究的背景 / 198

15.2　標(biāo)準(zhǔn)和最佳實(shí)踐 / 200

15.3　eCATT使用實(shí)例 / 203

15.4　總結(jié) / 207

15.5　致謝 / 208

第16章　SAP實(shí)現(xiàn)的自動(dòng)化測(cè)試 / 209

16.1　本案例研究的背景 / 210

16.2　項(xiàng)目概述 / 211

16.3　第1階段：概念的證明 / 212

16.4　第2階段：項(xiàng)目啟動(dòng) / 217

16.5　總結(jié) / 226

第17章　選擇了錯(cuò)誤的工具 / 228

17.1　本案例研究的背景 / 228

17.2?。赡埽┰缫汛嬖诘淖詣?dòng)化測(cè)試 / 230

17.3　必要的決策：新工具還是主要維護(hù)成本 / 231

17.4　繼續(xù)推進(jìn)eggPlant工具 / 233

17.5　我們?cè)趀ggPlant項(xiàng)目之后還將做什么 / 239

17.6　總結(jié) / 239

第18章　市場(chǎng)交易系統(tǒng)的自動(dòng)化測(cè)試：十年經(jīng)驗(yàn)和三個(gè)框架 / 242

18.1　本案例研究的背景 / 243

18.2　自動(dòng)化測(cè)試框架 / 243

18.3　測(cè)試角色 / 245

18.4　抽象層 / 246

18.5　配置 / 248

18.6　成本和投資回報(bào)率 / 249

18.7　總結(jié) / 251

第19章　自動(dòng)化測(cè)試不僅僅是回歸測(cè)試：發(fā)揮創(chuàng)造性思維 / 253

19.1　本案例研究的背景 / 254

19.2　任務(wù)自動(dòng)化的兩個(gè)故事 / 254

19.3　自動(dòng)化測(cè)試用來支持手動(dòng)探索式測(cè)試 / 258

19.4　自動(dòng)化測(cè)試數(shù)據(jù)交互 / 260

19.5　自動(dòng)化測(cè)試和監(jiān)測(cè) / 262

19.6　通過組合簡單的工具模擬現(xiàn)實(shí)世界的負(fù)載 / 264

19.7　總結(jié) / 265

19.8　參考文獻(xiàn) / 265

第20章　醫(yī)療設(shè)備軟件需要優(yōu)秀的自動(dòng)化軟件測(cè)試 / 267

20.1　本案例研究的背景 / 268

20.2　每個(gè)項(xiàng)目不同方法的比較 / 272

20.3　項(xiàng)目HAMLET / 274

20.4　項(xiàng)目PHOENIX / 275

20.5　項(xiàng)目DOITYOURSELF / 277

20.6　項(xiàng)目MINIWEB / 279

20.7　測(cè)試執(zhí)行 / 280

20.8　結(jié)果報(bào)告 / 281

20.9　總結(jié) / 283

第21章　通過后門（通過支持手動(dòng)測(cè)試）進(jìn)行自動(dòng)化 / 287

21.1　本案例研究的背景 / 288

21.2　我們的技術(shù)解決方案 / 288

21.3　通過ISS測(cè)試站實(shí)現(xiàn)測(cè)試自動(dòng)化 / 291

21.4　實(shí)現(xiàn)測(cè)試自動(dòng)化 / 293

21.5　支持手動(dòng)測(cè)試 / 296

21.6　新的手動(dòng)測(cè)試過程 / 298

21.7　總結(jié) / 302

21.8　參考文獻(xiàn) / 303

第22章　使用自動(dòng)化測(cè)試為可移植性測(cè)試增值 / 305

22.1　本案例研究的背景 / 306

22.2　可移植性測(cè)試：喜歡它或者討厭它 / 306

22.3　將軟件組合起來作為解決方案 / 307

22.4　總結(jié) / 312

22.5　致謝 / 312

第23章　保險(xiǎn)公司中的自動(dòng)化測(cè)試：感受我們測(cè)試的方法 / 313

23.1　本案例研究的背景 / 313

23.2　應(yīng)用程序 / 314

23.3　目標(biāo) / 315

23.4　我們做的工作 / 315

23.5　教訓(xùn) / 317

23.6　總結(jié) / 318

第24章　使用測(cè)試猴子的冒險(xiǎn)之旅 / 320

-24.1　本案例研究的背景 / 320

24.2　自動(dòng)化回歸測(cè)試的局限性 / 321

24.3　測(cè)試猴子 / 322

24.4　實(shí)現(xiàn)測(cè)試猴子 / 324

24.5　使用測(cè)試猴子 / 325

24.6　收益和局限性 / 328

24.7　總結(jié) / 329

24.8　參考文獻(xiàn) / 329

第25章　在NATS對(duì)SYSTEM-OF-SYSTEMS的自動(dòng)化測(cè)試 / 330

25.1　本案例研究的背景 / 331

25.2　測(cè)試執(zhí)行工具的集成 / 333

25.3　工具的試點(diǎn)項(xiàng)目 / 333

25.4　系統(tǒng)使用中（In-Service）的測(cè)試模式 / 334

25.5　實(shí)現(xiàn) / 334

25.6　典型的腳本模板 / 336

25.7　得到的教訓(xùn) / 338

25.8　總結(jié) / 339

第26章　對(duì)汽車電子系統(tǒng)進(jìn)行自動(dòng)化測(cè)試 / 340

26.1　本案例研究的背景 / 341

26.2　自動(dòng)化項(xiàng)目的目標(biāo) / 342

26.3　自動(dòng)化項(xiàng)目的簡史 / 342

26.4　自動(dòng)化項(xiàng)目的結(jié)果 / 344

26.5　總結(jié) / 345

第27章　宏偉目標(biāo)、改變和測(cè)試轉(zhuǎn)型 / 346

27.1　本案例研究的背景 / 346

27.2　管理層的認(rèn)可 / 347

27.3　構(gòu)建自動(dòng)化框架的故事 / 350

27.4　自動(dòng)化測(cè)試框架的描述 / 352

27.5　測(cè)試環(huán)境 / 355

27.6　度量標(biāo)準(zhǔn) / 356

27.7　總結(jié) / 358

第28章　自動(dòng)化探索測(cè)試：超越當(dāng)前時(shí)代的例子 / 361

28.1　本案例研究的背景 / 362

28.2　什么是故障管理工具 / 362

28.3　測(cè)試故障管理系統(tǒng)中的事務(wù) / 363

28.4　用編程的方法結(jié)構(gòu)化測(cè)試用例 / 365

28.5　思考自動(dòng)化測(cè)試的新方式 / 365

28.6　測(cè)試故障管理系統(tǒng)的工作流 / 366

28.7　運(yùn)行中生成測(cè)試 / 371

28.8　項(xiàng)目的沖刺階段 / 372

28.9　發(fā)布之后 / 373

28.10　總結(jié) / 374

28.11　致謝 / 374

第29章　測(cè)試自動(dòng)化的軼事 / 375

29.1　三個(gè)小故事 / 375

29.2　需要更多對(duì)自動(dòng)化的理解 / 378

29.3　自動(dòng)化測(cè)試的第一天 / 379

29.4　嘗試開始實(shí)施自動(dòng)化 / 384

29.5　與管理層作斗爭 / 385

29.6　探索性測(cè)試自動(dòng)化：數(shù)據(jù)庫記錄鎖定 / 387

29.7　在嵌入式硬件-軟件計(jì)算機(jī)環(huán)境中進(jìn)行測(cè)試自動(dòng)化所得到的教訓(xùn) / 392

29.8　傳染性的時(shí)鐘 / 395

29.9　自動(dòng)化系統(tǒng)的靈活性 / 397

29.10　使用過多工具（跨部門的支持不夠）的故事 / 398

29.11　成功的案例卻有著意料之外的結(jié)局 / 401

29.12　合作能夠克服資源的限制 / 404

29.13　取得了大規(guī)模成功的自動(dòng)化過程 / 405

29.14　測(cè)試自動(dòng)化并不總是像看上去那樣 / 409

附錄A　工具 / 413

案例研究的作者簡介 / 422

2100433B

自動(dòng)化測(cè)試不再是奢侈品而成為軟件測(cè)試的必需品。隨著應(yīng)用程序和系統(tǒng)規(guī)模越來越大、越來越復(fù)雜，僅僅依賴手動(dòng)測(cè)試已經(jīng)無法全面地測(cè)試系統(tǒng)。隨著技術(shù)的變動(dòng)，越來越多的公司加入到了敏捷開發(fā)的陣營中，必須對(duì)這些程序進(jìn)行測(cè)試，而且速度要快。測(cè)試自動(dòng)化是非?；镜男枨?，但有時(shí)糟糕的自動(dòng)化只會(huì)適得其反——如何才能知道應(yīng)該在哪里進(jìn)行自動(dòng)化呢？

作者Dorothy Gramham和Mark Fewster之前寫的《Software Test Automation》這本書在自動(dòng)化測(cè)試領(lǐng)域影響深遠(yuǎn)，它為很多公司指明了測(cè)試成功的方向。本書講述了一些公司應(yīng)用自動(dòng)化的經(jīng)歷，其中涉及了很多項(xiàng)目，從復(fù)雜的政府部門系統(tǒng)到醫(yī)療設(shè)備，從SAP業(yè)務(wù)過程開發(fā)到Android移動(dòng)應(yīng)用和云計(jì)算。本書討論了管理方面和技術(shù)方面的因素，講述了成功和失敗的例子、卓越的想法以及災(zāi)難性的決定，為讀者提供了可以借鑒的經(jīng)驗(yàn)教訓(xùn)。

本書對(duì)于那些考慮、實(shí)施、使用、管理測(cè)試自動(dòng)化的人來說是無價(jià)之寶。測(cè)試人員、開發(fā)人員、自動(dòng)化人員以及自動(dòng)化架構(gòu)師、測(cè)試經(jīng)理、項(xiàng)目經(jīng)理、分析師、QA專家和技術(shù)總監(jiān)都可以從本書受益。

本書主要內(nèi)容：

敏捷開發(fā)中的測(cè)試自動(dòng)化

管理層的支持力度是如何導(dǎo)致自動(dòng)化成功和失敗的

設(shè)計(jì)良好的測(cè)試件結(jié)構(gòu)和抽象層的重要性

如何衡量收益和ROI

管理的因素，包括技能、項(xiàng)目規(guī)劃、項(xiàng)目領(lǐng)域和項(xiàng)目期望

基于模型測(cè)試（MBT）、猴子測(cè)試和探索式測(cè)試的自動(dòng)化

標(biāo)準(zhǔn)、溝通、文檔和靈活性在企業(yè)級(jí)測(cè)試自動(dòng)化中的重要性

測(cè)試支持性活動(dòng)的自動(dòng)化

明智的選擇：對(duì)哪些測(cè)試進(jìn)行自動(dòng)化、不要對(duì)哪些測(cè)試進(jìn)行自動(dòng)化

自動(dòng)化測(cè)試的隱藏開銷：對(duì)其進(jìn)行的維護(hù)和錯(cuò)誤分析

測(cè)試自動(dòng)化的正確目標(biāo)：為什么“為了發(fā)現(xiàn)bug”并不是一個(gè)好的目標(biāo)

重點(diǎn)強(qiáng)調(diào)一些學(xué)到的教訓(xùn)、真知灼見和有用的小技巧

萃取組織最佳實(shí)踐是依托于組織的最佳實(shí)踐，通過訪談技術(shù)了解事情的來龍去脈，通過發(fā)散技術(shù)了解更多可能經(jīng)驗(yàn)，通過分析技術(shù)明確主要經(jīng)驗(yàn)，通過收斂技術(shù)聚焦團(tuán)隊(duì)智慧，通過表達(dá)技術(shù)結(jié)構(gòu)化地呈現(xiàn)最佳實(shí)踐，將其拆分為案例、經(jīng)驗(yàn)、步驟、難點(diǎn)、注意等幾個(gè)方面，并提煉簡單易記的標(biāo)題名字，最后匯總成手冊(cè)。

常被用來作為一種強(qiáng)制行政標(biāo)準(zhǔn)以保證質(zhì)量，其基礎(chǔ)可以是自我評(píng)估和標(biāo)桿管理。最佳實(shí)踐是ISO 9000和ISO 14001認(rèn)證的管理標(biāo)準(zhǔn)。

萃取組織最佳實(shí)踐。

（1）解決培訓(xùn)沒有成果的問題。很多培訓(xùn)之后，什么成果也沒形成，無論再好的培訓(xùn)，學(xué)員一周之后基本也都會(huì)遺忘。而組織最佳實(shí)踐萃取課程可以做到課程結(jié)束就會(huì)產(chǎn)出成果。

（2）解決關(guān)鍵崗位的優(yōu)秀經(jīng)驗(yàn)流失的問題。組織最佳實(shí)踐萃取就是萃取優(yōu)秀人員的優(yōu)秀經(jīng)驗(yàn)，匯總之后就會(huì)形成經(jīng)驗(yàn)集，這就是在做崗位的知識(shí)管理，比如銷售崗位的最佳實(shí)踐。

（3）解決公司存在某個(gè)問題?？梢越Y(jié)合公司當(dāng)前存在一個(gè)問題，邀請(qǐng)利益相關(guān)者集思廣益，共同萃取出解決問題的思路和方案。

（4）解決某個(gè)主題經(jīng)驗(yàn)流失的問題。公司里某個(gè)主題或某個(gè)做法做的很好，但一直沒有提煉總結(jié)出來，沒有形成工具模型、方法論， 組織最佳實(shí)踐萃取可以形成某個(gè)主題的方法論，比如服務(wù)方法論。

北京組織經(jīng)驗(yàn)萃取研究院院長王興權(quán)，是這個(gè)領(lǐng)域的代表人物。