自動化測試最佳實踐作品目錄

本書贊譽

譯者序

序

前言

第0章　案例研究反思 / 1

0.1　管理層問題 / 1

0.2　技術(shù)因素 / 6

0.3　總結(jié) / 12

第1章　敏捷團隊的自動化測試之旅：第一年 / 13

1.1　本案例研究的背景 / 14

1.2　整個團隊的承諾 / 14

1.3　建立自動化策略 / 15

1.4　利用驗收測試驅(qū)動開發(fā)，使用FitNesse測試GUI / 18

1.5　使用增量方法 / 20

1.6　正確度量 / 20

1.7　慶祝成功 / 21

1.8　引入工程沖刺 / 22

1.9　團隊成功 / 22

1.10　持續(xù)改進 / 24

1.11　總結(jié) / 24

第2章　終極數(shù)據(jù)庫自動化 / 25

2.1　本案例研究的背景 / 25

2.2　測試中的軟件 / 26

2.3　自動化測試的目標 / 27

2.4　開發(fā)內(nèi)部測試工具 / 28

2.5　結(jié)果 / 30

2.6　管理自動化測試 / 31

2.7　測試套件和類型 / 31

2.8　現(xiàn)狀 / 33

2.9　在經(jīng)過一段很艱難的時光后才得到的經(jīng)驗教訓(xùn) / 33

2.10　如何使用自動化測試書中的建議 / 34

2.11　總結(jié) / 36

2.12　致謝 / 36

第3章　移動到云端：TiP的演化——在線的持續(xù)回歸測試 / 37

3.1　本案例研究的背景 / 38

3.2　將測試移到云端 / 39

3.3　如何實施TiP / 41

3.4　每月服務(wù)評審記分卡樣例 / 43

3.5　Exchange TiP v2——將TiP遷移到Windows Azure云端 / 46

3.6　我們的心得 / 47

3.7　總結(jié) / 49

3.8　致謝 / 50

第4章　Automator的自動化 / 51

4.1　本案例研究的背景：我的第一份工作 / 52

4.2　我的偉大構(gòu)想 / 53

4.3　一個突破 / 54

4.4　總結(jié) / 58

第5章　自動化人員自傳：從主機到框架的自動化 / 60

5.1　本案例研究的背景 / 61

5.2　主機綠屏自動化測試項目 / 63

5.3　主機和基于腳本工具的差異 / 65

5.4　使用新的基于腳本的工具 / 66

5.5　IBM Maximo的自動化測試 / 70

5.6　總結(jié) / 74

5.7　參考文獻 / 74

第6章　項目1：失敗。項目2：成功！ / 76

6.1　本案例研究的背景 / 77

6.2　項目1：失敗 / 77

6.3　項目2：成功 / 78

6.4　下一個時間段：真實地測試 / 85

6.5　總結(jié) / 92

第7章　復(fù)雜政府系統(tǒng)的自動化測試 / 93

7.1　本案例研究的背景 / 93

7.2　自動化需求分析 / 94

7.3　我們的自動化測試解決方案——自動化測試和再測試 / 95

7.4　自動化測試解決方案的應(yīng)用 / 101

7.5　總結(jié) / 102

第8章　設(shè)備仿真框架 / 103

8.1　本案例研究的背景 / 103

8.2　設(shè)備仿真框架的誕生 / 104

8.3　構(gòu)建DSF / 105

8.4　自動化目標 / 106

8.5　案例研究 / 107

8.6　沒有銀彈 / 110

8.7　總結(jié) / 111

8.8　致謝 / 111

第9章　ESA項目中基于模型的測試用例生成 / 112

9.1　本案例研究的背景 / 113

9.2　基于模型的測試和測試用例生成 / 113

9.3　我們的應(yīng)用：ESA多任務(wù)用戶服務(wù)項目 / 116

9.4　學(xué)到的經(jīng)驗和教訓(xùn) / 121

9.5　總結(jié) / 125

9.6　參考文獻 / 126

9.7　致謝 / 126

第10章　10年過去了，項目還在進行 / 127

10.1　本案例研究的背景：之前的故事 / 128

10.2　每月進行自動化測試的保險報價系統(tǒng) / 128

10.3　接下來發(fā)生了什么 / 138

10.4　總結(jié) / 138

第11章　鳳凰在灰燼中重生 / 141

11.1　本案例研究的背景 / 141

11.2　鳳凰的誕生 / 142

11.3　鳳凰的死亡 / 144

11.4　鳳凰的重生 / 145

11.5　鳳凰的新生 / 148

11.6　總結(jié) / 152

第12章　政府機構(gòu)運作系統(tǒng)的自動化測試之旅 / 155

12.1　本案例研究的背景 / 156

12.2　該機構(gòu)的自動化測試 / 156

12.3　2000~2008年 / 159

12.4　三次巧合 / 162

12.5　在測試團隊中完善能力 / 165

12.6　未來的方向：繼續(xù)旅程 / 166

12.7　總結(jié) / 168

第13章　使用硬件接口的自動化可靠性測試 / 169

13.1　本案例的研究背景 / 170

13.2　采取措施的必要性 / 170

13.3　自動化測試啟動（增量式方法） / 171

13.4　來自管理層的支持 / 172

13.5　測試框架的進一步開發(fā) / 174

13.6　部署并改進報告形式 / 177

13.7　總結(jié) / 178

第14章　Android應(yīng)用的基于模型GUI測試 / 180

14.1　本案例研究的背景 / 181

14.2　使用TEMA工具集的MBT / 182

14.3　應(yīng)用行為建模 / 187

14.4　測試用例的生成 / 190

14.5　連接和適配 / 191

14.6　結(jié)果 / 194

14.7　總結(jié) / 194

14.8　致謝 / 195

14.9　參考文獻 / 195

第15章　SAP業(yè)務(wù)流程的自動化測試 / 197

15.1　本案例研究的背景 / 198

15.2　標準和最佳實踐 / 200

15.3　eCATT使用實例 / 203

15.4　總結(jié) / 207

15.5　致謝 / 208

第16章　SAP實現(xiàn)的自動化測試 / 209

16.1　本案例研究的背景 / 210

16.2　項目概述 / 211

16.3　第1階段：概念的證明 / 212

16.4　第2階段：項目啟動 / 217

16.5　總結(jié) / 226

第17章　選擇了錯誤的工具 / 228

17.1　本案例研究的背景 / 228

17.2?。赡埽┰缫汛嬖诘淖詣踊瘻y試 / 230

17.3　必要的決策：新工具還是主要維護成本 / 231

17.4　繼續(xù)推進eggPlant工具 / 233

17.5　我們在eggPlant項目之后還將做什么 / 239

17.6　總結(jié) / 239

第18章　市場交易系統(tǒng)的自動化測試：十年經(jīng)驗和三個框架 / 242

18.1　本案例研究的背景 / 243

18.2　自動化測試框架 / 243

18.3　測試角色 / 245

18.4　抽象層 / 246

18.5　配置 / 248

18.6　成本和投資回報率 / 249

18.7　總結(jié) / 251

第19章　自動化測試不僅僅是回歸測試：發(fā)揮創(chuàng)造性思維 / 253

19.1　本案例研究的背景 / 254

19.2　任務(wù)自動化的兩個故事 / 254

19.3　自動化測試用來支持手動探索式測試 / 258

19.4　自動化測試數(shù)據(jù)交互 / 260

19.5　自動化測試和監(jiān)測 / 262

19.6　通過組合簡單的工具模擬現(xiàn)實世界的負載 / 264

19.7　總結(jié) / 265

19.8　參考文獻 / 265

第20章　醫(yī)療設(shè)備軟件需要優(yōu)秀的自動化軟件測試 / 267

20.1　本案例研究的背景 / 268

20.2　每個項目不同方法的比較 / 272

20.3　項目HAMLET / 274

20.4　項目PHOENIX / 275

20.5　項目DOITYOURSELF / 277

20.6　項目MINIWEB / 279

20.7　測試執(zhí)行 / 280

20.8　結(jié)果報告 / 281

20.9　總結(jié) / 283

第21章　通過后門（通過支持手動測試）進行自動化 / 287

21.1　本案例研究的背景 / 288

21.2　我們的技術(shù)解決方案 / 288

21.3　通過ISS測試站實現(xiàn)測試自動化 / 291

21.4　實現(xiàn)測試自動化 / 293

21.5　支持手動測試 / 296

21.6　新的手動測試過程 / 298

21.7　總結(jié) / 302

21.8　參考文獻 / 303

第22章　使用自動化測試為可移植性測試增值 / 305

22.1　本案例研究的背景 / 306

22.2　可移植性測試：喜歡它或者討厭它 / 306

22.3　將軟件組合起來作為解決方案 / 307

22.4　總結(jié) / 312

22.5　致謝 / 312

第23章　保險公司中的自動化測試：感受我們測試的方法 / 313

23.1　本案例研究的背景 / 313

23.2　應(yīng)用程序 / 314

23.3　目標 / 315

23.4　我們做的工作 / 315

23.5　教訓(xùn) / 317

23.6　總結(jié) / 318

第24章　使用測試猴子的冒險之旅 / 320

-24.1　本案例研究的背景 / 320

24.2　自動化回歸測試的局限性 / 321

24.3　測試猴子 / 322

24.4　實現(xiàn)測試猴子 / 324

24.5　使用測試猴子 / 325

24.6　收益和局限性 / 328

24.7　總結(jié) / 329

24.8　參考文獻 / 329

第25章　在NATS對SYSTEM-OF-SYSTEMS的自動化測試 / 330

25.1　本案例研究的背景 / 331

25.2　測試執(zhí)行工具的集成 / 333

25.3　工具的試點項目 / 333

25.4　系統(tǒng)使用中（In-Service）的測試模式 / 334

25.5　實現(xiàn) / 334

25.6　典型的腳本模板 / 336

25.7　得到的教訓(xùn) / 338

25.8　總結(jié) / 339

第26章　對汽車電子系統(tǒng)進行自動化測試 / 340

26.1　本案例研究的背景 / 341

26.2　自動化項目的目標 / 342

26.3　自動化項目的簡史 / 342

26.4　自動化項目的結(jié)果 / 344

26.5　總結(jié) / 345

第27章　宏偉目標、改變和測試轉(zhuǎn)型 / 346

27.1　本案例研究的背景 / 346

27.2　管理層的認可 / 347

27.3　構(gòu)建自動化框架的故事 / 350

27.4　自動化測試框架的描述 / 352

27.5　測試環(huán)境 / 355

27.6　度量標準 / 356

27.7　總結(jié) / 358

第28章　自動化探索測試：超越當(dāng)前時代的例子 / 361

28.1　本案例研究的背景 / 362

28.2　什么是故障管理工具 / 362

28.3　測試故障管理系統(tǒng)中的事務(wù) / 363

28.4　用編程的方法結(jié)構(gòu)化測試用例 / 365

28.5　思考自動化測試的新方式 / 365

28.6　測試故障管理系統(tǒng)的工作流 / 366

28.7　運行中生成測試 / 371

28.8　項目的沖刺階段 / 372

28.9　發(fā)布之后 / 373

28.10　總結(jié) / 374

28.11　致謝 / 374

第29章　測試自動化的軼事 / 375

29.1　三個小故事 / 375

29.2　需要更多對自動化的理解 / 378

29.3　自動化測試的第一天 / 379

29.4　嘗試開始實施自動化 / 384

29.5　與管理層作斗爭 / 385

29.6　探索性測試自動化：數(shù)據(jù)庫記錄鎖定 / 387

29.7　在嵌入式硬件-軟件計算機環(huán)境中進行測試自動化所得到的教訓(xùn) / 392

29.8　傳染性的時鐘 / 395

29.9　自動化系統(tǒng)的靈活性 / 397

29.10　使用過多工具（跨部門的支持不夠）的故事 / 398

29.11　成功的案例卻有著意料之外的結(jié)局 / 401

29.12　合作能夠克服資源的限制 / 404

29.13　取得了大規(guī)模成功的自動化過程 / 405

29.14　測試自動化并不總是像看上去那樣 / 409

附錄A　工具 / 413

案例研究的作者簡介 / 422

2100433B

Dorothy Graham，軟件測試領(lǐng)域的大師級人物，有著40余年的軟件測試經(jīng)驗，曾獲得軟件測試領(lǐng)域歐洲卓越成就獎。世界知名的顧問，Grove Constaltants公司的創(chuàng)始人，在軟件測試的學(xué)術(shù)研究方面有極深的造詣，寫作經(jīng)驗也極為豐富，著有軟件測試領(lǐng)域的世界名著《Software Test Automation》，影響深遠。

Mark Fewster，軟件測試領(lǐng)域的大師級人物，在軟件測試和自動化領(lǐng)域有30余年的工作經(jīng)驗?，F(xiàn)擔(dān)任英國計算機協(xié)會軟件測試專家興趣小組（BCS SIGiST）和信息系統(tǒng)考試委員會 （ISEB）的委員。最近20年致力于為軟件測試的各個方面提供培訓(xùn)和咨詢服務(wù)。經(jīng)常在國內(nèi)和國際會議與研討會上發(fā)表演講，并且與Graham合著了軟件測試領(lǐng)域的世界名著《Software Test Automation》。

朱少民，譯者，國內(nèi)軟件測試界的領(lǐng)軍人物和資深專家，二十多年來一直從事軟件測試、質(zhì)量管理和過程改進等工作，先后出版十多部著作，包括測試方面的暢銷書《完美測試》、《全程軟件測試》、《輕輕松松自動化測試》、《軟件測試方法和技術(shù)》等，經(jīng)常在國內(nèi)外會議上發(fā)表演講。之前曾任思科-網(wǎng)迅（中國）軟件有限公司QA高級總監(jiān)，目前是同濟大學(xué)軟件學(xué)院教授、中國科技大學(xué)軟件學(xué)院教指委委員。

自動化測試不再是奢侈品而成為軟件測試的必需品。隨著應(yīng)用程序和系統(tǒng)規(guī)模越來越大、越來越復(fù)雜，僅僅依賴手動測試已經(jīng)無法全面地測試系統(tǒng)。隨著技術(shù)的變動，越來越多的公司加入到了敏捷開發(fā)的陣營中，必須對這些程序進行測試，而且速度要快。測試自動化是非?；镜男枨?，但有時糟糕的自動化只會適得其反——如何才能知道應(yīng)該在哪里進行自動化呢？

作者Dorothy Gramham和Mark Fewster之前寫的《Software Test Automation》這本書在自動化測試領(lǐng)域影響深遠，它為很多公司指明了測試成功的方向。本書講述了一些公司應(yīng)用自動化的經(jīng)歷，其中涉及了很多項目，從復(fù)雜的政府部門系統(tǒng)到醫(yī)療設(shè)備，從SAP業(yè)務(wù)過程開發(fā)到Android移動應(yīng)用和云計算。本書討論了管理方面和技術(shù)方面的因素，講述了成功和失敗的例子、卓越的想法以及災(zāi)難性的決定，為讀者提供了可以借鑒的經(jīng)驗教訓(xùn)。

本書對于那些考慮、實施、使用、管理測試自動化的人來說是無價之寶。測試人員、開發(fā)人員、自動化人員以及自動化架構(gòu)師、測試經(jīng)理、項目經(jīng)理、分析師、QA專家和技術(shù)總監(jiān)都可以從本書受益。

本書主要內(nèi)容：

敏捷開發(fā)中的測試自動化

管理層的支持力度是如何導(dǎo)致自動化成功和失敗的

設(shè)計良好的測試件結(jié)構(gòu)和抽象層的重要性

如何衡量收益和ROI

管理的因素，包括技能、項目規(guī)劃、項目領(lǐng)域和項目期望

基于模型測試（MBT）、猴子測試和探索式測試的自動化

標準、溝通、文檔和靈活性在企業(yè)級測試自動化中的重要性

測試支持性活動的自動化

明智的選擇：對哪些測試進行自動化、不要對哪些測試進行自動化

自動化測試的隱藏開銷：對其進行的維護和錯誤分析

測試自動化的正確目標：為什么“為了發(fā)現(xiàn)bug”并不是一個好的目標

重點強調(diào)一些學(xué)到的教訓(xùn)、真知灼見和有用的小技巧

萃取組織最佳實踐是依托于組織的最佳實踐，通過訪談技術(shù)了解事情的來龍去脈，通過發(fā)散技術(shù)了解更多可能經(jīng)驗，通過分析技術(shù)明確主要經(jīng)驗，通過收斂技術(shù)聚焦團隊智慧，通過表達技術(shù)結(jié)構(gòu)化地呈現(xiàn)最佳實踐，將其拆分為案例、經(jīng)驗、步驟、難點、注意等幾個方面，并提煉簡單易記的標題名字，最后匯總成手冊。

常被用來作為一種強制行政標準以保證質(zhì)量，其基礎(chǔ)可以是自我評估和標桿管理。最佳實踐是ISO 9000和ISO 14001認證的管理標準。

萃取組織最佳實踐。

（1）解決培訓(xùn)沒有成果的問題。很多培訓(xùn)之后，什么成果也沒形成，無論再好的培訓(xùn)，學(xué)員一周之后基本也都會遺忘。而組織最佳實踐萃取課程可以做到課程結(jié)束就會產(chǎn)出成果。

（2）解決關(guān)鍵崗位的優(yōu)秀經(jīng)驗流失的問題。組織最佳實踐萃取就是萃取優(yōu)秀人員的優(yōu)秀經(jīng)驗，匯總之后就會形成經(jīng)驗集，這就是在做崗位的知識管理，比如銷售崗位的最佳實踐。

（3）解決公司存在某個問題。可以結(jié)合公司當(dāng)前存在一個問題，邀請利益相關(guān)者集思廣益，共同萃取出解決問題的思路和方案。

（4）解決某個主題經(jīng)驗流失的問題。公司里某個主題或某個做法做的很好，但一直沒有提煉總結(jié)出來，沒有形成工具模型、方法論， 組織最佳實踐萃取可以形成某個主題的方法論，比如服務(wù)方法論。

北京組織經(jīng)驗萃取研究院院長王興權(quán)，是這個領(lǐng)域的代表人物。