數(shù)據(jù)挖掘：實(shí)用機(jī)器學(xué)習(xí)工具與技術(shù)圖書目錄

出版者的話

譯者序

前言

致謝

第一部分 數(shù)據(jù)挖掘簡介

第1章 緒論2

1.1 數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)2

1.1.1 描述結(jié)構(gòu)模式3

1.1.2 機(jī)器學(xué)習(xí)5

1.1.3 數(shù)據(jù)挖掘6

1.2 簡單的例子：天氣問題和其他問題6

1.2.1 天氣問題7

1.2.2 隱形眼鏡：一個(gè)理想化的問題8

1.2.3 鳶尾花：一個(gè)經(jīng)典的數(shù)值型數(shù)據(jù)集10

1.2.4 CPU性能：介紹數(shù)值預(yù)測11

1.2.5 勞資協(xié)商：一個(gè)更真實(shí)的例子11

1.2.6 大豆分類：一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)的成功例子13

1.3 應(yīng)用領(lǐng)域14

1.3.1 Web挖掘15

1.3.2 包含評判的決策15

1.3.3 圖像篩選16

1.3.4 負(fù)載預(yù)測17

1.3.5 診斷17

1.3.6 市場和銷售18

1.3.7 其他應(yīng)用19

1.4 機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)20

1.5 將泛化看做搜索21

1.5.1 枚舉概念空間22

1.5.2 偏差22

1.6 數(shù)據(jù)挖掘和道德24

1.6.1 再識別25

1.6.2 使用個(gè)人信息25

1.6.3 其他問題26

1.7 補(bǔ)充讀物27

第2章 輸入：概念、實(shí)例和屬性29

2.1 概念29

2.2 樣本31

2.2.1 關(guān)系32

2.2.2 其他實(shí)例類型34

2.3 屬性35

2.4 輸入準(zhǔn)備37

2.4.1 數(shù)據(jù)收集37

2.4.2 ARFF格式38

2.4.3 稀疏數(shù)據(jù)40

2.4.4 屬性類型40

2.4.5 缺失值41

2.4.6 不正確的值42

2.4.7 了解數(shù)據(jù)43

2.5 補(bǔ)充讀物43

第3章 輸出：知識表達(dá)44

3.1 表44

3.2 線性模型44

3.3 樹45

3.4 規(guī)則48

3.4.1 分類規(guī)則49

3.4.2 關(guān)聯(lián)規(guī)則52

3.4.3 包含例外的規(guī)則52

3.4.4 表達(dá)能力更強(qiáng)的規(guī)則54

3.5 基于實(shí)例的表達(dá)56

3.6 聚類58

3.7 補(bǔ)充讀物60

第4章 算法：基本方法61

4.1 推斷基本規(guī)則61

4.1.1 缺失值和數(shù)值屬性62

4.1.2 討論64

4.2 統(tǒng)計(jì)建模64

4.2.1 缺失值和數(shù)值屬性67

4.2.2 用于文檔分類的樸素貝葉斯68

4.2.3 討論70

4.3 分治法：建立決策樹70

4.3.1 計(jì)算信息量73

4.3.2 高度分支屬性74

4.3.3 討論75

4.4 覆蓋算法：建立規(guī)則76

4.4.1 規(guī)則與樹77

4.4.2 一個(gè)簡單的覆蓋算法77

4.4.3 規(guī)則與決策列表80

4.5 挖掘關(guān)聯(lián)規(guī)則81

4.5.1 項(xiàng)集81

4.5.2 關(guān)聯(lián)規(guī)則83

4.5.3 有效地生成規(guī)則85

4.5.4 討論87

4.6 線性模型87

4.6.1 數(shù)值預(yù)測：線性回歸87

4.6.2 線性分類：Logistic回歸88

4.6.3 使用感知機(jī)的線性分類90

4.6.4 使用Winnow的線性分類91

4.7 基于實(shí)例的學(xué)習(xí)92

4.7.1 距離函數(shù)93

4.7.2 有效尋找最近鄰93

4.7.3 討論97

4.8 聚類97

4.8.1 基于距離的迭代聚類98

4.8.2 快速距離計(jì)算99

4.8.3 討論100

4.9 多實(shí)例學(xué)習(xí)100

4.9.1 聚集輸入100

4.9.2 聚集輸出100

4.9.3 討論101

4.10 補(bǔ)充讀物101

4.11 Weka實(shí)現(xiàn)103

第5章 可信度：評估學(xué)習(xí)結(jié)果104

5.1 訓(xùn)練和測試104

5.2 預(yù)測性能106

5.3 交叉驗(yàn)證108

5.4 其他評估方法109

5.4.1 留一交叉驗(yàn)證109

5.4.2 自助法109

5.5 數(shù)據(jù)挖掘方法比較110

5.6 預(yù)測概率113

5.6.1 二次損失函數(shù)114

5.6.2 信息損失函數(shù)115

5.6.3 討論115

5.7 計(jì)算成本116

5.7.1 成本敏感分類117

5.7.2 成本敏感學(xué)習(xí)118

5.7.3 提升圖119

5.7.4 ROC曲線122

5.7.5 召回率—精確率曲線124

5.7.6 討論124

5.7.7 成本曲線125

5.8 評估數(shù)值預(yù)測127

5.9 最小描述長度原理129

5.10 在聚類方法中應(yīng)用MDL原理131

5.11 補(bǔ)充讀物132

第二部分 高級數(shù)據(jù)挖掘

第6章 實(shí)現(xiàn)：真正的機(jī)器學(xué)習(xí)方案134

6.1 決策樹135

6.1.1 數(shù)值屬性135

6.1.2 缺失值136

6.1.3 剪枝137

6.1.4 估計(jì)誤差率138

6.1.5 決策樹歸納的復(fù)雜度140

6.1.6 從決策樹到規(guī)則140

6.1.7 C4.5：選擇和選項(xiàng)141

6.1.8 成本—復(fù)雜度剪枝141

6.1.9 討論142

6.2 分類規(guī)則142

6.2.1 選擇測試的標(biāo)準(zhǔn)143

6.2.2 缺失值和數(shù)值屬性143

6.2.3 生成好的規(guī)則144

6.2.4 使用全局優(yōu)化146

6.2.5 從局部決策樹中獲得規(guī)則146

6.2.6 包含例外的規(guī)則149

6.2.7 討論151

6.3 關(guān)聯(lián)規(guī)則152

6.3.1 建立頻繁模式樹152

6.3.2 尋找大項(xiàng)集157

6.3.3 討論157

6.4 擴(kuò)展線性模型158

6.4.1 最大間隔超平面159

6.4.2 非線性類邊界160

6.4.3 支持向量回歸161

6.4.4 核嶺回歸163

6.4.5 核感知機(jī)164

6.4.6 多層感知機(jī)165

6.4.7 徑向基函數(shù)網(wǎng)絡(luò)171

6.4.8 隨機(jī)梯度下降172

6.4.9 討論173

6.5 基于實(shí)例的學(xué)習(xí)174

6.5.1 減少樣本集的數(shù)量174

6.5.2 對噪聲樣本集剪枝174

6.5.3 屬性加權(quán)175

6.5.4 泛化樣本集176

6.5.5 用于泛化樣本集的距離函數(shù)176

6.5.6 泛化的距離函數(shù)177

6.5.7 討論178

6.6 局部線性模型用于數(shù)值預(yù)測178

6.6.1 模型樹179

6.6.2 構(gòu)建樹179

6.6.3 對樹剪枝180

6.6.4 名目屬性180

6.6.5 缺失值181

6.6.6 模型樹歸納的偽代碼181

6.6.7 從模型樹到規(guī)則184

6.6.8 局部加權(quán)線性回歸184

6.6.9 討論185

6.7 貝葉斯網(wǎng)絡(luò)186

6.7.1 預(yù)測186

6.7.2 學(xué)習(xí)貝葉斯網(wǎng)絡(luò)189

6.7.3 算法細(xì)節(jié)190

6.7.4 用于快速學(xué)習(xí)的數(shù)據(jù)結(jié)構(gòu)192

6.7.5 討論194

6.8 聚類194

6.8.1 選擇聚類的個(gè)數(shù)195

6.8.2 層次聚類195

6.8.3 層次聚類的例子196

6.8.4 增量聚類199

6.8.5 分類效用203

6.8.6 基于概率的聚類204

6.8.7 EM算法205

6.8.8 擴(kuò)展混合模型206

6.8.9 貝葉斯聚類207

6.8.10 討論209

6.9 半監(jiān)督學(xué)習(xí)210

6.9.1 用于分類的聚類210

6.9.2 協(xié)同訓(xùn)練212

6.9.3 EM和協(xié)同訓(xùn)練212

6.9.4 討論213

6.10 多實(shí)例學(xué)習(xí)213

6.10.1 轉(zhuǎn)換為單實(shí)例學(xué)習(xí)213

6.10.2 升級學(xué)習(xí)算法215

6.10.3 專用多實(shí)例方法215

6.10.4 討論216

6.11 Weka實(shí)現(xiàn)216

第7章 數(shù)據(jù)轉(zhuǎn)換218

7.1 屬性選擇219

7.1.1 獨(dú)立于方案的選擇220

7.1.2 搜索屬性空間222

7.1.3 具體方案相關(guān)的選擇223

7.2 離散化數(shù)值屬性225

7.2.1 無監(jiān)督離散化226

7.2.2 基于熵的離散化226

7.2.3 其他離散化方法229

7.2.4 基于熵的離散化與基于誤差的離散化229

7.2.5 離散屬性轉(zhuǎn)換成數(shù)值屬性230

7.3 投影230

7.3.1 主成分分析231

7.3.2 隨機(jī)投影233

7.3.3 偏最小二乘回歸233

7.3.4 從文本到屬性向量235

7.3.5 時(shí)間序列236

7.4 抽樣236

7.5 數(shù)據(jù)清洗237

7.5.1 改進(jìn)決策樹237

7.5.2 穩(wěn)健回歸238

7.5.3 檢測異常239

7.5.4 一分類學(xué)習(xí)239

7.6 多分類問題轉(zhuǎn)換成二分類問題242

7.6.1 簡單方法242

7.6.2 誤差校正輸出編碼243

7.6.3 集成嵌套二分法244

7.7 校準(zhǔn)類概率246

7.8 補(bǔ)充讀物247

7.9 Weka實(shí)現(xiàn)249

第8章 集成學(xué)習(xí)250

8.1 組合多種模型250

8.2 裝袋251

8.2.1 偏差—方差分解251

8.2.2 考慮成本的裝袋253

8.3 隨機(jī)化253

8.3.1 隨機(jī)化與裝袋254

8.3.2 旋轉(zhuǎn)森林254

8.4 提升255

8.4.1 AdaBoost算法255

8.4.2 提升算法的威力257

8.5 累加回歸258

8.5.1 數(shù)值預(yù)測258

8.5.2 累加Logistic回歸259

8.6 可解釋的集成器260

8.6.1 選擇樹260

8.6.2 Logistic模型樹262

8.7 堆棧262

8.8 補(bǔ)充讀物264

8.9 Weka實(shí)現(xiàn)265

第9章 繼續(xù)：擴(kuò)展和應(yīng)用266

9.1 應(yīng)用數(shù)據(jù)挖掘266

9.2 從大型的數(shù)據(jù)集里學(xué)習(xí)268

9.3 數(shù)據(jù)流學(xué)習(xí)270

9.4 融合領(lǐng)域知識272

9.5 文本挖掘273

9.6 Web挖掘276

9.7 對抗情形278

9.8 無處不在的數(shù)據(jù)挖掘280

9.9 補(bǔ)充讀物281

第三部分 Weka數(shù)據(jù)挖掘平臺

第10章 Weka簡介284

10.1 Weka中包含了什么284

10.2 如何使用Weka285

10.3 Weka的其他應(yīng)用286

10.4 如何得到Weka286

第11章 Explorer界面287

11.1 開始287

11.1.1 準(zhǔn)備數(shù)據(jù)287

11.1.2 將數(shù)據(jù)載入Explorer288

11.1.3 建立決策樹289

11.1.4 查看結(jié)果290

11.1.5 重做一遍292

11.1.6 運(yùn)用模型292

11.1.7 運(yùn)行錯(cuò)誤的處理294

11.2 探索Explorer294

11.2.1 載入及過濾文件294

11.2.2 訓(xùn)練和測試學(xué)習(xí)方案299

11.2.3 自己動(dòng)手：用戶分類器301

11.2.4 使用元學(xué)習(xí)器304

11.2.5 聚類和關(guān)聯(lián)規(guī)則305

11.2.6 屬性選擇306

11.2.7 可視化306

11.3 過濾算法307

11.3.1 無監(jiān)督屬性過濾器307

11.3.2 無監(jiān)督實(shí)例過濾器312

11.3.3 有監(jiān)督過濾器314

11.4 學(xué)習(xí)算法316

11.4.1 貝葉斯分類器317

11.4.2 樹320

11.4.3 規(guī)則322

11.4.4 函數(shù)325

11.4.5 神經(jīng)網(wǎng)絡(luò)331

11.4.6 懶惰分類器334

11.4.7 多實(shí)例分類器335

11.4.8 雜項(xiàng)分類器336

11.5 元學(xué)習(xí)算法336

11.5.1 裝袋和隨機(jī)化337

11.5.2 提升338

11.5.3 組合分類器338

11.5.4 成本敏感學(xué)習(xí)339

11.5.5 優(yōu)化性能339

11.5.6 針對不同任務(wù)重新調(diào)整分類器340

11.6 聚類算法340

11.7 關(guān)聯(lián)規(guī)則學(xué)習(xí)器345

11.8 屬性選擇346

11.8.1 屬性子集評估器347

11.8.2 單一屬性評估器347

11.8.3 搜索方法348

第12章 KnowledgeFlow界面351

12.1 開始351

12.2 KnowledgeFlow組件353

12.3 配置及連接組件354

12.4 增量學(xué)習(xí)356

第13章 Experimenter界面358

13.1 開始358

13.1.1 運(yùn)行一個(gè)實(shí)驗(yàn)358

13.1.2 分析結(jié)果359

13.2 簡單設(shè)置362

13.3 高級設(shè)置363

13.4 分析面板365

13.5 將運(yùn)行負(fù)荷分布到多個(gè)機(jī)器上366

第14章 命令行界面368

14.1 開始368

14.2 Weka的結(jié)構(gòu)368

14.2.1 類、實(shí)例和包368

14.2.2 weka.core包370

14.2.3 weka.classifiers包371

14.2.4 其他包372

14.2.5 Javadoc索引373

14.3 命令行選項(xiàng)373

14.3.1 通用選項(xiàng)374

14.3.2 與具體方案相關(guān)的選項(xiàng)375

第15章 嵌入式機(jī)器學(xué)習(xí)376

15.1 一個(gè)簡單的數(shù)據(jù)挖掘應(yīng)用376

15.1.1 MessageClassifier（）380

15.1.2 updateData（）380

15.1.3 classifyMessage（）381

第16章 編寫新的學(xué)習(xí)方案382

16.1 一個(gè)分類器范例382

16.1.1 buildClassifier（）389

16.1.2 makeTree（）389

16.1.3 computeInfoGain（）390

16.1.4 classifyInstance（）390

16.1.5 toSource（）391

16.1.6 main（）394

16.2 與實(shí)現(xiàn)分類器有關(guān)的慣例395

第17章 WekaExplorer的輔導(dǎo)練習(xí)397

17.1 Explorer界面簡介397

17.1.1 導(dǎo)入數(shù)據(jù)集397

17.1.2 數(shù)據(jù)集編輯器397

17.1.3 應(yīng)用過濾器398

17.1.4 可視化面板399

17.1.5 分類器面板399

17.2 最近鄰學(xué)習(xí)和決策樹402

17.2.1 玻璃數(shù)據(jù)集402

17.2.2 屬性選擇403

17.2.3 類噪聲以及最近鄰學(xué)習(xí)403

17.2.4 改變訓(xùn)練數(shù)據(jù)的數(shù)量404

17.2.5 交互式建立決策樹405

17.3 分類邊界406

17.3.1 可視化1R406

17.3.2 可視化最近鄰學(xué)習(xí)407

17.3.3 可視化樸素貝葉斯407

17.3.4 可視化決策樹和規(guī)則集407

17.3.5 弄亂數(shù)據(jù)408

17.4 預(yù)處理以及參數(shù)調(diào)整408

17.4.1 離散化408

17.4.2 離散化的更多方面408

17.4.3 自動(dòng)屬性選擇409

17.4.4 自動(dòng)屬性選擇的更多方面410

17.4.5 自動(dòng)參數(shù)調(diào)整410

17.5 文檔分類411

17.5.1 包含字符串屬性的數(shù)據(jù)411

17.5.2 實(shí)際文檔文類412

17.5.3 探索StringToWordVector過濾器413

17.6 挖掘關(guān)聯(lián)規(guī)則413

17.6.1 關(guān)聯(lián)規(guī)則挖掘413

17.6.2 挖掘一個(gè)真實(shí)的數(shù)據(jù)集415

17.6.3 購物籃分析415

參考文獻(xiàn)416

索引4312100433B

Ian H. Witten 新西蘭懷卡托大學(xué)計(jì)算機(jī)科學(xué)系教授，ACM Fellow和新西蘭皇家學(xué)會Fellow，曾榮獲2004年國際信息處理研究協(xié)會（IFIP）頒發(fā)的Namur獎(jiǎng)項(xiàng)。他的研究興趣包括語言學(xué)習(xí)、信息檢索和機(jī)器學(xué)習(xí)。

Eibe Frank 新西蘭懷卡托大學(xué)計(jì)算機(jī)科學(xué)系副教授，《Machine Learning Journal》和《Journal of Artificial Intelligence Research》編委。

Mark A. Hall 新西蘭懷卡托大學(xué)名譽(yù)副研究員，曾獲得2005年ACM SIGKDD服務(wù)獎(jiǎng)。

李 川 博士，副教授，四川大學(xué)計(jì)算機(jī)學(xué)院數(shù)據(jù)庫知識工程研究所副所長，中國計(jì)算機(jī)學(xué)會數(shù)據(jù)庫專委會委員。主持國家自然科學(xué)基金青年基金等項(xiàng)目多項(xiàng)，合作發(fā)表論文30余篇，獲四川省科技成果二等獎(jiǎng)1項(xiàng)。

大數(shù)據(jù)時(shí)代應(yīng)用機(jī)器學(xué)習(xí)方法解決數(shù)據(jù)挖掘問題的實(shí)用指南。

洞察隱匿于大數(shù)據(jù)中的結(jié)構(gòu)模式，有效指導(dǎo)數(shù)據(jù)挖掘?qū)嵺`和商業(yè)應(yīng)用。

weka系統(tǒng)的主要開發(fā)者將豐富的研發(fā)、商業(yè)應(yīng)用和教學(xué)實(shí)踐的經(jīng)驗(yàn)和技術(shù)融會貫通。

廣泛覆蓋在數(shù)據(jù)挖掘?qū)嵺`中采用的算法和機(jī)器學(xué)習(xí)技術(shù)，著眼于解決實(shí)際問題

避免過分要求理論基礎(chǔ)和數(shù)學(xué)知識，重點(diǎn)在于告訴讀者“如何去做”，同時(shí)包括許多算法、代碼以及具體實(shí)例的實(shí)現(xiàn)。

將所有的概念都建立在具體實(shí)例的基礎(chǔ)之上，促使讀者首先考慮使用簡單的技術(shù)。如果簡單的技術(shù)不足以解決問題，再考慮提升到更為復(fù)雜的高級技術(shù)。

新版增加了大量近年來最新涌現(xiàn)的數(shù)據(jù)挖掘算法和諸如Web數(shù)據(jù)挖掘等新領(lǐng)域的介紹，所介紹的weka系統(tǒng)增加了50%的算法及大量新內(nèi)容。

本書是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域的經(jīng)典暢銷教材，被眾多國外名校選為教材。書中詳細(xì)介紹用于數(shù)據(jù)挖掘領(lǐng)域的機(jī)器學(xué)習(xí)技術(shù)和工具以及實(shí)踐方法，并且提供了一個(gè)公開的數(shù)據(jù)挖掘工作平臺Weka。本書主要內(nèi)容包括：數(shù)據(jù)輸入/輸出、知識表示、數(shù)據(jù)挖掘技術(shù)（決策樹、關(guān)聯(lián)規(guī)則、基于實(shí)例的學(xué)習(xí)、線性模型、聚類、多實(shí)例學(xué)習(xí)等）以及在實(shí)踐中的運(yùn)用。本版對上一版內(nèi)容進(jìn)行了全面更新，以反映自第2版出版以來數(shù)據(jù)挖掘領(lǐng)域的技術(shù)變革和新方法，包括數(shù)據(jù)轉(zhuǎn)換、集成學(xué)習(xí)、大規(guī)模數(shù)據(jù)集、多實(shí)例學(xué)習(xí)等，以及新版的Weka機(jī)器學(xué)習(xí)軟件。本書邏輯嚴(yán)謹(jǐn)、內(nèi)容翔實(shí)、極富實(shí)踐性，適合作為高等院校本科生或研究生的教材，也可供相關(guān)技術(shù)人員參考。

本書是數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域的經(jīng)典暢銷教材，被國內(nèi)外眾多名校選用。第4版新增了關(guān)于深度學(xué)習(xí)和概率方法的重要章節(jié)，同時(shí)，備受歡迎的機(jī)器學(xué)習(xí)軟件Weka也再度升級。書中全面覆蓋了該領(lǐng)域的實(shí)用技術(shù)，致力于幫助讀者理解不同技術(shù)的工作方式和應(yīng)用方式，從而學(xué)會在工程實(shí)踐和商業(yè)項(xiàng)目中解決真實(shí)問題。本書適合作為高等院校相關(guān)課程的教材，同時(shí)也適合業(yè)內(nèi)技術(shù)人員閱讀參考。

譯者序

前言

致謝

第一部分　數(shù)據(jù)挖掘基礎(chǔ)

第1章　緒論 2

1.1　數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí) 2

1.1.1　描述結(jié)構(gòu)模式 3

1.1.2　機(jī)器學(xué)習(xí) 5

1.1.3　數(shù)據(jù)挖掘 6

1.2　簡單的例子：天氣問題和其他問題 6

1.2.1　天氣問題 6

1.2.2　隱形眼鏡：一個(gè)理想化的問題 8

1.2.3　鳶尾花：一個(gè)經(jīng)典的數(shù)值型數(shù)據(jù)集 9

1.2.4　CPU性能：引入數(shù)值預(yù)測 10

1.2.5　勞資協(xié)商：一個(gè)更真實(shí)的例子 11

1.2.6　大豆分類：一個(gè)經(jīng)典的機(jī)器學(xué)習(xí)的成功例子 12

1.3　應(yīng)用領(lǐng)域 14

1.3.1　Web挖掘 14

1.3.2　包含判斷的決策 15

1.3.3　圖像篩選 15

1.3.4　負(fù)載預(yù)測 16

1.3.5　診斷 17

1.3.6　市場和銷售 17

1.3.7　其他應(yīng)用 18

1.4　數(shù)據(jù)挖掘過程 19

1.5　機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué) 20

1.6　將泛化看作搜索 21

1.6.1　枚舉概念空間 22

1.6.2　偏差 22

1.7　數(shù)據(jù)挖掘和道德問題 24

1.7.1　再識別 24

1.7.2　使用個(gè)人信息 25

1.7.3　其他問題 26

1.8　拓展閱讀及參考文獻(xiàn) 26

第2章　輸入：概念、實(shí)例和屬性 29

2.1　概念 29

2.2　實(shí)例 31

2.2.1　關(guān)系 31

2.2.2　其他實(shí)例類型 34

2.3　屬性 35

2.4　輸入準(zhǔn)備 36

2.4.1　數(shù)據(jù)收集 37

2.4.2　ARFF格式 37

2.4.3　稀疏數(shù)據(jù) 39

2.4.4　屬性類型 40

2.4.5　缺失值 41

2.4.6　不正確的值 42

2.4.7　非均衡數(shù)據(jù) 42

2.4.8　了解數(shù)據(jù) 43

2.5　拓展閱讀及參考文獻(xiàn) 43

第3章　輸出：知識表達(dá) 44

3.1　表 44

3.2　線性模型 44

3.3　樹 46

3.4　規(guī)則 49

3.4.1　分類規(guī)則 49

3.4.2　關(guān)聯(lián)規(guī)則 52

3.4.3　包含例外的規(guī)則 53

3.4.4　表達(dá)能力更強(qiáng)的規(guī)則 54

3.5　基于實(shí)例的表達(dá) 56

3.6　聚類 58

3.7　拓展閱讀及參考文獻(xiàn) 59

第4章　算法：基本方法 60

4.1　推斷基本規(guī)則 60

4.2　簡單概率模型 63

4.2.1　缺失值和數(shù)值屬性 65

4.2.2　用于文檔分類的樸素貝葉斯 67

4.2.3　討論 68

4.3　分治法：創(chuàng)建決策樹 69

4.3.1　計(jì)算信息量 71

4.3.2　高度分支屬性 73

4.4　覆蓋算法：建立規(guī)則 74

4.4.1　規(guī)則與樹 75

4.4.2　一個(gè)簡單的覆蓋算法 76

4.4.3　規(guī)則與決策列表 79

4.5　關(guān)聯(lián)規(guī)則挖掘 79

4.5.1　項(xiàng)集 80

4.5.2　關(guān)聯(lián)規(guī)則 81

4.5.3　高效地生成規(guī)則 84

4.6　線性模型 86

4.6.1　數(shù)值預(yù)測：線性回歸 86

4.6.2　線性分類：logistic回歸 87

4.6.3　使用感知機(jī)的線性分類 89

4.6.4　使用Winnow的線性分類 90

4.7　基于實(shí)例的學(xué)習(xí) 91

4.7.1　距離函數(shù) 92

4.7.2　高效尋找最近鄰 92

4.7.3　討論 96

4.8　聚類 96

4.8.1　基于距離的迭代聚類 97

4.8.2　更快的距離計(jì)算 98

4.8.3　選擇簇的個(gè)數(shù) 99

4.8.4　層次聚類 100

4.8.5　層次聚類示例 101

4.8.6　增量聚類 102

4.8.7　分類效用 104

4.8.8　討論 106

4.9　多實(shí)例學(xué)習(xí) 107

4.9.1　聚集輸入 107

4.9.2　聚集輸出 107

4.10　拓展閱讀及參考文獻(xiàn) 108

4.11　Weka實(shí)現(xiàn) 109

第5章　可信度：評估學(xué)習(xí)結(jié)果 111

5.1　訓(xùn)練和測試 111

5.2　預(yù)測性能 113

5.3　交叉驗(yàn)證 115

5.4　其他評估方法 116

5.4.1　留一交叉驗(yàn)證法 116

5.4.2　自助法 116

5.5　超參數(shù)選擇 117

5.6　數(shù)據(jù)挖掘方法比較 118

5.7　預(yù)測概率 121

5.7.1　二次損失函數(shù) 121

5.7.2　信息損失函數(shù) 122

5.7.3　討論 123

5.8　計(jì)算成本 123

5.8.1　成本敏感分類 125

5.8.2　成本敏感學(xué)習(xí) 126

5.8.3　提升圖 126

5.8.4　ROC曲線 129

5.8.5　召回率–精確率曲線 130

5.8.6　討論 131

5.8.7　成本曲線 132

5.9　評估數(shù)值預(yù)測 134

5.10　最小描述長度原理 136

5.11　將MDL原理應(yīng)用于聚類 138

5.12　使用驗(yàn)證集進(jìn)行模型選擇 138

5.13　拓展閱讀及參考文獻(xiàn) 139

第二部分　高級機(jī)器學(xué)習(xí)方案

第6章　樹和規(guī)則 144

6.1　決策樹 144

6.1.1　數(shù)值屬性 144

6.1.2　缺失值 145

6.1.3　剪枝 146

6.1.4　估計(jì)誤差率 147

6.1.5　決策樹歸納法的復(fù)雜度 149

6.1.6　從決策樹到規(guī)則 150

6.1.7　C4.5：選擇和選項(xiàng) 150

6.1.8　成本–復(fù)雜度剪枝 151

6.1.9　討論 151

6.2　分類規(guī)則 152

6.2.1　選擇測試的標(biāo)準(zhǔn) 152

6.2.2　缺失值和數(shù)值屬性 153

6.2.3　生成好的規(guī)則 153

6.2.4　使用全局優(yōu)化 155

6.2.5　從局部決策樹中獲得規(guī)則 157

6.2.6　包含例外的規(guī)則 158

6.2.7　討論 160

6.3　關(guān)聯(lián)規(guī)則 161

6.3.1　建立頻繁模式樹 161

6.3.2　尋找大項(xiàng)集 163

6.3.3　討論 166

6.4　Weka 實(shí)現(xiàn) 167

第7章　基于實(shí)例的學(xué)習(xí)和線性模型的擴(kuò)展 168

7.1　基于實(shí)例的學(xué)習(xí) 168

7.1.1　減少樣本集的數(shù)量 168

7.1.2　對噪聲樣本集剪枝 169

7.1.3　屬性加權(quán) 170

7.1.4　泛化樣本集 170

7.1.5　用于泛化樣本集的距離函數(shù) 171

7.1.6　泛化的距離函數(shù) 172

7.1.7　討論 172

7.2　擴(kuò)展線性模型 173

7.2.1　最大間隔超平面 173

7.2.2　非線性類邊界 174

7.2.3　支持向量回歸 176

7.2.4　核嶺回歸 177

7.2.5　核感知機(jī) 178

7.2.6　多層感知機(jī) 179

7.2.7　徑向基函數(shù)網(wǎng)絡(luò) 184

7.2.8　隨機(jī)梯度下降 185

7.2.9　討論 186

7.3　局部線性模型用于數(shù)值預(yù)測 187

7.3.1　模型樹 187

7.3.2　構(gòu)建樹 188

7.3.3　對樹剪枝 188

7.3.4　名目屬性 189

7.3.5　缺失值 189

7.3.6　模型樹歸納的偽代碼 190

7.3.7　從模型樹到規(guī)則 192

7.3.8　局部加權(quán)線性回歸 192

7.3.9　討論 193

7.4　Weka實(shí)現(xiàn) 194

第8章　數(shù)據(jù)轉(zhuǎn)換 195

8.1　屬性選擇 196

8.1.1　獨(dú)立于方案的選擇 197

8.1.2　搜索屬性空間 199

8.1.3　具體方案相關(guān)的選擇 200

8.2　離散化數(shù)值屬性 201

8.2.1　無監(jiān)督離散化 202

8.2.2　基于熵的離散化 203

8.2.3　其他離散化方法 205

8.2.4　基于熵和基于誤差的離散化 205

8.2.5　將離散屬性轉(zhuǎn)換成數(shù)值屬性 206

8.3　投影 207

8.3.1　主成分分析 207

8.3.2　隨機(jī)投影 209

8.3.3　偏最小二乘回歸 209

8.3.4　獨(dú)立成分分析 210

8.3.5　線性判別分析 211

8.3.6　二次判別分析 211

8.3.7　Fisher線性判別分析 211

8.3.8　從文本到屬性向量 212

8.3.9　時(shí)間序列 213

8.4　抽樣 214

8.5　數(shù)據(jù)清洗 215

8.5.1　改進(jìn)決策樹 215

8.5.2　穩(wěn)健回歸 215

8.5.3　檢測異常 216

8.5.4　一分類學(xué)習(xí) 217

8.5.5　離群點(diǎn)檢測 217

8.5.6　生成人工數(shù)據(jù) 218

8.6　將多分類問題轉(zhuǎn)換成二分類問題 219

8.6.1　簡單方法 219

8.6.2　誤差校正輸出編碼 220

8.6.3　集成嵌套二分法 221

8.7　校準(zhǔn)類概率 223

8.8　拓展閱讀及參考文獻(xiàn) 224

8.9　Weka實(shí)現(xiàn) 226

第9章　概率方法 228

9.1　基礎(chǔ) 228

9.1.1　最大似然估計(jì) 229

9.1.2　最大后驗(yàn)參數(shù)估計(jì) 230

9.2　貝葉斯網(wǎng)絡(luò) 230

9.2.1　預(yù)測 231

9.2.2　學(xué)習(xí)貝葉斯網(wǎng)絡(luò) 233

9.2.3　具體算法 235

9.2.4　用于快速學(xué)習(xí)的數(shù)據(jù)結(jié)構(gòu) 237

9.3　聚類和概率密度估計(jì) 239

9.3.1　用于高斯混合模型的期望最大化算法 239

9.3.2　擴(kuò)展混合模型 242

9.3.3　使用先驗(yàn)分布聚類 243

9.3.4　相關(guān)屬性聚類 244

9.3.5　核密度估計(jì) 245

9.3.6　比較用于分類的參數(shù)、半?yún)?shù)和無參數(shù)的密度模型 245

9.4　隱藏變量模型 246

9.4.1　對數(shù)似然和梯度的期望 246

9.4.2　期望最大化算法 247

9.4.3　將期望最大化算法應(yīng)用于貝葉斯網(wǎng)絡(luò) 248

9.5　貝葉斯估計(jì)與預(yù)測 249

9.6　圖模型和因子圖 251

9.6.1　圖模型和盤子表示法 251

9.6.2　概率主成分分析 252

9.6.3　隱含語義分析 254

9.6.4　使用主成分分析來降維 255

9.6.5　概率LSA 256

9.6.6　隱含狄利克雷分布 257

9.6.7　因子圖 258

9.6.8　馬爾可夫隨機(jī)場 260

9.6.9　使用sum-product算法和max-product算法進(jìn)行計(jì)算 261

9.7　條件概率模型 265

9.7.1　概率模型的線性和多項(xiàng)式回歸 265

9.7.2　使用先驗(yàn)參數(shù) 266

9.7.3　多分類logistic回歸 268

9.7.4　梯度下降和二階方法 271

9.7.5　廣義線性模型 271

9.7.6　有序類的預(yù)測 272

9.7.7　使用核函數(shù)的條件概率模型 273

9.8　時(shí)序模型 273

9.8.1　馬爾可夫模型和N元法 273

9.8.2　隱馬爾可夫模型 274

9.8.3　條件隨機(jī)場 275

9.9　拓展閱讀及參考文獻(xiàn) 278

9.10　Weka實(shí)現(xiàn) 282

第10章　深度學(xué)習(xí) 283

10.1　深度前饋網(wǎng)絡(luò) 284

10.1.1　MNIST評估 284

10.1.2　損失和正則化 285

10.1.3　深層網(wǎng)絡(luò)體系結(jié)構(gòu) 286

10.1.4　激活函數(shù) 287

10.1.5　重新審視反向傳播 288

10.1.6　計(jì)算圖以及復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu) 290

10.1.7　驗(yàn)證反向傳播算法的實(shí)現(xiàn) 291

10.2　訓(xùn)練和評估深度網(wǎng)絡(luò) 292

10.2.1　早停 292

10.2.2　驗(yàn)證、交叉驗(yàn)證以及超參數(shù)調(diào)整 292

10.2.3　小批量隨機(jī)梯度下降 293

10.2.4　小批量隨機(jī)梯度下降的偽代碼 294

10.2.5　學(xué)習(xí)率和計(jì)劃 294

10.2.6　先驗(yàn)參數(shù)的正則化 295

10.2.7　丟棄法 295

10.2.8　批規(guī)范化 295

10.2.9　參數(shù)初始化 295

10.2.10　無監(jiān)督的預(yù)訓(xùn)練 296

10.2.11　數(shù)據(jù)擴(kuò)充和合成轉(zhuǎn)換 296

10.3　卷積神經(jīng)網(wǎng)絡(luò) 296

10.3.1　ImageNet評估和深度卷積神經(jīng)網(wǎng)絡(luò) 297

10.3.2　從圖像濾波到可學(xué)習(xí)的卷積層 297

10.3.3　卷積層和梯度 300

10.3.4　池化層二次抽樣層以及梯度 300

10.3.5　實(shí)現(xiàn) 301

10.4　自編碼器 301

10.4.1　使用RBM預(yù)訓(xùn)練深度自編碼器 302

10.4.2　降噪自編碼器和分層訓(xùn)練 304

10.4.3　重構(gòu)和判別式學(xué)習(xí)的結(jié)合 304

10.5　隨機(jī)深度網(wǎng)絡(luò) 304

10.5.1　玻爾茲曼機(jī) 304

10.5.2　受限玻爾茲曼機(jī) 306

10.5.3　對比分歧 306

10.5.4　分類變量和連續(xù)變量 306

10.5.5　深度玻爾茲曼機(jī) 307

10.5.6　深度信念網(wǎng)絡(luò) 308

10.6　遞歸神經(jīng)網(wǎng)絡(luò) 309

10.6.1　梯度爆炸與梯度消失 310

10.6.2　其他遞歸網(wǎng)絡(luò)結(jié)構(gòu) 311

10.7　拓展閱讀及參考文獻(xiàn) 312

10.8　深度學(xué)習(xí)軟件以及網(wǎng)絡(luò)實(shí)現(xiàn) 315

10.8.1　Theano 315

10.8.2　Tensor Flow 315

10.8.3　Torch 315

10.8.4　CNTK 315

10.8.5　Caffe 315

10.8.6　DeepLearning4j 316

10.8.7　其他包：Lasagne、Keras以及cuDNN 316

10.9　Weka實(shí)現(xiàn) 316

第11章　有監(jiān)督和無監(jiān)督學(xué)習(xí) 317

11.1　半監(jiān)督學(xué)習(xí) 317

11.1.1　用以分類的聚類 317

11.1.2　協(xié)同訓(xùn)練 318

11.1.3　EM和協(xié)同訓(xùn)練 319

11.1.4　神經(jīng)網(wǎng)絡(luò)方法 319

11.2　多實(shí)例學(xué)習(xí) 320

11.2.1　轉(zhuǎn)換為單實(shí)例學(xué)習(xí) 320

11.2.2　升級學(xué)習(xí)算法 321

11.2.3　專用多實(shí)例方法 322

11.3　拓展閱讀及參考文獻(xiàn) 323

11.4　Weka實(shí)現(xiàn) 323

第12章　集成學(xué)習(xí) 325

12.1　組合多種模型 325

12.2　裝袋 326

12.2.1　偏差–方差分解 326

12.2.2　考慮成本的裝袋 327

12.3　隨機(jī)化 328

12.3.1　隨機(jī)化與裝袋 328

12.3.2　旋轉(zhuǎn)森林 329

12.4　提升 329

12.4.1　AdaBoost算法 330

12.4.2　提升算法的威力 331

12.5　累加回歸 332

12.5.1　數(shù)值預(yù)測 332

12.5.2　累加logistic回歸 333

12.6　可解釋的集成器 334

12.6.1　選擇樹 334

12.6.2　logistic模型樹 336

12.7　堆棧 336

12.8　拓展閱讀及參考文獻(xiàn) 338

12.9　Weka實(shí)現(xiàn) 339

第13章　擴(kuò)展和應(yīng)用 340

13.1　應(yīng)用機(jī)器學(xué)習(xí) 340

13.2　從大型的數(shù)據(jù)集學(xué)習(xí) 342

13.3　數(shù)據(jù)流學(xué)習(xí) 344

13.4　融合領(lǐng)域知識 346

13.5　文本挖掘 347

13.5.1　文檔分類與聚類 348

13.5.2　信息提取 349

13.5.3　自然語言處理 350

13.6　Web挖掘 350

13.6.1　包裝器歸納 351

13.6.2　網(wǎng)頁分級 351

13.7　圖像和語音 353

13.7.1　圖像 353

13.7.2　語音 354

13.8　對抗情形 354

13.9　無處不在的數(shù)據(jù)挖掘 355

13.10　拓展閱讀及參考文獻(xiàn) 357

13.11　Weka實(shí)現(xiàn) 359

附錄A　理論基礎(chǔ) 360

附錄B　Weka工作平臺 375

索引 388

參考文獻(xiàn)2100433B

本書創(chuàng)造性地匯編了數(shù)據(jù)挖掘技術(shù)，將統(tǒng)計(jì)數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘進(jìn)行了區(qū)分，對經(jīng)典和現(xiàn)代統(tǒng)計(jì)方法框架進(jìn)行了擴(kuò)展，以用于預(yù)測建模和大數(shù)據(jù)分析。本書在第2版的基礎(chǔ)上新增了13章，內(nèi)容涵蓋數(shù)據(jù)科學(xué)發(fā)展歷程、市場份額估算、無抽樣調(diào)研數(shù)據(jù)預(yù)測錢包份額、潛在市場細(xì)分、利用缺失數(shù)據(jù)構(gòu)建統(tǒng)計(jì)回歸模型、十分位分析評估數(shù)據(jù)的預(yù)測能力，以及一個(gè)無須精通自然語言處理就能使用的文本挖掘工具。本書適合數(shù)據(jù)挖掘從業(yè)者以及對機(jī)器學(xué)習(xí)數(shù)據(jù)挖掘感興趣的人閱讀。