數(shù)據(jù)挖掘：實用機器學習工具與技術內容簡介

大數(shù)據(jù)時代應用機器學習方法解決數(shù)據(jù)挖掘問題的實用指南。

洞察隱匿于大數(shù)據(jù)中的結構模式，有效指導數(shù)據(jù)挖掘實踐和商業(yè)應用。

weka系統(tǒng)的主要開發(fā)者將豐富的研發(fā)、商業(yè)應用和教學實踐的經驗和技術融會貫通。

廣泛覆蓋在數(shù)據(jù)挖掘實踐中采用的算法和機器學習技術，著眼于解決實際問題

避免過分要求理論基礎和數(shù)學知識，重點在于告訴讀者“如何去做”，同時包括許多算法、代碼以及具體實例的實現(xiàn)。

將所有的概念都建立在具體實例的基礎之上，促使讀者首先考慮使用簡單的技術。如果簡單的技術不足以解決問題，再考慮提升到更為復雜的高級技術。

新版增加了大量近年來最新涌現(xiàn)的數(shù)據(jù)挖掘算法和諸如Web數(shù)據(jù)挖掘等新領域的介紹，所介紹的weka系統(tǒng)增加了50%的算法及大量新內容。

本書是機器學習和數(shù)據(jù)挖掘領域的經典暢銷教材，被眾多國外名校選為教材。書中詳細介紹用于數(shù)據(jù)挖掘領域的機器學習技術和工具以及實踐方法，并且提供了一個公開的數(shù)據(jù)挖掘工作平臺Weka。本書主要內容包括：數(shù)據(jù)輸入/輸出、知識表示、數(shù)據(jù)挖掘技術（決策樹、關聯(lián)規(guī)則、基于實例的學習、線性模型、聚類、多實例學習等）以及在實踐中的運用。本版對上一版內容進行了全面更新，以反映自第2版出版以來數(shù)據(jù)挖掘領域的技術變革和新方法，包括數(shù)據(jù)轉換、集成學習、大規(guī)模數(shù)據(jù)集、多實例學習等，以及新版的Weka機器學習軟件。本書邏輯嚴謹、內容翔實、極富實踐性，適合作為高等院校本科生或研究生的教材，也可供相關技術人員參考。

Ian H. Witten 新西蘭懷卡托大學計算機科學系教授，ACM Fellow和新西蘭皇家學會Fellow，曾榮獲2004年國際信息處理研究協(xié)會（IFIP）頒發(fā)的Namur獎項。他的研究興趣包括語言學習、信息檢索和機器學習。

Eibe Frank 新西蘭懷卡托大學計算機科學系副教授，《Machine Learning Journal》和《Journal of Artificial Intelligence Research》編委。

Mark A. Hall 新西蘭懷卡托大學名譽副研究員，曾獲得2005年ACM SIGKDD服務獎。

李 川 博士，副教授，四川大學計算機學院數(shù)據(jù)庫知識工程研究所副所長，中國計算機學會數(shù)據(jù)庫專委會委員。主持國家自然科學基金青年基金等項目多項，合作發(fā)表論文30余篇，獲四川省科技成果二等獎1項。

出版者的話

譯者序

前言

致謝

第一部分 數(shù)據(jù)挖掘簡介

第1章 緒論2

1.1 數(shù)據(jù)挖掘和機器學習2

1.1.1 描述結構模式3

1.1.2 機器學習5

1.1.3 數(shù)據(jù)挖掘6

1.2 簡單的例子：天氣問題和其他問題6

1.2.1 天氣問題7

1.2.2 隱形眼鏡：一個理想化的問題8

1.2.3 鳶尾花：一個經典的數(shù)值型數(shù)據(jù)集10

1.2.4 CPU性能：介紹數(shù)值預測11

1.2.5 勞資協(xié)商：一個更真實的例子11

1.2.6 大豆分類：一個經典的機器學習的成功例子13

1.3 應用領域14

1.3.1 Web挖掘15

1.3.2 包含評判的決策15

1.3.3 圖像篩選16

1.3.4 負載預測17

1.3.5 診斷17

1.3.6 市場和銷售18

1.3.7 其他應用19

1.4 機器學習和統(tǒng)計學20

1.5 將泛化看做搜索21

1.5.1 枚舉概念空間22

1.5.2 偏差22

1.6 數(shù)據(jù)挖掘和道德24

1.6.1 再識別25

1.6.2 使用個人信息25

1.6.3 其他問題26

1.7 補充讀物27

第2章 輸入：概念、實例和屬性29

2.1 概念29

2.2 樣本31

2.2.1 關系32

2.2.2 其他實例類型34

2.3 屬性35

2.4 輸入準備37

2.4.1 數(shù)據(jù)收集37

2.4.2 ARFF格式38

2.4.3 稀疏數(shù)據(jù)40

2.4.4 屬性類型40

2.4.5 缺失值41

2.4.6 不正確的值42

2.4.7 了解數(shù)據(jù)43

2.5 補充讀物43

第3章 輸出：知識表達44

3.1 表44

3.2 線性模型44

3.3 樹45

3.4 規(guī)則48

3.4.1 分類規(guī)則49

3.4.2 關聯(lián)規(guī)則52

3.4.3 包含例外的規(guī)則52

3.4.4 表達能力更強的規(guī)則54

3.5 基于實例的表達56

3.6 聚類58

3.7 補充讀物60

第4章 算法：基本方法61

4.1 推斷基本規(guī)則61

4.1.1 缺失值和數(shù)值屬性62

4.1.2 討論64

4.2 統(tǒng)計建模64

4.2.1 缺失值和數(shù)值屬性67

4.2.2 用于文檔分類的樸素貝葉斯68

4.2.3 討論70

4.3 分治法：建立決策樹70

4.3.1 計算信息量73

4.3.2 高度分支屬性74

4.3.3 討論75

4.4 覆蓋算法：建立規(guī)則76

4.4.1 規(guī)則與樹77

4.4.2 一個簡單的覆蓋算法77

4.4.3 規(guī)則與決策列表80

4.5 挖掘關聯(lián)規(guī)則81

4.5.1 項集81

4.5.2 關聯(lián)規(guī)則83

4.5.3 有效地生成規(guī)則85

4.5.4 討論87

4.6 線性模型87

4.6.1 數(shù)值預測：線性回歸87

4.6.2 線性分類：Logistic回歸88

4.6.3 使用感知機的線性分類90

4.6.4 使用Winnow的線性分類91

4.7 基于實例的學習92

4.7.1 距離函數(shù)93

4.7.2 有效尋找最近鄰93

4.7.3 討論97

4.8 聚類97

4.8.1 基于距離的迭代聚類98

4.8.2 快速距離計算99

4.8.3 討論100

4.9 多實例學習100

4.9.1 聚集輸入100

4.9.2 聚集輸出100

4.9.3 討論101

4.10 補充讀物101

4.11 Weka實現(xiàn)103

第5章 可信度：評估學習結果104

5.1 訓練和測試104

5.2 預測性能106

5.3 交叉驗證108

5.4 其他評估方法109

5.4.1 留一交叉驗證109

5.4.2 自助法109

5.5 數(shù)據(jù)挖掘方法比較110

5.6 預測概率113

5.6.1 二次損失函數(shù)114

5.6.2 信息損失函數(shù)115

5.6.3 討論115

5.7 計算成本116

5.7.1 成本敏感分類117

5.7.2 成本敏感學習118

5.7.3 提升圖119

5.7.4 ROC曲線122

5.7.5 召回率—精確率曲線124

5.7.6 討論124

5.7.7 成本曲線125

5.8 評估數(shù)值預測127

5.9 最小描述長度原理129

5.10 在聚類方法中應用MDL原理131

5.11 補充讀物132

第二部分 高級數(shù)據(jù)挖掘

第6章 實現(xiàn)：真正的機器學習方案134

6.1 決策樹135

6.1.1 數(shù)值屬性135

6.1.2 缺失值136

6.1.3 剪枝137

6.1.4 估計誤差率138

6.1.5 決策樹歸納的復雜度140

6.1.6 從決策樹到規(guī)則140

6.1.7 C4.5：選擇和選項141

6.1.8 成本—復雜度剪枝141

6.1.9 討論142

6.2 分類規(guī)則142

6.2.1 選擇測試的標準143

6.2.2 缺失值和數(shù)值屬性143

6.2.3 生成好的規(guī)則144

6.2.4 使用全局優(yōu)化146

6.2.5 從局部決策樹中獲得規(guī)則146

6.2.6 包含例外的規(guī)則149

6.2.7 討論151

6.3 關聯(lián)規(guī)則152

6.3.1 建立頻繁模式樹152

6.3.2 尋找大項集157

6.3.3 討論157

6.4 擴展線性模型158

6.4.1 最大間隔超平面159

6.4.2 非線性類邊界160

6.4.3 支持向量回歸161

6.4.4 核嶺回歸163

6.4.5 核感知機164

6.4.6 多層感知機165

6.4.7 徑向基函數(shù)網絡171

6.4.8 隨機梯度下降172

6.4.9 討論173

6.5 基于實例的學習174

6.5.1 減少樣本集的數(shù)量174

6.5.2 對噪聲樣本集剪枝174

6.5.3 屬性加權175

6.5.4 泛化樣本集176

6.5.5 用于泛化樣本集的距離函數(shù)176

6.5.6 泛化的距離函數(shù)177

6.5.7 討論178

6.6 局部線性模型用于數(shù)值預測178

6.6.1 模型樹179

6.6.2 構建樹179

6.6.3 對樹剪枝180

6.6.4 名目屬性180

6.6.5 缺失值181

6.6.6 模型樹歸納的偽代碼181

6.6.7 從模型樹到規(guī)則184

6.6.8 局部加權線性回歸184

6.6.9 討論185

6.7 貝葉斯網絡186

6.7.1 預測186

6.7.2 學習貝葉斯網絡189

6.7.3 算法細節(jié)190

6.7.4 用于快速學習的數(shù)據(jù)結構192

6.7.5 討論194

6.8 聚類194

6.8.1 選擇聚類的個數(shù)195

6.8.2 層次聚類195

6.8.3 層次聚類的例子196

6.8.4 增量聚類199

6.8.5 分類效用203

6.8.6 基于概率的聚類204

6.8.7 EM算法205

6.8.8 擴展混合模型206

6.8.9 貝葉斯聚類207

6.8.10 討論209

6.9 半監(jiān)督學習210

6.9.1 用于分類的聚類210

6.9.2 協(xié)同訓練212

6.9.3 EM和協(xié)同訓練212

6.9.4 討論213

6.10 多實例學習213

6.10.1 轉換為單實例學習213

6.10.2 升級學習算法215

6.10.3 專用多實例方法215

6.10.4 討論216

6.11 Weka實現(xiàn)216

第7章 數(shù)據(jù)轉換218

7.1 屬性選擇219

7.1.1 獨立于方案的選擇220

7.1.2 搜索屬性空間222

7.1.3 具體方案相關的選擇223

7.2 離散化數(shù)值屬性225

7.2.1 無監(jiān)督離散化226

7.2.2 基于熵的離散化226

7.2.3 其他離散化方法229

7.2.4 基于熵的離散化與基于誤差的離散化229

7.2.5 離散屬性轉換成數(shù)值屬性230

7.3 投影230

7.3.1 主成分分析231

7.3.2 隨機投影233

7.3.3 偏最小二乘回歸233

7.3.4 從文本到屬性向量235

7.3.5 時間序列236

7.4 抽樣236

7.5 數(shù)據(jù)清洗237

7.5.1 改進決策樹237

7.5.2 穩(wěn)健回歸238

7.5.3 檢測異常239

7.5.4 一分類學習239

7.6 多分類問題轉換成二分類問題242

7.6.1 簡單方法242

7.6.2 誤差校正輸出編碼243

7.6.3 集成嵌套二分法244

7.7 校準類概率246

7.8 補充讀物247

7.9 Weka實現(xiàn)249

第8章 集成學習250

8.1 組合多種模型250

8.2 裝袋251

8.2.1 偏差—方差分解251

8.2.2 考慮成本的裝袋253

8.3 隨機化253

8.3.1 隨機化與裝袋254

8.3.2 旋轉森林254

8.4 提升255

8.4.1 AdaBoost算法255

8.4.2 提升算法的威力257

8.5 累加回歸258

8.5.1 數(shù)值預測258

8.5.2 累加Logistic回歸259

8.6 可解釋的集成器260

8.6.1 選擇樹260

8.6.2 Logistic模型樹262

8.7 堆棧262

8.8 補充讀物264

8.9 Weka實現(xiàn)265

第9章 繼續(xù)：擴展和應用266

9.1 應用數(shù)據(jù)挖掘266

9.2 從大型的數(shù)據(jù)集里學習268

9.3 數(shù)據(jù)流學習270

9.4 融合領域知識272

9.5 文本挖掘273

9.6 Web挖掘276

9.7 對抗情形278

9.8 無處不在的數(shù)據(jù)挖掘280

9.9 補充讀物281

第三部分 Weka數(shù)據(jù)挖掘平臺

第10章 Weka簡介284

10.1 Weka中包含了什么284

10.2 如何使用Weka285

10.3 Weka的其他應用286

10.4 如何得到Weka286

第11章 Explorer界面287

11.1 開始287

11.1.1 準備數(shù)據(jù)287

11.1.2 將數(shù)據(jù)載入Explorer288

11.1.3 建立決策樹289

11.1.4 查看結果290

11.1.5 重做一遍292

11.1.6 運用模型292

11.1.7 運行錯誤的處理294

11.2 探索Explorer294

11.2.1 載入及過濾文件294

11.2.2 訓練和測試學習方案299

11.2.3 自己動手：用戶分類器301

11.2.4 使用元學習器304

11.2.5 聚類和關聯(lián)規(guī)則305

11.2.6 屬性選擇306

11.2.7 可視化306

11.3 過濾算法307

11.3.1 無監(jiān)督屬性過濾器307

11.3.2 無監(jiān)督實例過濾器312

11.3.3 有監(jiān)督過濾器314

11.4 學習算法316

11.4.1 貝葉斯分類器317

11.4.2 樹320

11.4.3 規(guī)則322

11.4.4 函數(shù)325

11.4.5 神經網絡331

11.4.6 懶惰分類器334

11.4.7 多實例分類器335

11.4.8 雜項分類器336

11.5 元學習算法336

11.5.1 裝袋和隨機化337

11.5.2 提升338

11.5.3 組合分類器338

11.5.4 成本敏感學習339

11.5.5 優(yōu)化性能339

11.5.6 針對不同任務重新調整分類器340

11.6 聚類算法340

11.7 關聯(lián)規(guī)則學習器345

11.8 屬性選擇346

11.8.1 屬性子集評估器347

11.8.2 單一屬性評估器347

11.8.3 搜索方法348

第12章 KnowledgeFlow界面351

12.1 開始351

12.2 KnowledgeFlow組件353

12.3 配置及連接組件354

12.4 增量學習356

第13章 Experimenter界面358

13.1 開始358

13.1.1 運行一個實驗358

13.1.2 分析結果359

13.2 簡單設置362

13.3 高級設置363

13.4 分析面板365

13.5 將運行負荷分布到多個機器上366

第14章 命令行界面368

14.1 開始368

14.2 Weka的結構368

14.2.1 類、實例和包368

14.2.2 weka.core包370

14.2.3 weka.classifiers包371

14.2.4 其他包372

14.2.5 Javadoc索引373

14.3 命令行選項373

14.3.1 通用選項374

14.3.2 與具體方案相關的選項375

第15章 嵌入式機器學習376

15.1 一個簡單的數(shù)據(jù)挖掘應用376

15.1.1 MessageClassifier（）380

15.1.2 updateData（）380

15.1.3 classifyMessage（）381

第16章 編寫新的學習方案382

16.1 一個分類器范例382

16.1.1 buildClassifier（）389

16.1.2 makeTree（）389

16.1.3 computeInfoGain（）390

16.1.4 classifyInstance（）390

16.1.5 toSource（）391

16.1.6 main（）394

16.2 與實現(xiàn)分類器有關的慣例395

第17章 WekaExplorer的輔導練習397

17.1 Explorer界面簡介397

17.1.1 導入數(shù)據(jù)集397

17.1.2 數(shù)據(jù)集編輯器397

17.1.3 應用過濾器398

17.1.4 可視化面板399

17.1.5 分類器面板399

17.2 最近鄰學習和決策樹402

17.2.1 玻璃數(shù)據(jù)集402

17.2.2 屬性選擇403

17.2.3 類噪聲以及最近鄰學習403

17.2.4 改變訓練數(shù)據(jù)的數(shù)量404

17.2.5 交互式建立決策樹405

17.3 分類邊界406

17.3.1 可視化1R406

17.3.2 可視化最近鄰學習407

17.3.3 可視化樸素貝葉斯407

17.3.4 可視化決策樹和規(guī)則集407

17.3.5 弄亂數(shù)據(jù)408

17.4 預處理以及參數(shù)調整408

17.4.1 離散化408

17.4.2 離散化的更多方面408

17.4.3 自動屬性選擇409

17.4.4 自動屬性選擇的更多方面410

17.4.5 自動參數(shù)調整410

17.5 文檔分類411

17.5.1 包含字符串屬性的數(shù)據(jù)411

17.5.2 實際文檔文類412

17.5.3 探索StringToWordVector過濾器413

17.6 挖掘關聯(lián)規(guī)則413

17.6.1 關聯(lián)規(guī)則挖掘413

17.6.2 挖掘一個真實的數(shù)據(jù)集415

17.6.3 購物籃分析415

參考文獻416

索引4312100433B

本書是數(shù)據(jù)挖掘和機器學習領域的經典暢銷教材，被國內外眾多名校選用。第4版新增了關于深度學習和概率方法的重要章節(jié)，同時，備受歡迎的機器學習軟件Weka也再度升級。書中全面覆蓋了該領域的實用技術，致力于幫助讀者理解不同技術的工作方式和應用方式，從而學會在工程實踐和商業(yè)項目中解決真實問題。本書適合作為高等院校相關課程的教材，同時也適合業(yè)內技術人員閱讀參考。

譯者序

前言

致謝

第一部分　數(shù)據(jù)挖掘基礎

第1章　緒論 2

1.1　數(shù)據(jù)挖掘和機器學習 2

1.1.1　描述結構模式 3

1.1.2　機器學習 5

1.1.3　數(shù)據(jù)挖掘 6

1.2　簡單的例子：天氣問題和其他問題 6

1.2.1　天氣問題 6

1.2.2　隱形眼鏡：一個理想化的問題 8

1.2.3　鳶尾花：一個經典的數(shù)值型數(shù)據(jù)集 9

1.2.4　CPU性能：引入數(shù)值預測 10

1.2.5　勞資協(xié)商：一個更真實的例子 11

1.2.6　大豆分類：一個經典的機器學習的成功例子 12

1.3　應用領域 14

1.3.1　Web挖掘 14

1.3.2　包含判斷的決策 15

1.3.3　圖像篩選 15

1.3.4　負載預測 16

1.3.5　診斷 17

1.3.6　市場和銷售 17

1.3.7　其他應用 18

1.4　數(shù)據(jù)挖掘過程 19

1.5　機器學習和統(tǒng)計學 20

1.6　將泛化看作搜索 21

1.6.1　枚舉概念空間 22

1.6.2　偏差 22

1.7　數(shù)據(jù)挖掘和道德問題 24

1.7.1　再識別 24

1.7.2　使用個人信息 25

1.7.3　其他問題 26

1.8　拓展閱讀及參考文獻 26

第2章　輸入：概念、實例和屬性 29

2.1　概念 29

2.2　實例 31

2.2.1　關系 31

2.2.2　其他實例類型 34

2.3　屬性 35

2.4　輸入準備 36

2.4.1　數(shù)據(jù)收集 37

2.4.2　ARFF格式 37

2.4.3　稀疏數(shù)據(jù) 39

2.4.4　屬性類型 40

2.4.5　缺失值 41

2.4.6　不正確的值 42

2.4.7　非均衡數(shù)據(jù) 42

2.4.8　了解數(shù)據(jù) 43

2.5　拓展閱讀及參考文獻 43

第3章　輸出：知識表達 44

3.1　表 44

3.2　線性模型 44

3.3　樹 46

3.4　規(guī)則 49

3.4.1　分類規(guī)則 49

3.4.2　關聯(lián)規(guī)則 52

3.4.3　包含例外的規(guī)則 53

3.4.4　表達能力更強的規(guī)則 54

3.5　基于實例的表達 56

3.6　聚類 58

3.7　拓展閱讀及參考文獻 59

第4章　算法：基本方法 60

4.1　推斷基本規(guī)則 60

4.2　簡單概率模型 63

4.2.1　缺失值和數(shù)值屬性 65

4.2.2　用于文檔分類的樸素貝葉斯 67

4.2.3　討論 68

4.3　分治法：創(chuàng)建決策樹 69

4.3.1　計算信息量 71

4.3.2　高度分支屬性 73

4.4　覆蓋算法：建立規(guī)則 74

4.4.1　規(guī)則與樹 75

4.4.2　一個簡單的覆蓋算法 76

4.4.3　規(guī)則與決策列表 79

4.5　關聯(lián)規(guī)則挖掘 79

4.5.1　項集 80

4.5.2　關聯(lián)規(guī)則 81

4.5.3　高效地生成規(guī)則 84

4.6　線性模型 86

4.6.1　數(shù)值預測：線性回歸 86

4.6.2　線性分類：logistic回歸 87

4.6.3　使用感知機的線性分類 89

4.6.4　使用Winnow的線性分類 90

4.7　基于實例的學習 91

4.7.1　距離函數(shù) 92

4.7.2　高效尋找最近鄰 92

4.7.3　討論 96

4.8　聚類 96

4.8.1　基于距離的迭代聚類 97

4.8.2　更快的距離計算 98

4.8.3　選擇簇的個數(shù) 99

4.8.4　層次聚類 100

4.8.5　層次聚類示例 101

4.8.6　增量聚類 102

4.8.7　分類效用 104

4.8.8　討論 106

4.9　多實例學習 107

4.9.1　聚集輸入 107

4.9.2　聚集輸出 107

4.10　拓展閱讀及參考文獻 108

4.11　Weka實現(xiàn) 109

第5章　可信度：評估學習結果 111

5.1　訓練和測試 111

5.2　預測性能 113

5.3　交叉驗證 115

5.4　其他評估方法 116

5.4.1　留一交叉驗證法 116

5.4.2　自助法 116

5.5　超參數(shù)選擇 117

5.6　數(shù)據(jù)挖掘方法比較 118

5.7　預測概率 121

5.7.1　二次損失函數(shù) 121

5.7.2　信息損失函數(shù) 122

5.7.3　討論 123

5.8　計算成本 123

5.8.1　成本敏感分類 125

5.8.2　成本敏感學習 126

5.8.3　提升圖 126

5.8.4　ROC曲線 129

5.8.5　召回率–精確率曲線 130

5.8.6　討論 131

5.8.7　成本曲線 132

5.9　評估數(shù)值預測 134

5.10　最小描述長度原理 136

5.11　將MDL原理應用于聚類 138

5.12　使用驗證集進行模型選擇 138

5.13　拓展閱讀及參考文獻 139

第二部分　高級機器學習方案

第6章　樹和規(guī)則 144

6.1　決策樹 144

6.1.1　數(shù)值屬性 144

6.1.2　缺失值 145

6.1.3　剪枝 146

6.1.4　估計誤差率 147

6.1.5　決策樹歸納法的復雜度 149

6.1.6　從決策樹到規(guī)則 150

6.1.7　C4.5：選擇和選項 150

6.1.8　成本–復雜度剪枝 151

6.1.9　討論 151

6.2　分類規(guī)則 152

6.2.1　選擇測試的標準 152

6.2.2　缺失值和數(shù)值屬性 153

6.2.3　生成好的規(guī)則 153

6.2.4　使用全局優(yōu)化 155

6.2.5　從局部決策樹中獲得規(guī)則 157

6.2.6　包含例外的規(guī)則 158

6.2.7　討論 160

6.3　關聯(lián)規(guī)則 161

6.3.1　建立頻繁模式樹 161

6.3.2　尋找大項集 163

6.3.3　討論 166

6.4　Weka 實現(xiàn) 167

第7章　基于實例的學習和線性模型的擴展 168

7.1　基于實例的學習 168

7.1.1　減少樣本集的數(shù)量 168

7.1.2　對噪聲樣本集剪枝 169

7.1.3　屬性加權 170

7.1.4　泛化樣本集 170

7.1.5　用于泛化樣本集的距離函數(shù) 171

7.1.6　泛化的距離函數(shù) 172

7.1.7　討論 172

7.2　擴展線性模型 173

7.2.1　最大間隔超平面 173

7.2.2　非線性類邊界 174

7.2.3　支持向量回歸 176

7.2.4　核嶺回歸 177

7.2.5　核感知機 178

7.2.6　多層感知機 179

7.2.7　徑向基函數(shù)網絡 184

7.2.8　隨機梯度下降 185

7.2.9　討論 186

7.3　局部線性模型用于數(shù)值預測 187

7.3.1　模型樹 187

7.3.2　構建樹 188

7.3.3　對樹剪枝 188

7.3.4　名目屬性 189

7.3.5　缺失值 189

7.3.6　模型樹歸納的偽代碼 190

7.3.7　從模型樹到規(guī)則 192

7.3.8　局部加權線性回歸 192

7.3.9　討論 193

7.4　Weka實現(xiàn) 194

第8章　數(shù)據(jù)轉換 195

8.1　屬性選擇 196

8.1.1　獨立于方案的選擇 197

8.1.2　搜索屬性空間 199

8.1.3　具體方案相關的選擇 200

8.2　離散化數(shù)值屬性 201

8.2.1　無監(jiān)督離散化 202

8.2.2　基于熵的離散化 203

8.2.3　其他離散化方法 205

8.2.4　基于熵和基于誤差的離散化 205

8.2.5　將離散屬性轉換成數(shù)值屬性 206

8.3　投影 207

8.3.1　主成分分析 207

8.3.2　隨機投影 209

8.3.3　偏最小二乘回歸 209

8.3.4　獨立成分分析 210

8.3.5　線性判別分析 211

8.3.6　二次判別分析 211

8.3.7　Fisher線性判別分析 211

8.3.8　從文本到屬性向量 212

8.3.9　時間序列 213

8.4　抽樣 214

8.5　數(shù)據(jù)清洗 215

8.5.1　改進決策樹 215

8.5.2　穩(wěn)健回歸 215

8.5.3　檢測異常 216

8.5.4　一分類學習 217

8.5.5　離群點檢測 217

8.5.6　生成人工數(shù)據(jù) 218

8.6　將多分類問題轉換成二分類問題 219

8.6.1　簡單方法 219

8.6.2　誤差校正輸出編碼 220

8.6.3　集成嵌套二分法 221

8.7　校準類概率 223

8.8　拓展閱讀及參考文獻 224

8.9　Weka實現(xiàn) 226

第9章　概率方法 228

9.1　基礎 228

9.1.1　最大似然估計 229

9.1.2　最大后驗參數(shù)估計 230

9.2　貝葉斯網絡 230

9.2.1　預測 231

9.2.2　學習貝葉斯網絡 233

9.2.3　具體算法 235

9.2.4　用于快速學習的數(shù)據(jù)結構 237

9.3　聚類和概率密度估計 239

9.3.1　用于高斯混合模型的期望最大化算法 239

9.3.2　擴展混合模型 242

9.3.3　使用先驗分布聚類 243

9.3.4　相關屬性聚類 244

9.3.5　核密度估計 245

9.3.6　比較用于分類的參數(shù)、半參數(shù)和無參數(shù)的密度模型 245

9.4　隱藏變量模型 246

9.4.1　對數(shù)似然和梯度的期望 246

9.4.2　期望最大化算法 247

9.4.3　將期望最大化算法應用于貝葉斯網絡 248

9.5　貝葉斯估計與預測 249

9.6　圖模型和因子圖 251

9.6.1　圖模型和盤子表示法 251

9.6.2　概率主成分分析 252

9.6.3　隱含語義分析 254

9.6.4　使用主成分分析來降維 255

9.6.5　概率LSA 256

9.6.6　隱含狄利克雷分布 257

9.6.7　因子圖 258

9.6.8　馬爾可夫隨機場 260

9.6.9　使用sum-product算法和max-product算法進行計算 261

9.7　條件概率模型 265

9.7.1　概率模型的線性和多項式回歸 265

9.7.2　使用先驗參數(shù) 266

9.7.3　多分類logistic回歸 268

9.7.4　梯度下降和二階方法 271

9.7.5　廣義線性模型 271

9.7.6　有序類的預測 272

9.7.7　使用核函數(shù)的條件概率模型 273

9.8　時序模型 273

9.8.1　馬爾可夫模型和N元法 273

9.8.2　隱馬爾可夫模型 274

9.8.3　條件隨機場 275

9.9　拓展閱讀及參考文獻 278

9.10　Weka實現(xiàn) 282

第10章　深度學習 283

10.1　深度前饋網絡 284

10.1.1　MNIST評估 284

10.1.2　損失和正則化 285

10.1.3　深層網絡體系結構 286

10.1.4　激活函數(shù) 287

10.1.5　重新審視反向傳播 288

10.1.6　計算圖以及復雜的網絡結構 290

10.1.7　驗證反向傳播算法的實現(xiàn) 291

10.2　訓練和評估深度網絡 292

10.2.1　早停 292

10.2.2　驗證、交叉驗證以及超參數(shù)調整 292

10.2.3　小批量隨機梯度下降 293

10.2.4　小批量隨機梯度下降的偽代碼 294

10.2.5　學習率和計劃 294

10.2.6　先驗參數(shù)的正則化 295

10.2.7　丟棄法 295

10.2.8　批規(guī)范化 295

10.2.9　參數(shù)初始化 295

10.2.10　無監(jiān)督的預訓練 296

10.2.11　數(shù)據(jù)擴充和合成轉換 296

10.3　卷積神經網絡 296

10.3.1　ImageNet評估和深度卷積神經網絡 297

10.3.2　從圖像濾波到可學習的卷積層 297

10.3.3　卷積層和梯度 300

10.3.4　池化層二次抽樣層以及梯度 300

10.3.5　實現(xiàn) 301

10.4　自編碼器 301

10.4.1　使用RBM預訓練深度自編碼器 302

10.4.2　降噪自編碼器和分層訓練 304

10.4.3　重構和判別式學習的結合 304

10.5　隨機深度網絡 304

10.5.1　玻爾茲曼機 304

10.5.2　受限玻爾茲曼機 306

10.5.3　對比分歧 306

10.5.4　分類變量和連續(xù)變量 306

10.5.5　深度玻爾茲曼機 307

10.5.6　深度信念網絡 308

10.6　遞歸神經網絡 309

10.6.1　梯度爆炸與梯度消失 310

10.6.2　其他遞歸網絡結構 311

10.7　拓展閱讀及參考文獻 312

10.8　深度學習軟件以及網絡實現(xiàn) 315

10.8.1　Theano 315

10.8.2　Tensor Flow 315

10.8.3　Torch 315

10.8.4　CNTK 315

10.8.5　Caffe 315

10.8.6　DeepLearning4j 316

10.8.7　其他包：Lasagne、Keras以及cuDNN 316

10.9　Weka實現(xiàn) 316

第11章　有監(jiān)督和無監(jiān)督學習 317

11.1　半監(jiān)督學習 317

11.1.1　用以分類的聚類 317

11.1.2　協(xié)同訓練 318

11.1.3　EM和協(xié)同訓練 319

11.1.4　神經網絡方法 319

11.2　多實例學習 320

11.2.1　轉換為單實例學習 320

11.2.2　升級學習算法 321

11.2.3　專用多實例方法 322

11.3　拓展閱讀及參考文獻 323

11.4　Weka實現(xiàn) 323

第12章　集成學習 325

12.1　組合多種模型 325

12.2　裝袋 326

12.2.1　偏差–方差分解 326

12.2.2　考慮成本的裝袋 327

12.3　隨機化 328

12.3.1　隨機化與裝袋 328

12.3.2　旋轉森林 329

12.4　提升 329

12.4.1　AdaBoost算法 330

12.4.2　提升算法的威力 331

12.5　累加回歸 332

12.5.1　數(shù)值預測 332

12.5.2　累加logistic回歸 333

12.6　可解釋的集成器 334

12.6.1　選擇樹 334

12.6.2　logistic模型樹 336

12.7　堆棧 336

12.8　拓展閱讀及參考文獻 338

12.9　Weka實現(xiàn) 339

第13章　擴展和應用 340

13.1　應用機器學習 340

13.2　從大型的數(shù)據(jù)集學習 342

13.3　數(shù)據(jù)流學習 344

13.4　融合領域知識 346

13.5　文本挖掘 347

13.5.1　文檔分類與聚類 348

13.5.2　信息提取 349

13.5.3　自然語言處理 350

13.6　Web挖掘 350

13.6.1　包裝器歸納 351

13.6.2　網頁分級 351

13.7　圖像和語音 353

13.7.1　圖像 353

13.7.2　語音 354

13.8　對抗情形 354

13.9　無處不在的數(shù)據(jù)挖掘 355

13.10　拓展閱讀及參考文獻 357

13.11　Weka實現(xiàn) 359

附錄A　理論基礎 360

附錄B　Weka工作平臺 375

索引 388

參考文獻2100433B

本書創(chuàng)造性地匯編了數(shù)據(jù)挖掘技術，將統(tǒng)計數(shù)據(jù)挖掘和機器學習數(shù)據(jù)挖掘進行了區(qū)分，對經典和現(xiàn)代統(tǒng)計方法框架進行了擴展，以用于預測建模和大數(shù)據(jù)分析。本書在第2版的基礎上新增了13章，內容涵蓋數(shù)據(jù)科學發(fā)展歷程、市場份額估算、無抽樣調研數(shù)據(jù)預測錢包份額、潛在市場細分、利用缺失數(shù)據(jù)構建統(tǒng)計回歸模型、十分位分析評估數(shù)據(jù)的預測能力，以及一個無須精通自然語言處理就能使用的文本挖掘工具。本書適合數(shù)據(jù)挖掘從業(yè)者以及對機器學習數(shù)據(jù)挖掘感興趣的人閱讀。