機(jī)器學(xué)習(xí)實(shí)踐應(yīng)用

李博，目前任阿里云數(shù)據(jù)產(chǎn)品經(jīng)理，主要負(fù)責(zé)機(jī)器學(xué)習(xí)平臺(tái)的產(chǎn)品化建設(shè)以及對(duì)外業(yè)務(wù)應(yīng)用。本科、碩士畢業(yè)于北京郵電大學(xué)，曾就職于索尼和華為（實(shí)習(xí)），從事數(shù)據(jù)相關(guān)產(chǎn)品的開(kāi)發(fā)。作為CSDN博客專家、云棲社區(qū)博客專家，長(zhǎng)期分享IT技術(shù)相關(guān)文章，內(nèi)容涉及機(jī)器學(xué)習(xí)算法、Android應(yīng)用及源碼開(kāi)發(fā)等領(lǐng)域。一直活躍于開(kāi)發(fā)者社區(qū)，主導(dǎo)開(kāi)發(fā)了多個(gè)GitHub百星開(kāi)源項(xiàng)目，還開(kāi)發(fā)并上線了多款手機(jī)App。

第1部分 背景知識(shí)

第1章 機(jī)器學(xué)習(xí)概述 3

1.1 背景 3

1.2 發(fā)展現(xiàn)狀 6

1.2.1 數(shù)據(jù)現(xiàn)狀 6

1.2.2 機(jī)器學(xué)習(xí)算法現(xiàn)狀 8

1.3 機(jī)器學(xué)習(xí)基本概念 12

1.3.1 機(jī)器學(xué)習(xí)流程 12

1.3.2 數(shù)據(jù)源結(jié)構(gòu) 14

1.3.3 算法分類 16

1.3.4 過(guò)擬合問(wèn)題 18

1.3.5 結(jié)果評(píng)估 20

1.4 本章小結(jié) 22

第2部分 算法流程

第2章 場(chǎng)景解析 25

2.1 數(shù)據(jù)探查 25

2.2 場(chǎng)景抽象 27

2.3 算法選擇 29

2.4 本章小結(jié) 31

第3章 數(shù)據(jù)預(yù)處理 32

3.1 采樣 32

3.1.1 隨機(jī)采樣 32

3.1.2 系統(tǒng)采樣 34

3.1.3 分層采樣 35

3.2 歸一化 36

3.3 去除噪聲 39

3.4 數(shù)據(jù)過(guò)濾 42

3.5 本章小結(jié) 43

第4章 特征工程 44

4.1 特征抽象 44

4.2 特征重要性評(píng)估 49

4.3 特征衍生 53

4.4 特征降維 57

4.4.1 特征降維的基本概念 57

4.4.2 主成分分析 59

4.5 本章小結(jié) 62

第5章 機(jī)器學(xué)習(xí)算法——常規(guī)算法 63

5.1 分類算法 63

5.1.1 K近鄰 63

5.1.2 樸素貝葉斯 68

5.1.3 邏輯回歸 74

5.1.4 支持向量機(jī) 81

5.1.5 隨機(jī)森林 87

5.2 聚類算法 94

5.2.1 K-means 97

5.2.2 DBSCAN 103

5.3 回歸算法 109

5.4 文本分析算法 112

5.4.1 分詞算法——Hmm 112

5.4.2 TF-IDF 118

5.4.3 LDA 122

5.5 推薦類算法 127

5.6 關(guān)系圖算法 133

5.6.1 標(biāo)簽傳播 134

5.6.2 Dijkstra最短路徑 138

5.7 本章小結(jié) 145

第6章 機(jī)器學(xué)習(xí)算法——深度學(xué)習(xí) 146

6.1 深度學(xué)習(xí)概述 146

6.1.1 深度學(xué)習(xí)的發(fā)展 147

6.1.2 深度學(xué)習(xí)算法與傳統(tǒng)

算法的比較 148

6.2 深度學(xué)習(xí)的常見(jiàn)結(jié)構(gòu) 152

6.2.1 深度神經(jīng)網(wǎng)絡(luò) 152

6.2.2 卷積神經(jīng)網(wǎng)絡(luò) 153

6.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò) 156

6.3 本章小結(jié) 157

第3部分 工具介紹

第7章 常見(jiàn)機(jī)器學(xué)習(xí)工具介紹 161

7.1 概述 161

7.2 單機(jī)版機(jī)器學(xué)習(xí)工具 163

7.2.1 SPSS 163

7.2.2 R語(yǔ)言 167

7.2.3 工具對(duì)比 172

7.3 開(kāi)源分布式機(jī)器學(xué)習(xí)工具 172

7.3.1 Spark MLib 172

7.3.2 TensorFlow 179

7.4 企業(yè)級(jí)云機(jī)器學(xué)習(xí)工具 190

7.4.1 亞馬遜AWS ML 191

7.4.2 阿里云機(jī)器學(xué)習(xí)PAI 196

7.5 本章小結(jié) 205

第4部分 實(shí)戰(zhàn)應(yīng)用

第8章 業(yè)務(wù)解決方案 209

8.1 心臟病預(yù)測(cè) 209

8.1.1 場(chǎng)景解析 209

8.1.2 實(shí)驗(yàn)搭建 211

8.1.3 小結(jié) 216

8.2 商品推薦系統(tǒng) 216

8.2.1 場(chǎng)景解析 217

8.2.2 實(shí)驗(yàn)搭建 218

8.2.3 小結(jié) 220

8.3 金融風(fēng)控案例 220

8.3.1 場(chǎng)景解析 221

8.3.2 實(shí)驗(yàn)搭建 222

8.3.3 小結(jié) 225

8.4 新聞文本分析 225

8.4.1 場(chǎng)景解析 225

8.4.2 實(shí)驗(yàn)搭建 226

8.4.3 小結(jié) 230

8.5 農(nóng)業(yè)貸款發(fā)放預(yù)測(cè) 230

8.5.1 場(chǎng)景解析 230

8.5.2 實(shí)驗(yàn)搭建 232

8.5.3 小結(jié) 236

8.6 霧霾天氣成因分析 236

8.6.1 場(chǎng)景解析 237

8.6.2 實(shí)驗(yàn)搭建 238

8.6.3 小結(jié) 243

8.7 圖片識(shí)別 243

8.7.1 場(chǎng)景解析 243

8.7.2 實(shí)驗(yàn)搭建 245

8.7.3 小結(jié) 253

8.8 本章小結(jié) 253

第5部分 知識(shí)圖譜

第9章 知識(shí)圖譜 257

9.1 未來(lái)數(shù)據(jù)采集 257

9.2 知識(shí)圖譜的概述 259

9.3 知識(shí)圖譜開(kāi)源

工具 261

9.4 本章小結(jié) 264

參考文獻(xiàn) 265

編輯推薦

機(jī)器學(xué)習(xí)是一門(mén)多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度等多門(mén)學(xué)科，專門(mén)研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為。機(jī)器學(xué)習(xí)是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑。本書(shū)通過(guò)對(duì)機(jī)器學(xué)習(xí)的背景知識(shí)、算法流程、相關(guān)工具、實(shí)踐案例以及知識(shí)圖譜等內(nèi)容的講解，全面介紹了機(jī)器學(xué)習(xí)的理論基礎(chǔ)和實(shí)踐應(yīng)用。書(shū)中涉及機(jī)器學(xué)習(xí)領(lǐng)域的多個(gè)典型算法，并詳細(xì)給出了機(jī)器學(xué)習(xí)的算法流程。本書(shū)適合任何有一定數(shù)據(jù)功底和編程基礎(chǔ)的讀者閱讀。通過(guò)閱讀本書(shū)，讀者不僅可以了解機(jī)器學(xué)習(xí)的理論基礎(chǔ)，也可以參照一些典型的應(yīng)用案例拓展自己的專業(yè)技能。同時(shí)，本書(shū)也適合計(jì)算機(jī)相關(guān)專業(yè)的學(xué)生以及對(duì)人工智能和機(jī)器學(xué)習(xí)感興趣的讀者閱讀。

超聲波機(jī)器因其強(qiáng)大的功能在很多領(lǐng)域有其廣泛的應(yīng)用：超聲波清洗機(jī)，超聲波醫(yī)學(xué)檢查（如B超機(jī)），超聲波塑料焊接機(jī)，超聲波熔接機(jī)，超聲波測(cè)距.，超聲波汽車(chē)焊接機(jī)，超聲波真空包裝機(jī)

現(xiàn)今，對(duì)人類來(lái)說(shuō)，太臟太累、太危險(xiǎn)、太精細(xì)、太粗重或太反復(fù)無(wú)聊的工作，常常由機(jī)器人代勞。從事制造業(yè)的工廠里的生產(chǎn)線就應(yīng)用了很多工業(yè)機(jī)器人，其他應(yīng)用領(lǐng)域還包括：射出成型業(yè)、建筑業(yè)、石油鉆探、礦石開(kāi)采、太空探索、水下探索、毒害物質(zhì)清理、搜救、醫(yī)學(xué)、軍事領(lǐng)域等。

OTC機(jī)器人指由操作機(jī)（機(jī)械本體）、控制器、伺服驅(qū)動(dòng)系統(tǒng)和傳感裝置構(gòu)成的一種仿人操作、自動(dòng)控制、可重復(fù)編程、能在三維空間完成各種作業(yè)的光機(jī)電一體化生產(chǎn)設(shè)備，特別適合于多品種、變批量的彈性制造系統(tǒng)。

一個(gè)工業(yè)機(jī)器人可以僅包括一個(gè)感覺(jué)與動(dòng)作之間的連結(jié)，而且這個(gè)連結(jié)不是由人手動(dòng)操控的。機(jī)器人的動(dòng)作也許是電動(dòng)機(jī)或是驅(qū)動(dòng)器（也稱效應(yīng)器）移動(dòng)一只手臂，張開(kāi)或關(guān)閉一個(gè)夾子的動(dòng)作。此種直接而詳盡的控制跟回饋也許是由在外部或是嵌入式的電子計(jì)算機(jī)或是微控制器上運(yùn)行的程式提供。根據(jù)這個(gè)定義，所有的自動(dòng)裝置都算機(jī)器人。

OTC機(jī)器人可直接接受人類指令，也可以執(zhí)行預(yù)先編排的程序，也可以根據(jù)以人工智能技術(shù)制定的原則綱領(lǐng)行動(dòng)。

OTC機(jī)器人發(fā)展現(xiàn)狀方面， 2007年全球共新安裝工業(yè)機(jī)器人114,365 臺(tái)，較2006年新安裝的111,052 臺(tái)，上升了3%。截至2007 年底，全球工業(yè)機(jī)器人保有量已達(dá)到了995,000臺(tái)。2007年，亞洲及美洲工業(yè)機(jī)器人的裝配量明顯上升，汽車(chē)工業(yè)以及電子電器行業(yè)的發(fā)展是上述地區(qū)工業(yè)機(jī)器人裝配量強(qiáng)勁增長(zhǎng)的主要因素。此外，化工領(lǐng)域用工業(yè)機(jī)器人的需求量也迅速上升。

OTC焊接機(jī)器人是工業(yè)機(jī)器人的最常見(jiàn)類型，常用于汽車(chē)制造機(jī)械流水線的規(guī)?；圃熘?，汽車(chē)車(chē)身和其他采用焊接工藝的部件的焊接。