云環(huán)境下大數(shù)據(jù)分析平臺關(guān)鍵技術(shù)研究

隨著互聯(lián)網(wǎng)深入發(fā)展和移動互聯(lián)網(wǎng)的日益普及，大數(shù)據(jù)孕育而生，云與大數(shù)據(jù)成為人們關(guān)注的熱點。近日，在GMIC北京2017云與大數(shù)據(jù)峰會上，多位業(yè)界專家分享了云環(huán)境下大數(shù)據(jù)的有效應(yīng)用話題。

中國大數(shù)據(jù)被禁錮在不同孤島里

大數(shù)據(jù)開啟了一個時代的轉(zhuǎn)型，給人們帶來了生活、工作與思維的大變革。時代的變革需要以大數(shù)據(jù)為視角理解數(shù)據(jù)與信息。

此次峰會上，北京騰云天下科技有限公司TalkingData合伙人兼副總裁高鐸表示，中國的數(shù)據(jù)被禁錮在三群孤島里。第一群孤島是政府，政府部門的割裂導(dǎo)致不相同的數(shù)據(jù)掌握在各個政府部門里。第二群孤島是運(yùn)營商，中國的三大運(yùn)營商數(shù)據(jù)內(nèi)部割裂，例如中國移動，在各個省也很難統(tǒng)一打通。第三群孤島是互聯(lián)網(wǎng)巨頭企業(yè)，例如BAT，BAT的數(shù)據(jù)也是打不通的，各自為政。因為KPI不一樣，所以互聯(lián)網(wǎng)巨頭企業(yè)的數(shù)據(jù)，本身外部打不通，內(nèi)部行不通，中國的大數(shù)據(jù)生生被三大數(shù)據(jù)孤島群所割裂，這就是數(shù)據(jù)的現(xiàn)狀。

非結(jié)構(gòu)化數(shù)據(jù)占據(jù)主導(dǎo)地位  

亞馬遜AWS首席云計算技術(shù)顧問費良宏表示，大數(shù)據(jù)的發(fā)展，有兩種明顯態(tài)勢需要引起大家的重視。一方面是大數(shù)據(jù)規(guī)模膨脹。幾年前人們還認(rèn)為大數(shù)據(jù)只是GB、PB級別，接下來會看到，從TB到ZB的增長速度已經(jīng)越來越快了。接下來5年、10年會有一個新的認(rèn)知。另一方面是非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)占據(jù)了主導(dǎo)地位。比如說基因工程、社交媒體等以非結(jié)構(gòu)化形式存在，以往大家熟悉的結(jié)構(gòu)化模式已經(jīng)不太適用了。

對于大數(shù)據(jù)的設(shè)計架構(gòu)原則，費良宏總結(jié)歸納為五點，即解耦數(shù)據(jù)總線、選擇恰當(dāng)工具、有效利用云計算、以日志為中心、并且具有成本意識。大數(shù)據(jù)是一切的中心，可以推動行業(yè)的創(chuàng)新和發(fā)展。

三大因素影響大數(shù)據(jù)商務(wù)發(fā)展     

DataStreams CEO李榮祥表示，過去十幾二十年來，韓國金融業(yè)，特別是銀行業(yè)的發(fā)展?fàn)顩r。在1994年韓國有了第一次電話銀行業(yè)務(wù)，緊隨其后，由于互聯(lián)網(wǎng)的發(fā)展，打造出非常多的互聯(lián)網(wǎng)衍生業(yè)務(wù)。1999年開展了互聯(lián)網(wǎng)銀行的業(yè)務(wù)。大家對兩家互聯(lián)網(wǎng)銀行新的服務(wù)模式感到非常的新鮮和刺激。但因時機(jī)不夠成熟，大數(shù)據(jù)下的商業(yè)業(yè)務(wù)發(fā)展框架，有了三大影響因素。

首先，原始數(shù)據(jù)質(zhì)量煩雜亟須處理。利用硅谷的開源技術(shù)可以打造屬于自己的大數(shù)據(jù)平臺。但這還不太夠，雖然可以通過開源技術(shù)的渠道可以獲取到數(shù)據(jù)，但是對于數(shù)據(jù)的處理是不夠的，因為數(shù)據(jù)的質(zhì)量才是關(guān)鍵。一方面需要有效的數(shù)據(jù)，另一方面也需要有效的控制數(shù)據(jù)，只有這樣的工作才有意義。

其次，數(shù)據(jù)融合是大數(shù)據(jù)分析的關(guān)鍵。通過數(shù)據(jù)庫我們可以進(jìn)行各種搜索并且調(diào)用數(shù)據(jù)，但是在大數(shù)據(jù)的平臺中，其實數(shù)據(jù)庫的管理系統(tǒng)并不是最重要的，數(shù)據(jù)的融合才是重中之重。因為數(shù)據(jù)的種類實在是十分多樣，為了更好的分析數(shù)據(jù)，要有不同的數(shù)據(jù)結(jié)構(gòu)，融合不同的數(shù)據(jù)，所以這就是大數(shù)據(jù)分析中最核心的一環(huán)了。

再次，未來大數(shù)據(jù)的存儲和加工。科技的不斷推動下，未來大數(shù)據(jù)的儲存和加工來幫助更好的儲存數(shù)據(jù)和加工數(shù)據(jù)，將儲存的數(shù)據(jù)進(jìn)行分類、加工。大數(shù)據(jù)應(yīng)用的擴(kuò)展以及功能的擴(kuò)展是未來發(fā)展的趨勢，同時使用卡和數(shù)據(jù)的儲存，數(shù)字化的儲存，所以通過查詢就可以找到所需要的信息。

數(shù)據(jù)變成知識才更具價值

費良宏認(rèn)為，從大數(shù)據(jù)應(yīng)用場景來看無非是3種應(yīng)用模式。

1、批處理模式，從事大數(shù)據(jù)的人已經(jīng)很熟悉了，在今天和過去都用這樣的方法來操控大數(shù)據(jù)。

2、流處理，流處理是過去幾年出現(xiàn)的，且如今已經(jīng)越來越普遍了。流處理模式有其特定的歷史淵源，主要來自于數(shù)據(jù)產(chǎn)生的特殊性以及處理的特殊要求。

3、機(jī)器學(xué)習(xí)數(shù)據(jù)本身并不具有價值，如果把它變成一種知識，其數(shù)據(jù)才會變得更有價值，這個關(guān)鍵就是機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)可以幫助人們解決從數(shù)據(jù)到知識化的難題，所以人工智能是很熱的話題，但核心的問題是在大數(shù)據(jù)的環(huán)境里，如何利用批處理、流處理、機(jī)器學(xué)習(xí)達(dá)成我們的目標(biāo)。過去兩年里，漸漸興起數(shù)據(jù)湖概念，數(shù)據(jù)湖在某種意義上強(qiáng)調(diào)企業(yè)建立一個全數(shù)據(jù)的集中管理能力。

“利用目前云計算和大數(shù)據(jù)的處理能力，真的可以為企業(yè)提供全數(shù)據(jù)的概念，利用全數(shù)據(jù)在大數(shù)據(jù)的操作、分析，不同主題的應(yīng)用里，就具備了真正意義上的大數(shù)據(jù)的處理?！辟M良宏說。