云環(huán)境下大數(shù)據(jù)分析平臺(tái)關(guān)鍵技術(shù)研究基本信息

隨著互聯(lián)網(wǎng)深入發(fā)展和移動(dòng)互聯(lián)網(wǎng)的日益普及，大數(shù)據(jù)孕育而生，云與大數(shù)據(jù)成為人們關(guān)注的熱點(diǎn)。近日，在GMIC北京2017云與大數(shù)據(jù)峰會(huì)上，多位業(yè)界專家分享了云環(huán)境下大數(shù)據(jù)的有效應(yīng)用話題。

中國(guó)大數(shù)據(jù)被禁錮在不同孤島里

大數(shù)據(jù)開(kāi)啟了一個(gè)時(shí)代的轉(zhuǎn)型，給人們帶來(lái)了生活、工作與思維的大變革。時(shí)代的變革需要以大數(shù)據(jù)為視角理解數(shù)據(jù)與信息。

此次峰會(huì)上，北京騰云天下科技有限公司TalkingData合伙人兼副總裁高鐸表示，中國(guó)的數(shù)據(jù)被禁錮在三群孤島里。第一群孤島是政府，政府部門的割裂導(dǎo)致不相同的數(shù)據(jù)掌握在各個(gè)政府部門里。第二群孤島是運(yùn)營(yíng)商，中國(guó)的三大運(yùn)營(yíng)商數(shù)據(jù)內(nèi)部割裂，例如中國(guó)移動(dòng)，在各個(gè)省也很難統(tǒng)一打通。第三群孤島是互聯(lián)網(wǎng)巨頭企業(yè)，例如BAT，BAT的數(shù)據(jù)也是打不通的，各自為政。因?yàn)?span>KPI不一樣，所以互聯(lián)網(wǎng)巨頭企業(yè)的數(shù)據(jù)，本身外部打不通，內(nèi)部行不通，中國(guó)的大數(shù)據(jù)生生被三大數(shù)據(jù)孤島群所割裂，這就是數(shù)據(jù)的現(xiàn)狀。

非結(jié)構(gòu)化數(shù)據(jù)占據(jù)主導(dǎo)地位  

亞馬遜AWS首席云計(jì)算技術(shù)顧問(wèn)費(fèi)良宏表示，大數(shù)據(jù)的發(fā)展，有兩種明顯態(tài)勢(shì)需要引起大家的重視。一方面是大數(shù)據(jù)規(guī)模膨脹。幾年前人們還認(rèn)為大數(shù)據(jù)只是GB、PB級(jí)別，接下來(lái)會(huì)看到，從TB到ZB的增長(zhǎng)速度已經(jīng)越來(lái)越快了。接下來(lái)5年、10年會(huì)有一個(gè)新的認(rèn)知。另一方面是非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)占據(jù)了主導(dǎo)地位。比如說(shuō)基因工程、社交媒體等以非結(jié)構(gòu)化形式存在，以往大家熟悉的結(jié)構(gòu)化模式已經(jīng)不太適用了。

對(duì)于大數(shù)據(jù)的設(shè)計(jì)架構(gòu)原則，費(fèi)良宏總結(jié)歸納為五點(diǎn)，即解耦數(shù)據(jù)總線、選擇恰當(dāng)工具、有效利用云計(jì)算、以日志為中心、并且具有成本意識(shí)。大數(shù)據(jù)是一切的中心，可以推動(dòng)行業(yè)的創(chuàng)新和發(fā)展。

三大因素影響大數(shù)據(jù)商務(wù)發(fā)展     

DataStreams CEO李榮祥表示，過(guò)去十幾二十年來(lái)，韓國(guó)金融業(yè)，特別是銀行業(yè)的發(fā)展?fàn)顩r。在1994年韓國(guó)有了第一次電話銀行業(yè)務(wù)，緊隨其后，由于互聯(lián)網(wǎng)的發(fā)展，打造出非常多的互聯(lián)網(wǎng)衍生業(yè)務(wù)。1999年開(kāi)展了互聯(lián)網(wǎng)銀行的業(yè)務(wù)。大家對(duì)兩家互聯(lián)網(wǎng)銀行新的服務(wù)模式感到非常的新鮮和刺激。但因時(shí)機(jī)不夠成熟，大數(shù)據(jù)下的商業(yè)業(yè)務(wù)發(fā)展框架，有了三大影響因素。

首先，原始數(shù)據(jù)質(zhì)量煩雜亟須處理。利用硅谷的開(kāi)源技術(shù)可以打造屬于自己的大數(shù)據(jù)平臺(tái)。但這還不太夠，雖然可以通過(guò)開(kāi)源技術(shù)的渠道可以獲取到數(shù)據(jù)，但是對(duì)于數(shù)據(jù)的處理是不夠的，因?yàn)閿?shù)據(jù)的質(zhì)量才是關(guān)鍵。一方面需要有效的數(shù)據(jù)，另一方面也需要有效的控制數(shù)據(jù)，只有這樣的工作才有意義。

其次，數(shù)據(jù)融合是大數(shù)據(jù)分析的關(guān)鍵。通過(guò)數(shù)據(jù)庫(kù)我們可以進(jìn)行各種搜索并且調(diào)用數(shù)據(jù)，但是在大數(shù)據(jù)的平臺(tái)中，其實(shí)數(shù)據(jù)庫(kù)的管理系統(tǒng)并不是最重要的，數(shù)據(jù)的融合才是重中之重。因?yàn)閿?shù)據(jù)的種類實(shí)在是十分多樣，為了更好的分析數(shù)據(jù)，要有不同的數(shù)據(jù)結(jié)構(gòu)，融合不同的數(shù)據(jù)，所以這就是大數(shù)據(jù)分析中最核心的一環(huán)了。

再次，未來(lái)大數(shù)據(jù)的存儲(chǔ)和加工。科技的不斷推動(dòng)下，未來(lái)大數(shù)據(jù)的儲(chǔ)存和加工來(lái)幫助更好的儲(chǔ)存數(shù)據(jù)和加工數(shù)據(jù)，將儲(chǔ)存的數(shù)據(jù)進(jìn)行分類、加工。大數(shù)據(jù)應(yīng)用的擴(kuò)展以及功能的擴(kuò)展是未來(lái)發(fā)展的趨勢(shì)，同時(shí)使用卡和數(shù)據(jù)的儲(chǔ)存，數(shù)字化的儲(chǔ)存，所以通過(guò)查詢就可以找到所需要的信息。

數(shù)據(jù)變成知識(shí)才更具價(jià)值

費(fèi)良宏認(rèn)為，從大數(shù)據(jù)應(yīng)用場(chǎng)景來(lái)看無(wú)非是3種應(yīng)用模式。

1、批處理模式，從事大數(shù)據(jù)的人已經(jīng)很熟悉了，在今天和過(guò)去都用這樣的方法來(lái)操控大數(shù)據(jù)。

2、流處理，流處理是過(guò)去幾年出現(xiàn)的，且如今已經(jīng)越來(lái)越普遍了。流處理模式有其特定的歷史淵源，主要來(lái)自于數(shù)據(jù)產(chǎn)生的特殊性以及處理的特殊要求。

3、機(jī)器學(xué)習(xí)數(shù)據(jù)本身并不具有價(jià)值，如果把它變成一種知識(shí)，其數(shù)據(jù)才會(huì)變得更有價(jià)值，這個(gè)關(guān)鍵就是機(jī)器學(xué)習(xí)。

機(jī)器學(xué)習(xí)可以幫助人們解決從數(shù)據(jù)到知識(shí)化的難題，所以人工智能是很熱的話題，但核心的問(wèn)題是在大數(shù)據(jù)的環(huán)境里，如何利用批處理、流處理、機(jī)器學(xué)習(xí)達(dá)成我們的目標(biāo)。過(guò)去兩年里，漸漸興起數(shù)據(jù)湖概念，數(shù)據(jù)湖在某種意義上強(qiáng)調(diào)企業(yè)建立一個(gè)全數(shù)據(jù)的集中管理能力。

“利用目前云計(jì)算和大數(shù)據(jù)的處理能力，真的可以為企業(yè)提供全數(shù)據(jù)的概念，利用全數(shù)據(jù)在大數(shù)據(jù)的操作、分析，不同主題的應(yīng)用里，就具備了真正意義上的大數(shù)據(jù)的處理?！辟M(fèi)良宏說(shuō)。