大數(shù)據(jù)處理之道

大數(shù)據(jù)處理：技術與流程 文章來源： ECP大數(shù)據(jù)時間： 2013/5/22 11:28:34 發(fā)布者： ECP大數(shù)據(jù)（ 關注： 848） 標簽： “大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、 洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海 量、高增長率和多樣化的信息資產(chǎn)。 特點是： 數(shù)據(jù)量大 (Volume) 、數(shù)據(jù)種類多樣 (Variety) 、 要求實時性強 (Velocity) 。對它關注也是因為它蘊藏的商業(yè)價值大 (Value) 。也是大數(shù)據(jù)的 4V特性。符合這些特性的，叫大數(shù)據(jù)。 大數(shù)據(jù)會更多的體現(xiàn)數(shù)據(jù)的價值。 各行業(yè)的數(shù)據(jù)都越來越多， 在大數(shù)據(jù)情況下， 如何保 障業(yè)務的順暢， 有效的管理分析數(shù)據(jù)， 能讓領導層做出最有利的決策。 這是關注大數(shù)據(jù)的原 因。也是大數(shù)據(jù)處理技術要解決的問題。 大數(shù)據(jù)處理技術 大數(shù)據(jù)時代 的超大數(shù)據(jù)體量和占相當比例的半結構化和非結構化數(shù)據(jù)的存在， 已經(jīng)超越 了傳統(tǒng)數(shù)據(jù)

數(shù)據(jù)處理流程設計 數(shù)據(jù)處理流程包含數(shù)據(jù)預處理、 統(tǒng)計分析、數(shù)據(jù)挖掘和數(shù)據(jù)質量管理等系列 環(huán)節(jié)。如下圖所示： 圖 1：數(shù)據(jù)處理業(yè)務架構 其中，數(shù)據(jù)預處理是對數(shù)據(jù)集進行抽樣、轉換、合并、刪除、解析等數(shù)據(jù)預 處理工作，主要是對數(shù)據(jù)格式、缺失值、異常值、記錄、字段等進行處理，以便 得到符合后續(xù)業(yè)務應用、 數(shù)據(jù)統(tǒng)計和挖掘所需的高質量數(shù)據(jù)。 數(shù)據(jù)統(tǒng)計和數(shù)據(jù)挖 掘是通過大數(shù)據(jù)挖掘和機器學習模型對海量數(shù)據(jù)進行挖掘和學習， 從而得到潛在 的數(shù)據(jù)知識和規(guī)律。 同時，作為數(shù)據(jù)質量相關的工作標準和規(guī)范的管理， 也貫穿 了整個數(shù)據(jù)處理的過程。 （1）數(shù)據(jù)預處理 為保證入庫數(shù)據(jù)質量和數(shù)據(jù)規(guī)范性， 提高存儲和數(shù)據(jù)訪問效率， 為后續(xù)的統(tǒng) 計分析功能提供數(shù)據(jù)基礎， 我們將數(shù)據(jù)預處理過程分解成數(shù)據(jù)質量校驗、 清洗轉 換、質量提升三個步驟，采用專家知識庫及核心算法庫，利用時間序列、數(shù)據(jù)融 合、內存計算等技術，建立數(shù)據(jù)處理模型，