一分鐘了解互聯網大數據分析

大數據分析（BigDataAnalysis）是當前信息技術的一個重要應用領域，對我們的工作和生活產生著巨大的影響。

相對于傳統的數據概念，“大數據”的定義為四個“V”：數量大（volume）、多樣化（variety）、變化快（velocity）和有價值（value）。具體，請參閱我之前的文章《三分鐘讀懂大數據》。本文著重介紹對于大數據的分析方法。

大數據分析的流程一般為：

數據采集→數據傳輸→數據預處理→數據統計與建模→數據分析/挖掘→數據可視化/反饋。

下面依次加以說明：

數據采集：

數據采集的功能包括：

通過物聯網設備采集數據。（參見《三分鐘讀懂物聯網》）

通過在應用程序中插入特定代碼（“埋點”）來采集數據。

將采集的數據傳輸到指定的服務器。

不論是采集數據，還是傳輸數據，都要求最大限度地保證數據的準確性、完整性和及時性，這就要求數據采集能處理很多細節方面的問題，比如用戶標識、網絡策略、緩存策略、同步策略、安全保障等。

數據預處理：

主要包括數據清理和數據整理。

1.數據清理

數據清理是指發現并處理數據中存在的質量問題，如缺失、異常等。例如，某用戶在填寫調查問卷時，沒有填寫“年齡”一欄的信息，那么對于該用戶填寫的這條數據來說，年齡就是缺失值；異常是指雖然有值但值明顯偏離了正常取值范圍，如針對18～30歲成年人的調查問卷中，某用戶填寫調查問卷時將年齡誤填為2。

必須處理好包含缺失值或異常值的數據，否則會嚴重影響數據分析結果的可靠性。

2.數據整理

數據整理是指將數據整理為數據建模所需要的形式。例如，在建立房屋價格預測模型時，通常需要將對房價預測無用的數據項（如房屋的ID編號）去除，將用于預測目標值的特征（如房齡、朝向等）和目標變量（房屋價格）分開。

數據統計與建模：

數據統計是指對數據計算均值、方差等統計值，通過統計分析掌握數據特性，完成對已知數據的解釋。建模則是根據已有數據建立模型以對未來數據進行預測、分類，解決實際應用問題。

數據分析/挖掘：

數據挖掘是從大量數據中挖掘出隱含的、先前未知的、對決策有潛在價值的關系、模式和趨勢，并用這些知識和規則建立用于決策支持的模型，提供預測性決策支持的方法、工具和過程。

數據可視化/反饋：

數據可視化是指將數據