1數據采集
業務系統的埋點代碼時刻會產生一些分散的原始日志，可以用Flume監控接收這些分散的日志，實現分散日志的聚合，即采集。
2數據清洗
1.一些字段可能會有異常取值，即臟數據。為了數據下游的"數據分析統計"能拿到比較高質量的數據，需要對這些記錄進行過濾或者字段數據回填。
2.一些日志的字段信息可能是多余的，下游不需要使用到這些字段做分析，同時也為了節省存儲開銷，需要刪除這些多余的字段信息。
3.一些日志的字段信息可能包含用戶敏感信息，需要做脫敏處理。如用戶姓名只保留姓，名字用'*'字符替換。
3數據存儲
清洗后的數據可以落地入到數據倉庫(Hive)，供下游做離線分析。如果下游的"數據分析統計"對實時性要求比較高，則可以把日志記錄入到kafka。
4數據分析統計
數據分析是數據流的下游，消費來自上游的數據。其實就是從日志記錄里頭統計出各種各樣的報表數據，簡單的報表統計可以用sql在kylin或者hive統計，復雜的報表就需要在代碼層面用Spark、Storm做統計分析。一些公司好像會有個叫BI的崗位是專門做這一塊的。
5數據可視化
用數據表格、數據圖等直觀的形式展示上游"數據分析統計"的數據。一般公司的某些決策會參考這些圖表里頭的數據~
以上是小編整理的一些關于的大數據方向的一些基本問題，希望能對各位小白能有所幫助，歡迎各位來我們青島思途教育咨詢學習大數據課程！
Python語言編程的特點及其應用