2013年分析領域代表名詞

有一則故事在講吹破肚皮的青蛙，
不知道 Big Data 是否也會跟這隻青蛙一樣？

2012年底，我寫了一篇《分析領域的2012年度代表名詞： Big Data》。轉眼之間，一年過去了，如果要我再選出分析領域在2013年的年度代表名詞，我還是會圈選 Big Data ，因為這個名詞在過去的這一年真是被渲染和消費到了極點！尤其是相關的 IT 系統與軟體業者（很抱歉，本山人也在這類行業裡工作），更是言必稱 Big Data。

然而跟十年前的那股 CRM 熱潮（其實也是 IT 業者炒起來的）比起來，我認為現在的用戶端冷靜多了，不像當時那樣瘋狂的擁抱 CRM。在我接觸的企業客戶中，只有一家公司認為 Big Data 重要到必須列為立即發展與投入的目標（不過根據我的觀察，這是因為他們應用資料分析的經驗不足而導致對 Big Data 認識不清，他們其實還要經歷一段漫長的路途才有可能走到 Big Data）。這種現象有可能是因為景氣仍差，企業緊縮內部投資所致；也有可能是大部分的企業已經有應用資料分析的經驗，因而能夠認清 Big Data 其實還無法馬上為企業帶來可見的金錢利益。

（在繼續閱讀下去之前，先回想一下 Big Data 的三個 V ：Volume「大」、Velocity「快」、Variety「雜」）

去年年底，我有幸跟國內首屈一指的入口網站負責資料分析的主管一同用餐。他認為雖然現在 Big Data 的儲存技術已經不是什麼問題，但只能作一些比較簡單的處理與運算，很難作到像 Small Data 一樣的進階統計分析、建置統計模型，因為所需的計算資源實在太龐大了（Small Data 應該是 Big Data 反動勢力刻意創造的名詞，指企業內部目前已經掌握的資料）。他提到的另一個問題，是由於 Big Data 產生和變化的速度太快，所以分析人員沒有時間去遵循分析 Small Data 時所用的嚴謹模式（例如用 training data 建置模型，再以 validation data 做驗證），因為等到分析人員走完這流程，資料的特性早就已經改變，原來的命題也不適用了。他還提到，其實國內真的有必要去玩 Big Data 的企業只有像他們這樣有規模的入口網站，其他的企業用現有的 Small Data 應該就可以解決大部分的問題了。

這些觀察都來自一位真正有 Big Data 經驗的專業人士，跟那些氾濫成災的 Big Data 宣傳、口號（而且大部分都出自沒有在實務上接觸過 Big Data 的人）比起來，有如暮鼓晨鐘。