分析領域的2012年度代表名詞：Big Data

最近幾年到了年尾的時候，電視上都會出現年度代表字的新聞。以Analytics這個領域而言，2012的代表名詞顯然非「Big Data」莫屬。這個名詞雖然不是在2012年第一次出現，卻在這一年一下子就變得大紅大紫。上圖是Google Trends提供的搜尋趨勢，可以看到網路上搜尋 "Big Data" 的熱門度在2012年就有明顯的三級跳（這不單是個慣用語而已，是真的有三級），所以今年的最後一則也就用這個時髦名詞做ending。

由於失業率連年攀升，而我的年紀也越來越大，所以我持續關注著Big Data的發展，希望它可以變成我未來的長期飯票。到目前為止，我個人認為Big Data仍然停留在資訊大廠和顧問公司的炒作（也就是英文的"hype"這個字）階段，然而我也很怕我的判斷失準。況且我對常常聽到的相關技術名詞Hadoop、MapReduce都是「只聞其名，不知其詳」，工作上也一直沒有機會接觸到實際的Big Data與應用，因此難免會擔心自己是否跟不上這一股潮流。

老東家Teradata的Bill Franks寫了一本名為《Taming the Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics》的書，成為Wiley and SAS商業系列書籍的2012新作之一，我在11月買到了這本書。儘管Teradata和SAS都是推動Big Data的資訊大廠，這本書對Big Data的看法卻相當務實，讓我有些意外，不過也驗證了我的看法。

Analytic Blog Posts

上一篇提到《Taming The Big Data Tidal Wave》作者Bill Franks指出資料分析工作人應該具備「創意」這項特質，而我認為看看別人如何運用資料分析是個激發更多創意的好方法。可惜國內很少有這樣的發表，所以只好多看看國外（尤其是美國）的案例了。以下是最近國外部落格上的相關文章：

• 大家應該都知道歐巴馬打贏這次的總統大選，但是知道他的選舉戰法也應用Big Data的人就不多了吧。"Big Data" Lessons from Obama's Playbook告訴大家歐巴馬的選舉團隊是如何運用Big Data的。
• 加州大學柏克萊分校這學期開了一門課叫做Analyzing Big Data with Twitter，請到Twitter的高階主管和工程師來課堂上分享，這也只有在美國（或許得更明確的說，在美國的加州）才有辦法做到。Twitter Takes Big Data To School做了相關的報導，更酷的是還提供了課堂錄影的連結。

今天就提供以上這兩篇。

不要把「人」忘了（二）

我在前一篇的最末段，提到了《Taming The Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics》這本書，作者Bill Franks目前任職於Teradata，並負責Teradata與SAS合作成立的Business Analytic Innovation Center。Teradata和SAS都是我的老東家，但我保證這篇文章沒有廣告的嫌疑，請各位放心繼續讀下去！

雖然這本書的書名用了Big Data這個很夯的名詞，作者在談論資料分析人才的第8章「What Makes a Great Analytic Professional?」，卻沒有應景的以Data Scientist這個時髦的名詞來稱呼從事資料分析工作的專業人士，而是用比較平鋪直敘的Analytic Professional。而且作者一開始就點出，最常見的兩項徵才條件：「數理、統計、資訊科系碩士以上學位」、「程式設計經驗」，其實沒有抓到重點，如果人資部門在選才時都在技術能力和學歷上打轉，恐怕會見樹不見林。作者以他自己的經驗指出，假如以企業在徵求資料分析人才時常用的條件作為標準，他認識的優秀人才幾乎都有一兩項不合格。

不要把「人」忘了（一）

國內報章雜誌寫到有關Big Data（或是過去的資料分析）時，幾乎都著重在技術面和美好遠大的理想上，很少提到「人」的問題。只是不管Big Data的應用有多廣泛，分析工具有多強大，還是要靠「人」來解讀與應用分析的結果。也因為國內文章少有觸及，所以我也就借用國外的資源跟大家分享這個議題。

前幾天在IQ Workforce Blog上看到一篇今年7月的舊文章，題為「Five Observations About Recruiting Big Data Professionals」。據我所知，IQ Workforce是一家專注在資料分析領域的獵人頭公司，所以對於「人」的觀察應該有一定的水準。

Hype or Hope?

今年 6月號的《Cheers快樂工作人》 第141期有一段訪問我的文字：

頂著美國電機博士頭銜，目前在某專業分析軟體公司專研資料探勘（data mining）的張維斌，當年就是看了這本書，改變生涯的路徑。雖然念電機，他卻只對機率、數學有興趣，透過這本書，張維斌確認了分析資料、歸納趨勢類的工作，遠比整天對著電路板更適合自已。浸淫10多年下來，他果然樂在其中，也打響名號。「對我最大的好處，就是工作再也不用自己找，」張維斌笑著說。

其實當初我要表達的意思是最近這幾年做的幾個工作都不是自己主動投履歷找的，卻不知透過記者的筆竟然變成有點「臭屁」的感覺，真怕以後因此找工作會被新雇主刁難。

不過如果今年10月號《Harvard Business Review》所說的沒錯，我應該就不用擔心才對。這本期刊不僅當期有大量關於Big Data的篇幅，其中還有一篇文章的篇名叫做「Data Scientist: The Sexiest Job of the 21st Century」（那我不就是Sexiest Men之一了？）。從事這一行的我，當然希望這類工作越夯越好，只是我仍無法放下心中的疑問：為什麼台灣的就業市場還看不到這種現象？是因為台灣起步較晚，還是經濟規模太小？還是這股熱潮其實根本是資訊廠商炒作的結果（也就是英文所謂的hype）？

從Big Data看天下

結束了為期五個月的assignment，該是回來這裡「溫故知新」的時候了。

「Big Data」這個名詞從去年下半年開始成為全球的顯學，國內的雜誌在今年也出現了相關的專題報導，知名的《天下雜誌》在4月中出刊的495期「特別企劃」就是以Big Data作為主題。當時我滿懷希望的翻開這一期閱讀，然而卻對內容相當失望！

第一篇「政府、企業的下一場戰爭」寫得還好，基本上它只是在說明什麼是Big Data。通常在描述Big Data時會談到它的三種特性：Volume（資料量）、Velocity（資料產生的速度）、Variety（資料的種類），本文雖然也有提到，但是文字分散，如果能直接點出來，讀者會更容易了解Big Data為什麼特別。文末引用麥肯錫去年出的報告說，美國到2018年會出現14萬到19萬個深度分析專才的需求，藉此說明Big Data之熱門。我要補充的是，同一份報告其實還指出，美國在同一個時期內也需要150萬個懂得運用Big Data（但不見得會自己作深入分析）的經理人，對大多數人而言，這才是機會。

第二篇文章名為「一次搞懂Big data」，其實是訪問三家國內資訊服務廠商的總經理或副總。不過我認為這篇短文並沒有達到它宣稱的目的（如果連我都無法藉著這篇文章一次搞懂Big data，更何況是一般讀者），我認為這跟提問很有關係，因為這些問題無系統可言。此外，我個人也認為，與其訪問大型資訊服務廠商的高階主管，不如請他們旗下真正負責資料分析專案的顧問來說明，相信會更能切中要點。

第三篇是標題「用big data 打擊犯罪的鐵漢」的侯友宜專訪，這是「特別企劃」裡篇幅最長的文章，然而把它也放在介紹Big Data的主題專欄，就真的是不知所云！