2013年3月30日 星期六

笨蛋,問題在問題! Part 2

我自己親身經歷過幾個案例,讓我歸納出所謂「不知道問題是什麼」其實可以從想做分析的企業(Client)和提供分析服務的廠商(Vendor)這兩種角度來看。企業會想要請外面的廠商提供Analytics的服務,通常就是因為本身對Analytics不是非常了解或是內部沒有專精這方面的人才,也往往因為不了解,所以誤以為Analytics服務跟套裝軟體一樣,只要買進來就可以直接套用。尤其是在台灣提供分析服務的廠商大部分本身也是資訊軟體廠商,更可能讓企業加深了這樣的誤解。

也由於台灣的分析服務廠商多半是資訊業者,旗下的顧問不見得每個都在Client的產業待過,雖然具有高深的統計分析能力,卻不一定了解這些產業在行銷或業務上的實際問題。所以Client的運氣有點重要,如果遇到缺乏產業經驗的顧問,往往就只是提供制式的模型建議,沒有辦法引導Client提出問題,當然就很難針對這些問題提出量身訂製的解決方式。

2013年3月24日 星期日

笨蛋,問題在問題! Part 1

先澄清:我無意罵誰笨蛋,只是套用美國前總統柯林頓當年的競選口號「The economy, stupid!」。這個口號後來被他的競選策士James Carville改為「It's the economy, stupid!」,翻譯後就變成「笨蛋,問題在經濟!」

用英文來說,我這一篇的標題應該叫「It's the business problem, stupid!」。我要說的重點是,不管你把資料分析工作稱作Data Mining、還是最近比較流行的Business Analytics或Customer Analytics,第一個步驟永遠是去了解公司藉此想要解決的業務問題是什麼,而不是先討論建什麼模型!

2013年2月2日 星期六

零售經濟學(二)

我在「零售經濟學(一)」裡提到了Tim Hartford寫的《Undercover Economist 》,它的中譯版在作者簡介裡提到這本書「與《蘋果橘子經濟學》雙雙被視為近年來最重要的財經著作」。(2006年,我在誠品用台幣280元的低價買到了《蘋果橘子經濟學》的原作《Freakonomist 》,所以不知道中文版翻得如何。但是這本書真的挺有趣的,如果你對於利用資料分析來推論現實生活中的現象有興趣,不妨買一本來看看。)

如果我沒記錯,《Freakonomist》的很多結論是作者透過分析大量、長期的實際資料所得到的。相較之下,《Undercover Economist》偏向利用經濟的理論來說明我們看到的一些現象。對我來說,資料呈現的分析結果比較有說服力,所以難免會懷疑Tim Hartford的理論是否「正確」。

例如他提到認同有機食品的顧客可能比較不在意價格,因此有些超級市場會把有機食品跟一般食品的價差訂得遠高於兩者在成本上的差異,也就是用了這種稱為Self-targeting的方式讓客人「自投羅網」。但是Hartford的理論到底是否為真?也許可以利用賣場的資料庫,把常買有機食品的顧客跟其他顧客區隔開來,分析他們在購買其他商品上的行為,否則他們有可能只是一群崇尚自然有機、卻不得不接受高訂價的消費「受害」者。

農曆新年過後,我就會身兼二職,除了繼續為現在的保險業客戶服務,也開始會協助一家知名連鎖賣場的顧客分析工作,希望可以在那邊驗證一下Hartford的理論。

2013年1月24日 星期四

零售經濟學(一)

偶然翻到好幾年前買的舊書《誰賺走了你的咖啡錢》(英文版原名為Undercover Economist),看到第二章的標題「超市不想讓你知道的秘密」,因為過年後就要去接一個零售業的案子,所以就再讀了起來。

但我很快就回想起之前為什麼沒有把這本書看完(書籤還夾在書的中間):真的很難懂!雖然封底上的介紹文字說《經濟學人》和《芝加哥太陽報》都稱讚這是一本不錯的經濟入門書,我對第二章反覆出現的「價格鎖定」卻百思不得其解。想到多年前也看不懂類似的《反常識經濟學》(英文原名很聳動:More Sex Is Safer Sex)時,一氣之下買了原文版來看,才發現中文版的翻譯真是%#@X*,所以這次我也決定弄原文版的Undercover Economist來看。

果其不然,英文版還是比較容易看懂。原來「價格鎖定」並不是我想像的把價格固定住的意思(你是不是跟我想的一樣?),而是「Price-targeting」的翻譯。根據前後文的關係和我對行銷的理解,應該是指「利用價格來瞄準目標顧客」的作法。反覆對照中譯本和原文版後,儘管我不認為它像《反常識經濟學》翻的那麼糟,還是有很大的改善空間。例如在提到經濟學所謂的「效率」時,《誰賺走了你的咖啡錢》的文字是:

2013年1月12日 星期六

遠見乎?短視乎?

《天下雜誌》在去年4月中出刊的495期做了一個Big Data的特別企劃,性質相似的《遠見雜誌》也在今年開年的319期推出了同樣主題的特別企劃。比起《天下雜誌》來,《遠見》這次的份量更多,內容也略勝一籌。

儘管我認為Big Data現在仍處在hype的階段,我還是非常樂見國內的雜誌願意用這麼多篇幅介紹這個2012年突然變夯的名詞(畢竟這可能關係到我未來的飯碗啊!)。由於這次《遠見》刊出的內容很多,我也還沒全都看完,所以在此我只提出一點點看法。

特別企劃的第一篇文章就提到趨勢科技董事長張明正先生,而且引用他的話說「先有了雲端,才有大數據」。雲端這個名詞確實比大數據(Big Data)這個名詞早出現,但大數據這個東西其實早就有了,兩者也沒有因果關係。不過我們不是在研究Big Data的歷史,就尊重張董事長的意見。我真正有意見的,是他的以下看法:

2013年1月6日 星期日

是聰明還是笨?

最近台電員工為了爭取年終福利,不惜揚言「讓台灣變黑暗」,台灣電力工會並在記者會中指出,政府要台電推動的智慧型電網政策估計花費新台幣1390億元是個「錢坑法案」

我非電力專家,無法評論台電工會所言是否正確。不過所謂的智慧型電網(Smart Grid)因為是Big Data的潛在應用之一,所以符合這個部落格的主題。首先我要引用經濟部在「智慧電網推動小組」第一次會議對媒體發佈的訊息,全文請見中央通訊社網站
經濟部表示,智慧電網是透過資訊、通信與自動化科技,建置具智慧化發電、輸電、配電及用戶整合性電力網路。......藉由上述示範計畫,台電預計明、後年規劃不同套時間電價制度(即尖、離峰用電有價差),將鎖定智慧電表用戶進行試驗,由用戶選擇使用哪套時間電價,希望能在2015年先建立1套家戶時間電價制度。......時間電價是否落實可能會影響智慧電表推動速度,需先建立使用時間電價的誘因,一旦用戶覺得有利時才會選擇。......當尖、離峰價差越大,時間電價效果越顯著,預計未來兩者價差約2至3倍。

2012年12月28日 星期五

分析領域的2012年度代表名詞:Big Data

最近幾年到了年尾的時候,電視上都會出現年度代表字的新聞。以Analytics這個領域而言,2012的代表名詞顯然非「Big Data」莫屬。這個名詞雖然不是在2012年第一次出現,卻在這一年一下子就變得大紅大紫。上圖是Google Trends提供的搜尋趨勢,可以看到網路上搜尋 "Big Data" 的熱門度在2012年就有明顯的三級跳(這不單是個慣用語而已,是真的有三級),所以今年的最後一則也就用這個時髦名詞做ending。

由於失業率連年攀升,而我的年紀也越來越大,所以我持續關注著Big Data的發展,希望它可以變成我未來的長期飯票。到目前為止,我個人認為Big Data仍然停留在資訊大廠和顧問公司的炒作(也就是英文的"hype"這個字)階段,然而我也很怕我的判斷失準。況且我對常常聽到的相關技術名詞Hadoop、MapReduce都是「只聞其名,不知其詳」,工作上也一直沒有機會接觸到實際的Big Data與應用,因此難免會擔心自己是否跟不上這一股潮流。

老東家Teradata的Bill Franks寫了一本名為《Taming the Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics》的書,成為Wiley and SAS商業系列書籍的2012新作之一,我在11月買到了這本書。儘管Teradata和SAS都是推動Big Data的資訊大廠,這本書對Big Data的看法卻相當務實,讓我有些意外,不過也驗證了我的看法。

2012年12月19日 星期三

Analytic Blog Posts

上一篇提到《Taming The Big Data Tidal Wave》作者Bill Franks指出資料分析工作人應該具備「創意」這項特質,而我認為看看別人如何運用資料分析是個激發更多創意的好方法。可惜國內很少有這樣的發表,所以只好多看看國外(尤其是美國)的案例了。以下是最近國外部落格上的相關文章:
  • 大家應該都知道歐巴馬打贏這次的總統大選,但是知道他的選舉戰法也應用Big Data的人就不多了吧。"Big Data" Lessons from Obama's Playbook告訴大家歐巴馬的選舉團隊是如何運用Big Data的。
  • 加州大學柏克萊分校這學期開了一門課叫做Analyzing Big Data with Twitter,請到Twitter的高階主管和工程師來課堂上分享,這也只有在美國(或許得更明確的說,在美國的加州)才有辦法做到。Twitter Takes Big Data To School做了相關的報導,更酷的是還提供了課堂錄影的連結。
今天就提供以上這兩篇。

2012年12月16日 星期日

不要把「人」忘了(二)

我在前一篇的最末段,提到了《Taming The Big Data Tidal Wave: Finding Opportunities in Huge Data Streams with Advanced Analytics》這本書,作者Bill Franks目前任職於Teradata,並負責Teradata與SAS合作成立的Business Analytic Innovation Center。Teradata和SAS都是我的老東家,但我保證這篇文章沒有廣告的嫌疑,請各位放心繼續讀下去!

雖然這本書的書名用了Big Data這個很夯的名詞,作者在談論資料分析人才的第8章「What Makes a Great Analytic Professional?」,卻沒有應景的以Data Scientist這個時髦的名詞來稱呼從事資料分析工作的專業人士,而是用比較平鋪直敘的Analytic Professional。而且作者一開始就點出,最常見的兩項徵才條件:「數理、統計、資訊科系碩士以上學位」、「程式設計經驗」,其實沒有抓到重點,如果人資部門在選才時都在技術能力和學歷上打轉,恐怕會見樹不見林。作者以他自己的經驗指出,假如以企業在徵求資料分析人才時常用的條件作為標準,他認識的優秀人才幾乎都有一兩項不合格。

2012年12月12日 星期三

不要把「人」忘了(一)

國內報章雜誌寫到有關Big Data(或是過去的資料分析)時,幾乎都著重在技術面和美好遠大的理想上,很少提到「人」的問題。只是不管Big Data的應用有多廣泛,分析工具有多強大,還是要靠「人」來解讀與應用分析的結果。也因為國內文章少有觸及,所以我也就借用國外的資源跟大家分享這個議題。

前幾天在IQ Workforce Blog上看到一篇今年7月的舊文章,題為「Five Observations About Recruiting Big Data Professionals」。據我所知,IQ Workforce是一家專注在資料分析領域的獵人頭公司,所以對於「人」的觀察應該有一定的水準。