版主新作《空襲福爾摩沙：二戰盟軍飛機攻擊台灣紀實》上市！

各位應該早已發現，這個部落格從去年年底到現在才再度更新。在這過去的八個月裡，我除了在專業工作上進行了三個顧客分析專案，下班時間幾乎都花在這本《空襲福爾摩沙：二戰盟軍飛機攻擊台灣紀實》的寫作上，所以無暇顧及這個部落格的維護。在此向各位致歉！好消息是這本書終於在第二次世界大戰結束七十週年之際順利出版上市（好啦，坦白說有 delay 了十天），所以在此老王賣瓜一下，希望大家踴躍訂購。

也許您會問，這本書跟這個以資料分析為主題的部落格有什麼關係呢？信不信由你，真的有關係！我在《空襲福爾摩沙》的【後記】裡寫著：

　‧‧‧我在研究所讀的科系是電機工程系，開始上班謀生後，卻都從事資料分析的職業，早期這類工作稱為資料採礦（Data Mining），最近幾年則號稱是大數據（Big Data）分析。我在工作上經常需要幫企業分析會員的消費行為資料，經過複雜的處理與運算，然後解讀這些由數字構成的分析結果，再用語言文字將各種不同會員客群的樣貌描繪出來。從這角度來看，寫這本書跟我的專業工作十分類似，因為這個過程就像是軍事史的資料採礦或大數據分析。只不過分析企業的資料庫有功能強大的人工智慧軟體可用，整理這本書所用的紙上資料庫僅能依靠我自己的工人智慧。‧‧‧

所以不管您對台灣的歷史還是資料分析有興趣，都歡迎透過 webmaster@taiwanairpower.org 向我訂購。本書原價400元，優惠價75折300元（另加國內郵資60元），訂購時請告知告知姓名、郵遞區號、地址、連絡電話、數量，如果需要作者簽名也請一併告知需求樣式，謝謝！

如欲進一步了解本書的內容，可參考我的另一個部落格 TaiwanAirBlog。

都是 Big Data 惹的禍？

2012年6月【Cheers雜誌】訪問我的時候，提到我透過《發現我的天才──打開34個天賦禮物》這本書，「確認了分析資料、歸納趨勢類的工作遠比整天對著電路板更適合自已」。我是在2003年的時候面臨職場跑道的抉擇，正好在書店看到了這本書（我認為這根本就是上天故意製造的機會），馬上買回家作了測驗。其實這本書的原名是《Now, Discover Your Strengths》，中文版的出版社可能是為了銷路而把 Strengths 這個字翻譯成「天才」，但我認為「特質」應該比較貼近這些評估出來的結果。根據測驗的結果，我的五項主要特質如下（這個測驗只會提供五項）：

• Deliberative - one who proceeds with caution, seeking to always have a plan and know all of the details
• Input - one who is constantly collecting information or objects for future use
• Intellection - one who enjoys thinking and thought-provoking conversation often for its own sake, and also can data compress complex concepts into simplified models
• Discipline - one who seeks to make sense of the world by imposition of order
• Analytical - one who requires data and/or proof to make sense of their circumstances

從賭桌上贏不到的東西

我下榻的旅館就是俗稱水舞飯店的Bellagio

上個月去了一趟美國的賭城拉斯維加斯（Las Vegas），參加 Analytics 2014 Conference 。幾乎每個知道我去那裡的親友都問我有沒有去賭一下，但我的答案是個非常掃興的「沒有」。因為以前在美國念書的時候就去過兩次大西洋城（一次是跟朋友去，第二次是陪爸媽去，不是我好賭），而且我也知道賭客在美國賭場裡贏錢的期望值是負的（吃角子老虎的賠率是根據政府規定去設定的，我可沒有花大錢在那裡實踐資料分析鼓吹的 Test & Learn）。這次去賭城真的是開了眼界，吃了昂貴又平凡無奇的 Bacchanal Buffet，看了太陽劇團的《KA》，搭了最後感覺像公車的加長型禮車（limousine），還坐上直升機遊大峽谷。這的確是個值得一遊的城市，因為它有相當多的內容；然而它卻是個不值得來第二次的城市，因為它真的沒什麼內涵。

當然，我不是在經營一個美食部落格，吃喝玩樂的資訊應該也不是你來瀏覽的目的，就讓我來說說一些從賭桌上贏不到的東西吧。

在兩天的 conference 裡，我發現會場裡有很多頭已禿、僅剩的頭髮也已花白的美國人非常熱烈的參與極為深入的討論，他們顯然都是還在實際動手作分析的人。我知道其中有幾位是大學教授，但並非全部是教授。這跟我在台灣觀察到的現象差異很大：在台灣的類似會場裡，這般年紀的人除了學校教授之外，幾乎都是不會動手的高階主管，也不會去提什麼深入的技術內容。對於這種現象，我的推論之一，是資料分析在美國發展的最早，所以才會有這麼多老資格的人。

D2A

"Action. Action. Action."

我是電機系出身的，在學校的時候學過 D2A converter （但現在全還給學校了），也就是 Digital-to-Analog converter 的縮寫。只是這篇文章不談如何把數位訊號轉換成類比訊號，標題的 D2A 是指 Data to Action ，因為資料分析的最終目的是讓我們決定採取（或決定不採取）行動。

我在十年前幫客戶建分群模型時，不時被客戶 challenge 說他們要的是 actionable segments。所以在說明分群結果時，我們非常重視是否真的 actionable。沒想到十年過去，我還在協助（其他的）客戶建分群模型。我用 k-means clustering 這個廣泛運用的演算法來說明建置顧客分群模型過程中要注意的事項，但是這回客戶 challenge 我的不是如何證明結果是不是 actionable ，而是質疑我為什麼還用這麼「古老」的演算法？為什麼不用新發展出來、可以自動算出「最佳」分群數的 clustering 演算法？

變來變去變變變

樹葉每年都會變色
（攝於威斯康辛大學麥迪遜校區）

看過我的履歷或是知道我工作經驗的人，多半會對我變換雇主的次數感到訝異。沒錯，我變換工作的次數不少，但這只是我的履歷能夠顯示出來的部份。從履歷看不出來的，是我這些工作的雇主其實大多也在改變，而我的改變幾乎都是為了不變。

聽起來像繞口令？且讓我說明：近十年來，儘管我從雇主A換到雇主B，或是從甲方變成乙方，又變成甲方，我從事的職務都是顧客資料分析（Customer Analytics），一直沒有變過。所以嚴格說起來，我只有換雇主，沒有換工作。我之所以要改變雇主，通常是他們在我受雇的期間對顧客資料分析的看法、態度有了改變，導致我的工作主軸也起了變化。而我為了要能繼續在顧客資料分析這方面發揮，在確定無法讓我的雇主有所轉變後，就只好把他們換掉。

化整「為零」

我的公司在月初辦了一場有關 Big Data 的大型活動，我擔任了其中一個 session 的主講，跟與會者分享零售業的巨量資料應用。在講題裡置入「巨量資料」之名只是奉公司之命，當天我的基調依然是不要太迷信這個名詞（如果您看過我這個部落格的其它文章，就可以了解為什麼），而應該先把公司既有的資料運用到極致。受到法律與規定的限制，我無法在此提供當天的投影片，不過這可能反而是個好處，畢竟投影片是用來 present 的，不是拿來閱讀的。以下我就透過文字和連結，分享那天我報告的大部分內容。

跟金融業與電信業比起來，零售業在運用資料分析來協助企業的決策上是相對較遲的（但不可否認零售業裡有少數在這方面的先驅）。根據《經濟學人》智庫 Economist Intelligence Unit 在 2013 年所做的研究報告 "The Data Storm - Retail and the Big Data Revolution"，高達 50% 受訪的零售業者表示，他們在面對這一波 Big Data 的浪潮時，不知道如何辨別哪些才是有用的資料（見報告的第 21 頁）。儘管許多資訊業者不斷強調 Big Data 的三個 V （Volume, Velocity, Variety），甚至還加上第四個 V （Value），事實上只要跟企業所要解決的議題無關的資料對這個企業來說就沒有價值，也就不需要去擔心這些資料的產量、速度、種類有多驚人。

顧問顧門口

之前我在飛利浦工作時，有位同事說話風趣又有哲理，我從他那邊學到好些名言，即使過了這麼多年也還記得。例如對於規劃這件事，他說「規劃規劃，紙上畫畫，牆上掛掛」；關於年度的績效計畫與考核，他認為其實就是「說你所做，做你所說」。他還說顧問就是顧門口，不僅是因為顧問這兩個字直立書寫就像顧門口，另外還有揶揄的弦外之音。

那時候的我根本沒想過有一天我也會掛上顧問的職稱，而且還真的當過顧門口的顧問：前一陣子某個專案的客戶把我的座位安排在他們副總辦公室正前方的位置，因為這是一般員工最不想坐的地方，只有我這個「外人」不受影響。有時副總秘書離開一下，來找她的人順理成章就把我當作代理人，我也就變成顧副總辦公室門口的顧問了。

說笑歸說笑，我自己對顧問的定義是「協助顧客解決問題的人」。牢記這個原則對我們這些資料分析顧問至為重要，因為我們執行的專案雖然是以分析出結果為目的，然而對客戶的企業來說，資料分析本身卻非最後的目的，而是希望透過資料分析這項任務來解決他們在行銷或業務上的問題。

問題就在於客戶自己可能並不清楚他們想用分析來解決的問題是什麼，這種現象在 Big Data 被強力炒作的情況下更為常見。例如：

• 之前為某家大型金融機構執行顧客分群專案，我在需求訪談時向發起這個專案的單位詢問他們公司想作分群的目的是什麼，結果竟然沒有答案。
• 另一家公司要我們建行銷活動回應預測模型，但專案開始後才發現，他們的電銷單位為了達到倍增的業績目標所採取的策略是大幅提高外撥名單的量，而他們現有的會員人數要應付這樣的名單需求量已經有點勉強，強調精準的回應預測模型只會大砍名單人數，並不適合用在這裡。
• 另外有個知名連鎖零售通路問我們公司的解決方案能否做顧客分群和 RFM 分析，但是他們的交易記錄都是不記名的，而且近期也看不到有建立會員制的打算，所以我也不知道為什麼他們要做這些分析。

見樹不見林

資料分析在相關學者、有應用經驗的企業、系統和服務廠商的大力鼓吹之下，越來越受到業界的重視，這當然是個好現象（尤其對我的工作機會而言）。然而最近我也看到了意想不到的不良後果，就是有些企業以為只要導入資料分析就可以生意興隆、萬事如意，因此把重點放在分析的工具和產出的模型上，反而見樹不見林。

資料分析是一種任務（task），我們透過執行任務來解決問題、達到目的。所以在企業裡，資料分析應該是某個業務問題的解決對策中的一部分，我們是因為這項對策必須用到資料分析才去執行資料分析這個任務。我用以下幾個假想的案例來說明：

• 業務問題：型錄的回應率一直平平，顧客反應說型錄千篇一律、所以沒有特別想要翻閱的動機。解決對策：利用購買各類商品的行為將顧客分群，根據各群顧客不同的需求製作不同內容的型錄，提供獨特的價值主張。
• 業務問題：會員行銷處的年度預算被刪減了20%，要如何更有效率的運用這筆預算？解決對策：根據RFM變數把會員區分為不同價值與關係的分群，挑選重點客群制訂會員溝通策略，最差的一群會員暫不作溝通。
• 業務問題：型錄的預算大幅刪減，無法寄給每一位會員人，要寄給哪些會員才可以提高ROI？解決對策：利用以往的型錄回應資料建置預測模型，未來型錄只寄給模型分數較高的會員。
• 業務問題：公司每個檔期都有五種不同類型的型錄，要如何挑選其中最適當的一本寄給會員？解決對策：對五種型錄建置五個回應預測模型，從每位會員的五個分數中選擇最高分對應的型錄來郵寄。

2013年分析領域代表名詞

有一則故事在講吹破肚皮的青蛙，
不知道 Big Data 是否也會跟這隻青蛙一樣？

2012年底，我寫了一篇《分析領域的2012年度代表名詞： Big Data》。轉眼之間，一年過去了，如果要我再選出分析領域在2013年的年度代表名詞，我還是會圈選 Big Data ，因為這個名詞在過去的這一年真是被渲染和消費到了極點！尤其是相關的 IT 系統與軟體業者（很抱歉，本山人也在這類行業裡工作），更是言必稱 Big Data。

然而跟十年前的那股 CRM 熱潮（其實也是 IT 業者炒起來的）比起來，我認為現在的用戶端冷靜多了，不像當時那樣瘋狂的擁抱 CRM。在我接觸的企業客戶中，只有一家公司認為 Big Data 重要到必須列為立即發展與投入的目標（不過根據我的觀察，這是因為他們應用資料分析的經驗不足而導致對 Big Data 認識不清，他們其實還要經歷一段漫長的路途才有可能走到 Big Data）。這種現象有可能是因為景氣仍差，企業緊縮內部投資所致；也有可能是大部分的企業已經有應用資料分析的經驗，因而能夠認清 Big Data 其實還無法馬上為企業帶來可見的金錢利益。

（在繼續閱讀下去之前，先回想一下 Big Data 的三個 V ：Volume「大」、Velocity「快」、Variety「雜」）

Amazon.com 難得也有出錯的時候

上圖是我今天收到 Amazon.com 寄給我的行銷 Email（點選可放大），雖然 Amazon.com 精準的計算出這些都是我有興趣的書，但卻忘了排除我已經跟他們買過的第二本《Show Me the Numbers: Designing Tables and Graphs to Enlighten》和第四本《Taming The Big Data Tidal Wave》。尤其第二本是我上個月才下單買的，而且也是因為我買了第二本才 trigger 他們發這封行銷資訊給我的，所以算是被我抓到一個小小的 bug 吧！

如果無心改進，垃圾永遠是垃圾

自從我在今年8月貼出《高成本的低成本行銷溝通管道》這一帖後，那幾家被點名的國內知名企業寄給我的 Email 行銷訊息持續出現在我的垃圾郵件桶（Spam）裡。其實我一點都不寄望它們會有「翻身」到 Inbox 的機會，我只是納悶：當 Gmail 今年5月在 Inbox 增加了 Promotions 這個 tab 後，美國的 Email Marketing 服務業者馬上就構思反應之道。我們國內這些大企業的行銷部怎麼仍如此淡定，不會要想辦法「反制」Gmail 和 Yahoo! 嗎？

今天在電子報裡看到《10 Best Bets for Avoiding the Spam Filter》這篇文章，內容綜合美國幾家 Email Marketing 服務業者的意見，列舉了10種避免 Email 被判別為垃圾郵件的小撇步，在此轉介給有興趣的人士參考。

Data Art

前兩天在一個部落格看到 Data Artist 這個名詞，作者把 Data Artist 描述成運用資料和分析工具作為顏料和畫筆的藝術家，這樣的比喻著實讓我眼睛一亮，但是有沒有比較明確的定義呢？這篇文章說：

A data artist is responsible for delivering fresh insights from data to help an organization meet its goals. This is the person who takes the output from decision-support systems and turns it into consumable theories, postulates and hypotheses that can be tested and applied to the business.

跟前面那個譬喻比起來，這段定義的文字反而有點 anticlimax ，因為這不就跟 Data Scientist 沒什麼兩樣了嗎？ Google 一下就可以發現 IBM 對 Data Scientist 的描述跟上面差不多：

What sets the data scientist apart is strong business acumen, coupled with the ability to communicate findings to both business and IT leaders in a way that can influence how an organization approaches a business challenge. 

所以上面提到的 Data Artist 看來只是作者自己發明的新名詞，並非一個新的 profession。（失望中）

我在兩年前寫的《Are You a Data Scientist?》敘述了 Data Scientist 必備的一些技能，除了 Data Munging 、 Data Modeling 這兩項傳統上認為是比較偏向 Science ，另一項 Data Visualization 就顯得「軟性」些，應該可以算是 Art 了吧。只是當時我對此似懂非懂，沒有一套理論。最近入手一本《Show Me the Numbers: Designing Tables and Graphs to Enlighten, Second Edition》（Stephen Few, Analytics Press, 2012），驚為天人，原來不是會用 Microsoft Excel 就代表會製作圖表。

數字不會說話；人，才會說話

昨天在家裡訂的《國語日報》上看到一則關於國道計程收費的新聞，內容基本上跟中央通訊社網站發布的【國道計程　75%車日省45元】這一則相同（其他新聞媒體也有類似的敘述）：

（中央社記者汪淑芬台北2日電）交通部國道計程費率最終版今天定案。高速公路局估計，計程上路後，與現在計次相比，約3/4車輛平均每天可省新台幣45元。‧‧‧‧‧‧

我想交通部公布這個省錢數字的用意，是要讓大家相信新的計費方式很優惠，以便獲得大眾的支持。我剛看到這新聞的時候，也的確有這種省錢的感覺，只是我的感性不到幾秒鐘就被理性壓制住了。

新聞說3/4的車輛可以省錢，那麼我的車究竟屬不屬於這3/4？假設我真是這幸運的3/4裡的一員，我一個月跑高速公路頂多兩次，也會平均每天省45元嗎？（當然不會）

有效還是沒效？

電視的藥品廣告經常在最後加上一句「有效！」的台詞（而且還要用台語發音）。現代的藥品在上市前都要經過實驗和審核的過程，所以應該都是有效的，那些吃了沒效的狀況多半是沒有對症下藥。行銷人其實也會用「藥」，這些「藥」往往含有DM、型錄、簡訊、EDM、或廣告的成分，景氣好或買氣高的時期可能用得較少，遇到景氣變差、消費低迷、業績下滑、會員流失這些重症時就用得很兇。只不過行銷人常用的這些「藥」不像真正的藥品有公正單位的審查驗證，所以它們到底有效還是沒效？

高成本的低成本行銷溝通管道

左圖是我Yahoo!信箱的垃圾郵件桶（Spam）的內容，用滑鼠點選放大後可以看到不少國內知名企業寄給我的郵件被Yahoo!自動歸類為垃圾郵件。如果我沒有特別打開Spam信箱來檢查，我就不會看到他們給我的行銷訊息。

以往免費Email信箱的業者對付垃圾郵件的機制比較簡單，例如檢查標題或內文裡是否出現垃圾郵件經常使用的keyword。但是道高一尺、魔高一丈，如果這些keyword改用不一樣的拼法（例如把英文小寫的L改成阿拉伯數字的1），可能就成為漏網之魚。不過現在像Yahoo!或GMail等業者使用的過濾機制早就超越這種簡單的rule-based方式（當然是拜分析之賜），所以上圖出現的國內知名企業寄給我的Email雖然被Yahoo!當成我的垃圾郵件，別的顧客卻仍有可能在他們的Yahoo! Inbox看到這些行銷訊息。

From A (Analytics) to A+ (Aligned Actions)

德國柯隆大教堂的兩座尖塔像不像A+ ?

之前幫一家金融機構建了一個所謂的預測模型，用來評估靜止戶起死回生（reactivate，中文怎麼翻比較傳神？）的傾向高低。剛好我也名列他們的靜止戶，還好模型做出來我的傾向分數在前20%，要不然就有點糗了。

不過根據這家公司對我的說明，他們定期都會產出靜止戶的名單，交給客服人員撥打聯繫。他們查了我的資料，發現也都在聯繫的名單內，奇怪的是為什麼我從來沒有接過這樣的電話？

原來我在聯繫名單的電話號碼是我十多年前在飛利浦的公司電話，難怪他們的客服人員一直找不到我（所以我有理由當了這麼多年的靜止戶，嘿嘿）。問題是我雖然很久沒有跟這家金融機構有過金錢上的交易，我在近年來其實註冊加入了他們的網站會員，除了留下Email，我還登記了手機號碼。我的信箱三不五時都會出現他們發的電子報，卻從未接過客服人員的電話，到底是為什麼？

一切都是區隔

也許您已經發現，我很少在這個部落格談到技術面的事。一般講資料分析或Data Mining的書不是都用許多篇幅介紹Data Transformation、Clustering、Decision Tree、Regression、Association這些技術嗎？為什麼我幾乎不曾在這裡提到Lift、Odds Ratio、Confidence、R-square這些資料分析常見的名詞呢？其實這只是我為這個部落格作區隔（Segmentation）的結果，希望它跟其他以技術為主的部落格可以有所差異，訴求的讀者對象也不同。而Segmentation也是這一篇的主軸（包括旁邊這張照片，看得出來嗎？）。

首先介紹Konstantinos Tsiptsis和Antonios Chorianopoulos兩位所寫的Data Mining Techniques in CRM: Inside Customer Segmentation (Wiley 2010)。其實這本書有許多章節是在講技術（Techniques），跟我的部落格走向不太一樣。但是它提供了不少Segmentation專案的案例，包括銀行、電信、零售三種產業，而且它在講每個案例的一開始都會說明這個專案所要解決或達到的業務問題或目的是什麼，甚至還包括後續應用的構想（嚴格說起來，這是目的的一部分），這是這本書跟其他以技術為主的Data Mining書籍最不一樣的地方（換句話說，它成功的把自己跟其他Data Mining書籍區隔開來）。在我看過的Data Mining技術性書籍中，業務問題或目的不是完全被忽略，就是簡單一兩句話帶過。影響所及，是以模型作為思考的起點，或是為了建置模型而建，結果就是模型完成之後難以應用。

等一等，不要急著建模型！

在充分了解企業想透過分析來回答的問題後，也還不到一頭就栽進模型的時候。因為一樣的問題，回答的方式通常不只一種，所以運用資料分析的手法也不會一樣。棘手的是並沒有所謂的標準模式可以放諸四海皆準，我個人認為比較好的方法是先思考企業未來可能會如何應用分析的結果。這好比要在紙上畫一條直線，之前提到的了解問題就是直線的起點，應用分析的結果則像是終點，唯有先確認終點的位置，畫出的直線才不會偏誤。

說起來似乎很抽象，因此我用一個實際（但已被我大幅修飾與偽裝）的案例來說明。

有一家大型的通路事業群，旗下有兩個不同品牌的連鎖通路：一個是走超級市場路線的「好食在」，一個是專賣家電與3C的「好家在」，其中「好食在」成立較久，分店數也較多。這兩個通路品牌各自擁有自己的行銷團隊，行銷檔期也不同，但會員卡是共同的「卡好卡」，會員在兩家通路都可以持卡累積消費點數。由於「好食在」的歷史久、分店多，到「好食在」消費的會員遠多於「好家在」，因此這個事業群新上任的行銷總監希望「好食在」的行銷團隊能把會員導到「好家在」消費。另一方面，「好家在」因為銷售3C與家電，會員的客單價都遠高於超級市場型態的「好食在」，所以這個事業群也想辦法讓「好食在」多吸收一些過去只在「好家在」消費的會員。

笨蛋，問題在問題！ Part 3

雖然前面兩篇提到的都是我在工作上遇到的實際狀況，但這不代表只有我自己一個人認為深入了解Business Problem是最優先的步驟。舉例來說，CRISP-DM這個Data Mining流程模式在1990年代誕生的時候，第一個步驟就是Business Understanding：

This initial phase focuses on understanding the project objectives and requirements from a business perspective, then converting this knowledge into a data mining problem definition and a preliminary plan designed to achieve the objectives.

到了2012年，Jean Paul Isson和Jesse S. Harriott寫的《Win With Advanced Business Analytics》這本書，也是把Business Challenges放在他們提出的BASP（Business Analytics Sucess Pillars）架構的第一位：

... a crucial step of any business analytics implementation requires clear understanding of organizational objectives, or "business challenges," to ensure that any solution is aligned with, and addresses, the company's biggest or most pressing needs.

那麼為什麼人們還是常常輕忽了這個重要的步驟，直接就討論要建置什麼模型呢？我觀察到一個現象，也許跟這種狀況有關。

笨蛋，問題在問題！ Part 2

我自己親身經歷過幾個案例，讓我歸納出所謂「不知道問題是什麼」其實可以從想做分析的企業（Client）和提供分析服務的廠商（Vendor）這兩種角度來看。企業會想要請外面的廠商提供Analytics的服務，通常就是因為本身對Analytics不是非常了解或是內部沒有專精這方面的人才，也往往因為不了解，所以誤以為Analytics服務跟套裝軟體一樣，只要買進來就可以直接套用。尤其是在台灣提供分析服務的廠商大部分本身也是資訊軟體廠商，更可能讓企業加深了這樣的誤解。

也由於台灣的分析服務廠商多半是資訊業者，旗下的顧問不見得每個都在Client的產業待過，雖然具有高深的統計分析能力，卻不一定了解這些產業在行銷或業務上的實際問題。所以Client的運氣有點重要，如果遇到缺乏產業經驗的顧問，往往就只是提供制式的模型建議，沒有辦法引導Client提出問題，當然就很難針對這些問題提出量身訂製的解決方式。