產品經理數據入門(上)
深入淺出帶設計師了解數據大小事
「數據」看似與設計師無關，然能了解數據的重要性並懂得如何借力使力優化產品，已經默默成為目前設計師追求卓越不可或缺的技能之一。且數據除了量化資料如GA外，還包含質性資料如問卷調查與易用性測試等等，這些則是設計師們熟悉的研究手法。
本篇為自身想要理解數據，Google網路資料整理出來的入門文章。若你也對數據抱持濃厚的興趣但完全是個數據小白，或未來可能轉彎成為產品經理，歡迎參考這篇入門文章 😃😃😃
前言
處在數據驅動(Data Driven)的時代，數據環繞著我們的世界以及日常工作中的所有細節，產品經理每天都需要透過不同面向的數據資料來做商業及產品決策。如何利用「數據」來提升競爭力是現今 PM 不可或缺的能力，以幫助公司決策營運與產品方向、行銷營運等等。
此外，身為產品經理也許常需面對這種情境-如利害關係人突然想改產品 Road map。若手上能握有數據，便能讓決策有因果可循，更具說服力以說服上下階層，而不再是心中隱約的直覺與未經驗證的揣測。
由於數據知識領域既深又廣，因此這篇將著重於介紹數據思維的重要性與數據驅動產品設計的入門知識，並以內外應用案例輔助說明數據如何幫助產品決策與行動推展。本篇不會帶到過深的理論與技術細節，大綱如下：
大綱
1.產品經理為何需要具有數據思維 (Why you need data?)
2.數據驅動(Data-driven)的產品開發流程
2.1 定義問題與目標
2.2 設定假說與衡量指標
2.3 收集數據-量化資料與質性資料
2.4 依據分析結果構思解決方案並迭代
3.別讓數據成為你的絆腳石-留意數據誤區
4.參考資料與連結1. 產品經理為何需要具有數據思維 (Why you need data?)
創造一個能讓使用者滿意的產品並不容易，尤其大多時候紙上談兵所得出的功能並不見得與現實相符。因此，才會有數據驅動設計的導入。
數據驅動設計可以被廣泛地定義為「使用數據(Data)輔助設計，以協助更加了解產品受眾」。依據數據做決策可以協助減少直覺帶來的偏誤、設定合理的目標、排序優先級，並作出更符合經濟效益的解決方案。
數據驅動設計的好處
麻省理工數位商業中心的研究發現，以數據為基礎做決策的組織相較之下會多出 4% 的生產率和 6% 的利潤。另外也有其他例子顯示數據導向設計能夠為組織提升投資報酬率，例如在 2014 年，維珍航空使用 A/B 測試(註1)重新設計了一個新的 RWD 網站，使他們增加了 14% 的轉換率(註2)，減少 20% 的客服電話，並且不分裝置客戶能夠在最短時間內完成兩次訂單。其他知名的公司如AirBnB、Walmart、Facebook等也不乏以數據為導向設計自家產品的案例。
不只是 2C 的公司針對市場顧客面向的產品使用數據導向概念而已，也有公司對組織內部系統導入此概念，如 Skyscanner 也利用 A/B 測試內部員工所使用的地理資訊 API、資料平台及實驗平台等。
從以上的各種例子我們可以看出，以數據驅動的決策管理可以幫助團隊更加了解使用者，做出正確的決定，而不是僅靠直覺的猜測。此外，也能夠透過數據設定合理的目標，排序任務優先級來協助管理團隊，增加與利益關係者的溝通效率。
註釋
1.A/B 測試：運用統計學的假設檢定來測試同一變量在不同版本下對於產品的反應差異，藉以判斷版本的優劣。
2.轉換率（conversion rate）：當訪客進入網站時，最終實際完成目標行動的百分比。
2. 數據驅動的產品開發流程
▌什麼是數據驅動產品設計
數據驅動設計可以被廣泛地定義為「使用數據來輔助產品設計以利於更加了解產品受眾」。產品開發事實上是一個持續迭代的過程，沒有產品是在第一次釋出後就能一次到位的，而這也使得每次的迭代過程中團隊互相合作解決問題的能力更顯重要。
數據驅動與傳統的產品開發流程不同之處就在於，透過引入數據分析客觀地支援產品設計，而團隊在平常合作時就能夠使用數據指標做為彼此溝通工作的標準，避免單方面的認知與模糊不清的灰色地帶，從而提升現有團隊工作效率。
▌數據驅動產品設計流程
所謂的數據驅動產品流程總共包含以下四個階段：
1.定義問題與目標
2.設定假說與衡量指標
3.搜集數據
4.依據分析結果構思解決方案並迭代
本篇之後的章節將會依據這個流程順序，逐一說明在各個階段中需要完成哪些任務，以及應該注意哪些細節。
2.1 定義問題與目標
數據驅動設計並非一股腦的開始收集資料，也並非收集越多越好。過多的未整理資料只會混淆 PM 應該注意的焦點，並且其中也可能藏有錯誤、無意義的「垃圾資料」，更可能導致所謂「Garbage in, garbage out」的白工。數據驅動設計的起手式應是訂定好明確的問題或目標，才能進一步收集相關所需的數據。
需求與目標息息相關，而目標也會因為「產品所在階段的不同而產生差異。」以還未上線的新產品而言，其目標可能是吸引越多使用者越好；若是已釋出的產品，在將要歷經二次以上的迭代改版的情況下，目標就會依據觀察到的現象、使用者的意見回饋、或商業策略的轉換而有所改變。
▌產品上線前 ( 探索階段 或 設計階段)
在產品上線前，若不想花太多時間金錢成本的情況下，可以使用原型對用戶進行易用性測試 (Usability Testing) 取得質性資料，以對現有設計進行驗證。以立即發現並分析問題、提出修改建議，完成修改後再次評估新設計是否適合使用者。
以下為在此階段，通過質性資料數據研究能解答的幾個重要問題：
1.有哪些最重大的易用性問題讓用戶無法完成他們的使用目標或導致效率低下？
2.產品的哪些功能使用戶用起來感覺良好？哪些方面讓他們覺得沮喪？
3.用戶通常犯哪些最常見的失誤或錯誤？
4.產品在經過一輪設計評估迭代後是否有所改進？
5.產品上線後可能還存在什麼易用性問題？
▌產品發布後
產品發布後的目標為評估一個產品或功能與其目標結合得多好，這也可以用於對多款類似產品的競品研究。此階段關注於發現並改善產品問題或修正商業策略。通過產品上市後之數據研究可以回答下列問題：
1.我們是否滿足了這個項目的易用性要求？
2.我們產品的整體易用性如何？
3.我們產品與競爭對收的產品相比如何？
4.跟上一版已發佈的產品相比，新版產品是否有進步？
不論是產品上線前或上線後，都應需記住數據研究並非做一次就結束，產品經理需要觀察數據變化而有不同的目標與假設，持續進行產品的優化與迭代。
2.2 設定假說與衡量指標
在上個步驟，我們學會在不同的產品階段定義問題與目標。下一個階段我們則需要建立假說。
▌設定假說
此概念有點類似於自然實驗，一開始先發現問題但不確定導致的因素為何，因此提出假設並透過實驗驗證該原因是否為真。然而，怎麼樣的假設是好的假設？加州大學貝克斯菲爾德分校生物系有一篇關於如何定義假說的文章：
有效的假說是可經驗證並可能含有預測性質的陳述，假說在經過大量資料的驗證後則成為理論。
一個假說的陳述包含兩個部分：如果Ｘ狀況符合，那麼Ｙ結果就會發生。前者闡述原因，而後者則表達預測的結果，兩者為因果關係。
依據以上的定義，我們可以提出如下的假設：
1.如果紅色對使用者來說含有緊急的意味，那麼在系統上使用紅色的結帳按鈕就會增加轉換率。
2.如果使用者傾向一次看到較少的輸入框，那麼將表單分步驟呈現，使用者就會比較願意填寫表單。
▌設定衡量指標
確立好假說後，我們還需要設定「衡量指標」。所謂的指標指的是用來衡量產品與商業成功的量化指標。有了衡量指標，除了能客觀評估產品經理的績效外，還可以幫助溝通以減少討論過程中的模糊地帶。另外，依據產品業務類型不同，也有不同的產品指標。
內部產品 vs. 外部產品 (B2C, B2B)
在介紹常見的衡量指標前，讓我們先釐清企業內部產品與一般2C/2B對外產品的差異：
內部產品指的是面向公司內部員工(包含vendor)使用的產品，替公司內部員工解決工作、業務上需求，或是輔助內部員工解決客戶問題。根據目的常見的內部產品包括 ERPS、EPS、CRM等，也有其他用以支援公司 business-critical operations 的產品。以台積電來說，IT 所開發的大多是支援 fab 內維運、支援 RD 研發的系統或人力資產管理等系統，這些都屬於內部產品。
比起外部 2C/2B 產品，內部產品更加注重使用者彼此之間的工作流程互動，並且目標通常是減少開銷或人力成本。雖然內部產品的測試使用者比起外部產品要來得多，但卻也容易有人多嘴雜的缺點；另外也因為內部產品難以控制的變數過、多，包含工作流程、人員管理、組織政策等，致使其 KPI 無法精準定義。
綜上所述，由於目標和挑戰不同，理所當然外部產品與內部產品所採用的衡量指標也會有所差異。
▌常見的內部產品衡量指標
許多人認為使用者體驗無法被量化，然而易用性度量（Usability Metrics）就是其中一種可用來測量的工具。任務成功率、任務時間、滑鼠或鍵盤點擊次數、挫折或愉悅感的自我評估式數據都可以帶來有價值的見解。
根據產品使用情境與目的，使用者體驗度量主要考慮兩個方面：績效和滿意度，且兩者高度相關。
1. 績效
績效與用戶使用產品、與產品發生互動所做的所有工作有關。共有五種基本的衡量類型：
(1) 有效性/任務成功：使用者是否能達到預期的目的或完成任務(ex:能否完成註冊流程)。這可能是使用最廣的績效度量，測量的是使用者能在多大程度上有效地完成一系列既定的任務，也可以度量任務失敗的情況。常見指標如 Feature Abandonment Rate，是透過統計並比較所有功能在一定時間內的使用程度，來確保團隊能專注開發關聯度強並且優先度高的功能。
(2) 任務時間：測量需要多少時間才能完成任務(ex: 成功完成註冊所需時間)。常見指標如 Average Handling Time (AHT)，主要是用以追蹤使用者透過產品完成工作任務的時間。
(3) 錯誤率：反映了任務過程中所出現的失誤次數(ex: 註冊過程是否遭遇錯誤與或文案誤導)。錯誤率能有效反應部分讓人誤解與迷惑的介面。
(4) 效率：使用者達到預期目的或完成任務需要花多久時間? (ex: 需要填寫太多資料才能註冊，或完成任務的點擊按鈕次數)。為測量使用者完成任務所付出的努力程度評估，常見指標如 Customer Effort Score (CES)，原是用以衡量顧客忠誠度的指標，但也可用於評估內部產品上，象徵產品對於員工工作障礙的程度，分數越低代表內部產品越容易幫助使用者達成工作目標。
(5) 易學性：測量績效隨時間提高或未能提高。常見指標包含Customer Acquisition Cost/Effort (CAC/CAE)，意在衡量使用者學習使用產品時所需要花費的成本。
2.滿意度
滿意度包含很多方面，與使用者接觸/操作產品時所想和所說的一切有關，屬於自我報告式的衡量指標。例如使用者完成任務之整體流程感受是否符合預期?(ex:操作失誤導致資料消失而憤怒)
滿意度對那些相信評論的用戶來說是很重要的，對大多數網站、應用軟體和消費性產品尤其如此。常見的指標除了最基礎的 Customer Satisfaction Score (CSAT)，另外還有 Net Promoter Score (NPS)，同樣也是用以量化使用者對於產品體驗的感受程度。
▌與「績效」相關指標整理
1.Feature Abandonment Rate：比較所有功能在一定時間內的使用程度predicts business growth
2.Average Handling Time (AHT)：使用者透過產品完成工作任務的時間
3.Customer Effort Score (CES)：產品對於員工工作障礙的程度
4.Customer Acquisition Cost/Effort (CAC/CAE)：使用者學習使用產品時所需要花費的成本▌與「滿意度」相關指標整理
1.Customer Satisfaction Score (CSAT)：產品是否符合使用者期待的滿意程度
2.Net Promoter Score (NPS)：使用者的長期產品忠誠度
3. 其他指標框架
▌HEART Framework
有許多的衡量指標是針對較小規模的使用族群所設計，然而在面對大量且跨範圍的使用者族群時，又該如何去衡量呢?
Google 由於其公司組織橫跨國際的特性，率先面對此問題並提出了一套稱作 「HEART」 的 framework，透過五個面向的指標組合來描述整個產品或單一功能的表現：
(1) Happiness — 測量用戶態度
測量使用者對於產品的態度，通常是透過滿意度問卷調查得到，例如perceived ease of use 或 NPS。
(2) Engagement — 用戶參與度
測量使用者的參與程度，例如一周有多少使用者使用產品? 每天送出多少結單?
(3) Adoption — 從產品或是 feature 得到新用戶
測量產品的新使用者數量，或是使用新功能的百分比。
(4) Retention — 現有用戶的回訪率
舊使用者回流的比例，例如回購率、活躍的使用者數目等。
(5) Task Success — 效率、有效性以及錯誤率
與使用者能否成功完成任務有關，包含前述績效相關的指標。
▌GSM Process
你可以發現，事實上 HEART framework 包含了各式各樣不同範疇的指標做產品綜合評估。然而，又要怎麼決定該納入哪些指標追蹤參考呢?
前面我們提到，了解目標後才能開始選擇正確的度量，而接下來所要提的 GSM Process 便是以這個概念為基礎，一步一步引導 PM 找出重要的指標。GSM Process 一共包含了三個步驟，分別為 Goal、Signal、Metric：
(1) Goal: 從使用者流程中找出重要目標，例如讓用戶樂在其中，而且持續發現有趣的內容。
(2) Signal: 達成目標會出現的訊號，將抽象的目標轉化為可追蹤的訊號。以前面的範例目標來說，訊號則有可能是「用戶停留在內容上的時間」，時間越高代表用戶逗留越久，接觸到更多內容。
(3) Metric: 重新定義訊號將其量化變成指標，例如以「每人平均每日於內容所花費時間」對應至前述的例子。
根據 HEART Framework 的五個面相，結合上述所提 GSM Process 之步驟執行，我們可以綜合得出一個 HEART framework 的矩陣結果，確保制定出的指標最終都能與原本的目標相對應，也能夠再透過目標的優先度依序排出指標追蹤的優先程度。以下圖做為範例：
當產品處於不同的階段並持續演進時，目標也會隨之改變；當改變發生時，產品經理也應隨之更新 HEART Framework 矩陣的結果，如此才能保證目前所追蹤的指標能夠正確反映當前的產品目標。
接下來，在產品經理數據入門下篇，將介紹數據中的量化資料與質化資料，與兩者常見的收集方式。最後再透過案例分析說明如何將數據分析後的結果驅動產品設計進行優化與迭代。
▌本篇參考連結 ▌數據驅動的產品設計 Ref
1.5 Reasons Why Product Managers Have to Understand Data
2.Data-Driven Design: What It Is and Why It Matters
3.9 Mistakes to Avoid while creating an Internal Product
4.data-drive decision management (DDDM)
5.What is Data-Driven Product Design?
6.初嚐數據驅動的產品開發流程
7.Product Design 心法系列 — 何謂 Data-Driven Design
8.PM入門指南：產品優化方向的三個靈感來源！2C,2B產品 vs 對內產品 Ref
1.Data-driven Product Design for Internal Users
2.WTF is Internal Product產品指標 Ref
1.產品指標系列
2.Usability Metrics
3.用户体验度量之模型解析(簡)
4.Internal customer satisfaction: how to use surveys to measure and improve internal processes
5.Product Metrics for internal tools
6.CSAT How to Use the Customer Satisfaction Score (CSAT) Metric
7.CES What is Customer Effort Score (CES)?
8.How to run a customer satisfaction survey
9.HEART 產品指標設計 Google HEART framework 筆記
10.HEART Google UX HEART Framework: Project Management
