筆者正在由電商產(chǎn)品經(jīng)理轉(zhuǎn)型數(shù)據(jù)產(chǎn)品經(jīng)理,，為了提升自己學(xué)習(xí)的效率,，嘗試以這種輸出驅(qū)動(dòng)輸入的模式，將自己學(xué)習(xí)的思路和學(xué)習(xí)內(nèi)容分享給大家,，也希望可以與其他數(shù)據(jù)產(chǎn)品經(jīng)理多多交流,。

本文嘗試憑借筆者的理解構(gòu)建一套數(shù)據(jù)產(chǎn)品經(jīng)理能力模型，作為自己未來(lái)學(xué)習(xí)的方向,。本文共分四個(gè)部分,，第一部分，從招聘市場(chǎng)需求入手,，看市場(chǎng)上的招聘高級(jí)數(shù)據(jù)產(chǎn)品經(jīng)理都需要掌握哪些硬實(shí)力,；第二部分，結(jié)合一些數(shù)據(jù)產(chǎn)品經(jīng)理的分享,，梳理數(shù)據(jù)產(chǎn)品經(jīng)理的朋友圈,，因?yàn)闇贤ㄕ咭欢ǔ潭葲Q定了需要掌握多少“共通語(yǔ)言”；第三部分,，構(gòu)建數(shù)據(jù)產(chǎn)品經(jīng)理能力模型,，第四部分，詳解一些數(shù)據(jù)產(chǎn)品常常接觸的概念和系統(tǒng),。

筆者在拉勾網(wǎng)和獵聘網(wǎng)上搜索數(shù)據(jù)產(chǎn)品經(jīng)理和高級(jí)數(shù)據(jù)產(chǎn)品經(jīng)理,，將崗位職責(zé)匯總整理，招聘方對(duì)于數(shù)據(jù)產(chǎn)品經(jīng)理的需求如下所示：

• 熟練使用MySQL，SQL,、Hive等語(yǔ)言,；

• 熟悉數(shù)據(jù)生產(chǎn)加工流程；

• 對(duì)主流大數(shù)據(jù)產(chǎn)品,、BI產(chǎn)品,；

• 對(duì)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及理論有基本的了解，并對(duì)其發(fā)展趨勢(shì)有深入了解,；

• 了解數(shù)據(jù)分析,，數(shù)據(jù)建模和數(shù)據(jù)挖掘技術(shù)及理論；

• 能很好地掌握產(chǎn)品思路,、技術(shù)方案,、商務(wù)策略等，驅(qū)動(dòng)各角色解決問題 ,，具有良好的商業(yè)洞察與判斷,，很強(qiáng)的邏輯思維能力、產(chǎn)品策劃,、品牌包裝與宣傳能力,，對(duì)數(shù)據(jù)和業(yè)務(wù)敏感，有一定技術(shù)背景優(yōu)先考慮,。

從上面的企業(yè)招聘需求可以看出,，數(shù)據(jù)產(chǎn)品經(jīng)理除了需要具備一些普通產(chǎn)品經(jīng)理基礎(chǔ)能力外，對(duì)數(shù)據(jù)分析,，商業(yè)智能,，數(shù)據(jù)挖掘等技能有著非常高的專業(yè)門檻。雖然數(shù)據(jù)產(chǎn)品經(jīng)理也細(xì)分出應(yīng)用方向,，大數(shù)挖掘方向,，數(shù)據(jù)分析方向，但為了更加有效的共同,，還是有必要補(bǔ)全知識(shí)結(jié)構(gòu),。數(shù)據(jù)產(chǎn)品經(jīng)理多是數(shù)據(jù)分析師和數(shù)據(jù)開發(fā)通過內(nèi)部轉(zhuǎn)崗?fù)瓿傻模P者屬于電商產(chǎn)品轉(zhuǎn)應(yīng)用方向數(shù)據(jù)產(chǎn)品,，在發(fā)揮業(yè)務(wù)理解優(yōu)勢(shì)的同時(shí),，需要快速補(bǔ)全數(shù)據(jù)分析相關(guān)知識(shí)，便于與對(duì)接同事高效協(xié)作,。

曾經(jīng)分析過AI產(chǎn)品經(jīng)理模型,，也是從產(chǎn)品經(jīng)理的朋友圈說起，因?yàn)楫a(chǎn)品經(jīng)理很多時(shí)候承擔(dān)著協(xié)調(diào)推進(jìn)角色,，也承擔(dān)了部分”翻譯官“的覺,，將業(yè)務(wù)需求轉(zhuǎn)化成不同的語(yǔ)言表達(dá)，找老板要資源,，請(qǐng)開發(fā)寫代碼,，敘述清楚頁(yè)面設(shè)計(jì)要求，這個(gè)時(shí)候就需要產(chǎn)品掌握不同分科中的一些”黑話“,，讓對(duì)方感覺你是自己人,，數(shù)據(jù)產(chǎn)品經(jīng)理也是同樣的，我們來(lái)看看數(shù)據(jù)產(chǎn)品經(jīng)理的朋友圈,，也有助于進(jìn)一步理解數(shù)據(jù)產(chǎn)品能力模型,。

源于《阿里巴巴數(shù)據(jù)產(chǎn)品經(jīng)理工作(總結(jié)篇)》

數(shù)據(jù)產(chǎn)品經(jīng)理本質(zhì)是互聯(lián)網(wǎng)產(chǎn)品經(jīng)理的一個(gè)細(xì)分領(lǐng)域，其產(chǎn)品的用戶是公司內(nèi)部,，外部客戶等,，其目標(biāo)是通過數(shù)據(jù)分析和挖掘，輔助其發(fā)現(xiàn)問題,，提高決策準(zhǔn)確性,，而為了完成這類產(chǎn)品，我們不單要與傳統(tǒng)的開發(fā),，交互,，設(shè)計(jì)，用研,，客戶,，測(cè)試同學(xué)打交道，還需要與數(shù)據(jù)分析師,，數(shù)據(jù)科學(xué)家,，AI工程師，數(shù)據(jù)倉(cāng)庫(kù)管理員等同學(xué)溝通,，為了可以保證溝通中的效率,，我們需要清楚溝通時(shí)可能會(huì)涉及到哪些專業(yè)名詞，技術(shù)實(shí)現(xiàn)邊界,，行業(yè)發(fā)展情況,，競(jìng)品實(shí)現(xiàn)邏輯，筆者將嘗試在后續(xù)文章中梳理總結(jié),。

數(shù)據(jù)產(chǎn)品經(jīng)理是產(chǎn)品經(jīng)理崗位的一個(gè)細(xì)分領(lǐng)域,，其能力模型可以理解為一般產(chǎn)品經(jīng)理能力模型+專業(yè)能力補(bǔ)充模型。下圖是騰訊產(chǎn)品經(jīng)理能力模型體系,，清晰界定了不同等級(jí)產(chǎn)品經(jīng)理19個(gè)能力側(cè)重方向,，整體來(lái)看學(xué)習(xí)能力，執(zhí)行力,，溝通能力,，市場(chǎng)/用戶調(diào)研與分析是最核心能力。

以上19個(gè)基礎(chǔ)能力模型中，數(shù)據(jù)產(chǎn)品經(jīng)理在技術(shù)知識(shí)模塊和市場(chǎng)分析能力/前瞻性需要了解/熟悉/掌握如下知識(shí)和技能：

a. 計(jì)算機(jī)語(yǔ)言層面：熟練使用MySQL,，SQL,、Hive等語(yǔ)言；

b. 熟悉數(shù)據(jù)生產(chǎn)加工流程：數(shù)據(jù)采集,，數(shù)據(jù)預(yù)處理,，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)分析,，數(shù)據(jù)挖掘,，數(shù)據(jù)可視化，數(shù)據(jù)服務(wù)產(chǎn)品化,；

c. 需要了解的各類技術(shù)理論及發(fā)展趨勢(shì)

• 了解主流大數(shù)據(jù)產(chǎn)品及分布式大數(shù)據(jù)技術(shù),，如Hadoop(HDFS和MapReduce)，Hive等,；

• 了解主流大數(shù)據(jù)編程語(yǔ)言,，如python、R,、mongodb等,、

• 了解主流BI產(chǎn)品，如Tableau,、saiku,、kylin、BDP,、growingIO,、神策等、

• 了解數(shù)據(jù)倉(cāng)庫(kù)技術(shù)及理論,，并對(duì)其發(fā)展趨勢(shì)有深入了解,；

• 了解數(shù)據(jù)分析,，數(shù)據(jù)建模和數(shù)據(jù)挖掘技術(shù)及理論；

a. 可能接觸到的英文縮寫

數(shù)據(jù)倉(cāng)庫(kù) Data Warehouse

數(shù)據(jù)集市 Data Mart

數(shù)據(jù)挖掘 Data Mining

DBMS：Database Management System數(shù)據(jù)庫(kù)管理系統(tǒng)

DBA: Database Administrator數(shù)據(jù)庫(kù)管理員

RDBMS：Relational Database Management System關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)

OLAP:（On-Line Analytical Processing）聯(lián)機(jī)分析處理。OLAP是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用,，支持復(fù)雜的分析操作,，側(cè)重決策支持,，并且提供直觀易懂的查詢結(jié)果,。

OLTP:（On-Line Transaction Processing）聯(lián)機(jī)事務(wù)處理。OLTP是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)的主要應(yīng)用,，主要是基本的,、日常的事務(wù)處理，例如銀行交易,。

BI: Business Intelligence 商業(yè)智能

KDD：knowledge discovery in databases 數(shù)據(jù)庫(kù)知識(shí)發(fā)現(xiàn)

b. 數(shù)據(jù)分析,，數(shù)據(jù)建模和數(shù)據(jù)挖掘的定義和區(qū)別

數(shù)據(jù)分析:Analysis of data is a process of inspecting, cleansing, transforming, and modeling data with the goal of discovering useful information, suggesting conclusions, and supporting decision-making.[源于wikipedia]可以看出,，數(shù)據(jù)分析強(qiáng)調(diào)使用統(tǒng)計(jì)學(xué)方法，發(fā)現(xiàn)有用信息,，支持決策,，構(gòu)造建設(shè)性結(jié)論。

數(shù)據(jù)挖掘：Data mining is the computational process of discovering patterns in large data sets involving methods at the intersection of artificial intelligence, machine learning, statistics, and database systems. It is an interdisciplinary subfield of computer science. The overall goal of the data mining process is to extract information from a data set and transform it into an understandable structure for further use.[源于wikipedia]數(shù)據(jù)挖掘與大數(shù)據(jù)關(guān)聯(lián)性更加密切,，利用人工智能,，機(jī)器學(xué)習(xí)，統(tǒng)計(jì)學(xué)等知識(shí),，對(duì)于大型數(shù)據(jù)集進(jìn)行分析，發(fā)現(xiàn)規(guī)律,，預(yù)測(cè)未來(lái),，輔助決策。

數(shù)據(jù)建模:Data modeling is a process used to define and analyze data requirements needed to support the business processes within the scope of corresponding information systems in organizations. Therefore, the process of data modeling involves professional data modelers working closely with business stakeholders, as well as potential users of the information system.[源于wikipedia]數(shù)據(jù)建模是對(duì)現(xiàn)實(shí)世界各類數(shù)據(jù)的抽象組織,，確定數(shù)據(jù)庫(kù)需管轄的范圍,、數(shù)據(jù)的組織形式等直至轉(zhuǎn)化成現(xiàn)實(shí)的數(shù)據(jù)庫(kù)。 建模過程中的主要活動(dòng)包括：確定數(shù)據(jù)及其相關(guān)過程,；定義數(shù)據(jù),；確保數(shù)據(jù)的完整性；定義操作過程,；選擇數(shù)據(jù)存儲(chǔ)技術(shù),。數(shù)據(jù)建模大致分為三個(gè)階段，概念建模階段,，邏輯建模階段和物理建模階段,。其中概念建模和邏輯建模階段與數(shù)據(jù)庫(kù)廠商毫無(wú)關(guān)系，換言之,，與MySQL,，SQL Server，Oracle沒有關(guān)系,。

數(shù)據(jù)分析和數(shù)據(jù)挖掘的關(guān)系：從數(shù)據(jù)量級(jí)來(lái)看,，一般情況下，數(shù)據(jù)分析的數(shù)據(jù)量可能并不大,，而數(shù)據(jù)挖掘的數(shù)據(jù)量極大,。從建模條件來(lái)看，數(shù)據(jù)分析是從一個(gè)假設(shè)出發(fā),，需要自行建立方程或模型來(lái)與假設(shè)吻合,，而數(shù)據(jù)挖掘不需要假設(shè)，可以自動(dòng)建立方程,。從分析對(duì)象來(lái)看,，數(shù)據(jù)分析往往是針對(duì)數(shù)字化的數(shù)據(jù),，而數(shù)據(jù)挖掘能夠采用不同類型的數(shù)據(jù)。從結(jié)果來(lái)看,，數(shù)據(jù)分析對(duì)結(jié)果進(jìn)行解釋,，呈現(xiàn)出有效信息，數(shù)據(jù)挖掘的結(jié)果不容易解釋,，對(duì)信息進(jìn)行價(jià)值評(píng)估,，著眼于預(yù)測(cè)未來(lái)，并提出決策性建議,。數(shù)據(jù)挖掘與數(shù)據(jù)分析兩者緊密相連,，具有循環(huán)遞歸的關(guān)系。推薦閱讀《數(shù)據(jù)分析,、數(shù)據(jù)挖掘,、數(shù)據(jù)統(tǒng)計(jì)、OLAP 之間的差異是什么,？》

c. 數(shù)據(jù)庫(kù),，數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的定義和區(qū)別

數(shù)據(jù)庫(kù)：數(shù)據(jù)庫(kù)是指長(zhǎng)期存儲(chǔ)在計(jì)算機(jī)內(nèi)有組織的、可共享的數(shù)據(jù)集合,。數(shù)據(jù)庫(kù)中的數(shù)據(jù)按一定的數(shù)據(jù)模型組織,、描述和存儲(chǔ)，具有較小的冗余度,、較高的數(shù)據(jù)獨(dú)立性和易擴(kuò)展性,，并可為各種用戶共享。數(shù)據(jù)庫(kù)理論的研究主要集中于關(guān)系的規(guī)范化理論,、關(guān)系數(shù)據(jù)理論等,。近年來(lái)，隨著人工智能與數(shù)據(jù)庫(kù)理論的結(jié)合及并行計(jì)算機(jī)的發(fā)展,，數(shù)據(jù)庫(kù)邏輯演繹和知識(shí)推理,、并行算法等理論研究，以及演繹數(shù)據(jù)庫(kù)系統(tǒng),、知識(shí)庫(kù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)的研制都已成為新的研究方向,。

數(shù)據(jù)倉(cāng)庫(kù)：數(shù)據(jù)倉(cāng)庫(kù)(Data Warehouse) 是一個(gè)面向主題的(SubjectOri2ented) 、集成的( Integrate ) ,、相對(duì)穩(wěn)定的(Non -Volatile ) ,、反映歷史變化( TimeVariant) 的數(shù)據(jù)集合用于支持管理決策。首先,數(shù)據(jù)倉(cāng)庫(kù)用于支持決策,面向分析型數(shù)據(jù)處理,其次,數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成,集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改,。

數(shù)據(jù)集市：為最大限度地實(shí)現(xiàn)靈活性,，集成的數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)應(yīng)該存儲(chǔ)在標(biāo)準(zhǔn)RDBMS(關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)Relational Database Management System) 中，并經(jīng)過規(guī)范的數(shù)據(jù)庫(kù)設(shè)計(jì),，以及為了提高性能而增加一些小結(jié)性信息和不規(guī)范設(shè)計(jì),。這種類型的數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)被稱為原子數(shù)據(jù)倉(cāng)庫(kù),。原子數(shù)據(jù)倉(cāng)庫(kù)的子集,又稱為數(shù)據(jù)集市。

數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別：數(shù)據(jù)庫(kù)是面向事務(wù)的設(shè)計(jì),，數(shù)據(jù)倉(cāng)庫(kù)是面向主題設(shè)計(jì)的,。數(shù)據(jù)庫(kù)一般存儲(chǔ)在線交易數(shù)據(jù)，數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)的一般是歷史數(shù)據(jù),。從時(shí)間屬性來(lái)看,，數(shù)據(jù)庫(kù)保存信息的時(shí)候，并不強(qiáng)調(diào)一定有時(shí)間信息,。數(shù)據(jù)倉(cāng)庫(kù)則不同,，出于決策的需要，數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)都要標(biāo)明時(shí)間屬性,。

數(shù)據(jù)集市和數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別：建議閱讀文章《數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的區(qū)別》

d. 商務(wù)智能與大數(shù)據(jù)的概念及發(fā)展概況

BI（Business Intelligence）即商務(wù)智能,，它是一套完整的解決方案，用來(lái)將企業(yè)中現(xiàn)有的數(shù)據(jù)進(jìn)行有效的整合,，快速準(zhǔn)確地提供報(bào)表并提出決策依據(jù)，幫助企業(yè)做出明智的業(yè)務(wù)經(jīng)營(yíng)決策,。

商業(yè)智能的概念最早在1996年提出,。當(dāng)時(shí)將商業(yè)智能定義為一類由數(shù)據(jù)倉(cāng)庫(kù)（或數(shù)據(jù)集市）、查詢報(bào)表,、數(shù)據(jù)分析,、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的,、以幫助企業(yè)決策為目的技術(shù)及其應(yīng)用,。而這些數(shù)據(jù)可能來(lái)自企業(yè)的CRM、SCM等業(yè)務(wù)系統(tǒng),。

主流商業(yè)智能產(chǎn)品：Tableau,、saiku、kylin,、BDP,、growingIO、神策,、阿里數(shù)加等,。筆者正在閱讀阿里巴巴的 《大數(shù)據(jù)之路》，后續(xù)將結(jié)合阿里數(shù)加產(chǎn)品整理閱讀心得,。

大數(shù)據(jù)（big data）,，指無(wú)法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,，是需要新處理模式才能具有更強(qiáng)的決策力,、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量,、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）,、Velocity（高速）,、Variety（多樣）、Value（低價(jià)值密度）,、Veracity（真實(shí)性）,。大數(shù)據(jù)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越成為數(shù)據(jù)的主要部分,。

大數(shù)據(jù)的發(fā)展趨勢(shì)：數(shù)據(jù)資源化，大數(shù)據(jù)與云計(jì)算深度結(jié)合,，科學(xué)理論的突破,，數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立，數(shù)據(jù)泄露泛濫,，數(shù)據(jù)管理成為核心競(jìng)爭(zhēng)力,，數(shù)據(jù)質(zhì)量是BI成功的關(guān)鍵，數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng),。

e. 數(shù)據(jù)處理流程

需求分析,，數(shù)據(jù)采集，數(shù)據(jù)預(yù)處理,，數(shù)據(jù)服務(wù)產(chǎn)品化（模板化）,。

數(shù)據(jù)產(chǎn)品需求分析：向業(yè)務(wù)部門進(jìn)行調(diào)研，了解業(yè)務(wù)需要解決的問題,，將業(yè)務(wù)問題映射成數(shù)據(jù)分析工作和任務(wù),，同時(shí)結(jié)合平臺(tái)已有能力，確定數(shù)據(jù)分析或挖掘方案,。

數(shù)據(jù)采集：第一步需要定義數(shù)據(jù)源選擇,，DBA可以基于數(shù)據(jù)分析需要，找到相關(guān)數(shù)據(jù),，建立一張數(shù)據(jù)寬表,，將數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)引入到這張寬表當(dāng)中，基于一定的邏輯關(guān)系進(jìn)行匯總計(jì)算,。這張寬表作為數(shù)據(jù)分析的基礎(chǔ),，然后再依據(jù)數(shù)據(jù)分析需要衍生出一些不同的表單，為數(shù)據(jù)分析提供干凈全面的數(shù)據(jù)源,；

數(shù)據(jù)預(yù)處理：需要完成數(shù)據(jù)類型選擇,，缺失值處理和異常值檢測(cè)和處理，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化,；

數(shù)據(jù)服務(wù)產(chǎn)品化：將結(jié)合阿里巴巴產(chǎn)品做細(xì)致分析,。