久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

數(shù)據(jù)挖掘的入門概念

 快讀書館 2016-10-24

作者:程Sir

1 數(shù)據(jù)挖掘

數(shù)據(jù)挖掘(Data Mining,,簡稱DM),,是指從大量的數(shù)據(jù)中,挖掘出未知的且有價值的信息和知識的過程,。

2 機器學(xué)習(xí) 與 數(shù)據(jù)挖掘

與數(shù)據(jù)挖掘類似的有一個術(shù)語叫做”機器學(xué)習(xí)“,,這兩個術(shù)語在本質(zhì)上的區(qū)別不大,如果在書店分別購買兩本講數(shù)據(jù)挖掘和機器學(xué)習(xí)的書籍,,書中大部分內(nèi)容都是互相重復(fù)的,。具體來說,小的區(qū)別如下:

機器學(xué)習(xí):更側(cè)重于技術(shù)方面和各種算法,,一般提到機器學(xué)習(xí)就會想到語音識別,,圖像視頻識別,機器翻譯,,無人駕駛等等各種其他的模式識別,,甚至于谷歌大腦等AI,這些東西的一個共同點就是極其復(fù)雜的算法,,所以說機器學(xué)習(xí)的核心就是各種精妙的算法,。

數(shù)據(jù)挖掘:更偏向于“數(shù)據(jù)”而非算法,而且包括了很多數(shù)據(jù)的前期處理,,用爬蟲爬取數(shù)據(jù),,然后做數(shù)據(jù)的清洗,數(shù)據(jù)的整合,,數(shù)據(jù)有效性檢測,,數(shù)據(jù)可視化(畫圖)等等,最后才是用一些統(tǒng)計的或者機器學(xué)習(xí)的算法來抽取某些有用的“知識”,。前期數(shù)據(jù)處理的工作比較多,。

所以,,數(shù)據(jù)挖掘的范疇要更廣泛一些,。

3 數(shù)據(jù)挖掘所覆蓋的學(xué)科

數(shù)據(jù)挖掘是一門交叉學(xué)科,覆蓋了統(tǒng)計學(xué),、計算機程序設(shè)計,、數(shù)學(xué)與算法、數(shù)據(jù)庫,、機器學(xué)習(xí),、市場營銷、數(shù)據(jù)可視化等領(lǐng)域的理論和實踐成果

4 數(shù)據(jù)挖掘的誤區(qū)

誤區(qū)一:算法至上論,。認(rèn)為數(shù)據(jù)挖據(jù)是某些對大量數(shù)據(jù)操作的算法,,這些算法能夠自動地發(fā)現(xiàn)新的知識。

誤區(qū)二:技術(shù)至上論,。認(rèn)為數(shù)據(jù)挖據(jù)必須需要非常高深的分析技能,,需要精通高深的數(shù)據(jù)挖掘算法,,需要熟練程序開發(fā)設(shè)計。

這兩種認(rèn)知都有一定的偏頗,。實際上,,數(shù)據(jù)挖掘本質(zhì)上是人們處理商業(yè)問題的方法,通過適量的數(shù)據(jù)挖掘來獲得有價值的結(jié)果,,技術(shù)在隨著大數(shù)據(jù)時代的來臨變得愈發(fā)重要,,但是最好的數(shù)據(jù)挖掘工程師往往是那些熟悉和理解業(yè)務(wù)的人。

5 數(shù)據(jù)挖掘能解決什么問題

商業(yè)上的問題多種多樣,,例如:

“如何能降低用戶流失率?”

“某個用戶是否會響應(yīng)本次營銷活動?“

'如何細(xì)分現(xiàn)有目標(biāo)市場?'

“如何制定交叉銷售策略以提升銷售額?”

“如何預(yù)測未來銷量?”

從數(shù)據(jù)挖掘的角度看,,都可以轉(zhuǎn)換為五類問題:

  1. 分類問題

  2. 聚類問題

  3. 回歸問題

  4. 關(guān)聯(lián)分析

  5. 推薦系統(tǒng)

5.1 分類問題

簡單來說,就是根據(jù)已經(jīng)分好類的一推數(shù)據(jù),,分析每一類的潛在特征建立分類模型,。對于新數(shù)據(jù),可以輸出新出具屬于每一類的概率,。

比如主流郵箱都具備的垃圾郵件識別功能:一開始,,正常郵件和垃圾郵件都是混合在一起的,如果我們手工去點擊哪些是垃圾郵件,,逐漸的,,垃圾郵件就會自動被識別放到垃圾文件夾。如果我們對于混在正常郵件中的垃圾持續(xù)進行判斷,,系統(tǒng)的識別率就會越來越高,。

我們?nèi)斯c擊判斷,相當(dāng)于預(yù)先分類(兩類:垃圾郵件和非垃圾郵件),,系統(tǒng)就會自己學(xué)習(xí)兩類郵件的特征建立模式,,對于新郵件,會根據(jù)模式判斷屬于每個類別的可能性,。

5.2 聚類問題

和分類算法是不同概念,,但是工作中業(yè)務(wù)人員經(jīng)常誤用。 聚類的的目的也是把數(shù)據(jù)分類,,但類別并不是預(yù)先定義的,,算法根據(jù)“物以類聚”的原則,判斷各條數(shù)據(jù)之間的相似性,,相似的就歸為一類,。

比如我有十萬消費者的信息數(shù)據(jù),比如包括性別,,年齡,,收入,消費等,通過聚類的方法事可以把這些數(shù)據(jù)分成不同的群,,理論上每群用戶內(nèi)都是相似性較高的,,就可以覆蓋分群用戶制定不同的策略

5.3 回歸問題

回歸問題和分類問題有點類似,但是回歸問題中的因變量是一個數(shù)值,,而分類問題,,最終輸出的因變量是一個類別。簡單理解,,就是定義一個因變量,,在定義若干自變量,找到一個數(shù)學(xué)公式,,描述自變量和因變量之間的關(guān)系,。

比如,我們要研究房價(Y),,然后收集房子距離市中心的距離(X1),,面積(X2),收集足夠多的房子的數(shù)據(jù),,就可以建立一個房價和距離,、面積的方程式(例如Y=aX1+bX2),這樣給出一個新的距離和面積數(shù)據(jù),,就可以預(yù)測這個房子的價格,。

5.4 關(guān)聯(lián)分析

關(guān)聯(lián)分析主要就是指”購物籃分析“,很有名氣案例是【啤酒與尿布】的故事,,”據(jù)說“這是一個真實的案例:沃爾瑪在分析銷售記錄時,,發(fā)現(xiàn)啤酒和尿布經(jīng)常一起被購買,于是他們調(diào)整了貨架,,把兩者放在一起,,結(jié)果真的提升了啤酒的銷量。后來還分析背后的原因,,說是因為爸爸在給寶寶買尿布的時候,,會順便給自己買點啤酒……

所以,關(guān)聯(lián)分析就是基于數(shù)據(jù)識別產(chǎn)品之間潛在的關(guān)聯(lián),,識別有可能頻繁發(fā)生的模式,。

5.5 推薦系統(tǒng)

利用電子商務(wù)網(wǎng)站向客戶提供商品信息和建議,,幫助用戶決定應(yīng)該購買什么產(chǎn)品,,模擬銷售人員幫助客戶完成購買過程。也就是平時我們在瀏覽電商網(wǎng)站,、視頻網(wǎng)站,、新聞App中的'猜你喜歡'、“其他人也購買了XXX”等類似的功能。

6 數(shù)據(jù)挖掘的工作流程

數(shù)據(jù)挖掘的通用流程叫做CRISP-DM(Cross Industry Standard Process-Data Mining)數(shù)據(jù)挖掘方法論,。

6.1 商業(yè)理解

商業(yè)理解階段主要完成對商業(yè)問題的界定,,以及對企業(yè)內(nèi)外部資源進行評估與組織,最終確定將企業(yè)的商業(yè)目標(biāo)轉(zhuǎn)化為數(shù)據(jù)挖掘目標(biāo),,并制定項目的方案

6.2 數(shù)據(jù)理解

了解企業(yè)目前數(shù)據(jù)現(xiàn)狀,,提出數(shù)據(jù)需求,并盡可能多的收集數(shù)據(jù),。通過初步的數(shù)據(jù)探索,,快速了解數(shù)據(jù)的質(zhì)量

6.3 數(shù)據(jù)準(zhǔn)備

在建立數(shù)據(jù)挖掘模型之前對數(shù)據(jù)做最后的準(zhǔn)備工作,主要是把收集到的各部分?jǐn)?shù)據(jù)關(guān)聯(lián)起來,,形成一張最終數(shù)據(jù)寬表,。這個階段其實是耗時最長的階段,一般會占據(jù)整個數(shù)據(jù)挖掘項目的70%左右的時間,,包括數(shù)據(jù)導(dǎo)入,、數(shù)據(jù)抽取、數(shù)據(jù)清洗,、數(shù)據(jù)合并,、新變量計算等工作。

6.4 模型構(gòu)建

模型構(gòu)建是數(shù)據(jù)挖掘工作的核心階段,。主要包括準(zhǔn)備模型的訓(xùn)練集和驗證集,,選擇并使用適當(dāng)?shù)慕<夹g(shù)和算法,模型建立,,模型效果對比等工作

6.5 模型評估

模型評估主要從兩個方面進行評價:

1)技術(shù)層面:

- 設(shè)計對照組進行比較,。

- 根據(jù)常用的模型評估指標(biāo)進行評價,如命中率,、覆蓋率,、提升度等

2)業(yè)務(wù)經(jīng)驗:業(yè)務(wù)專家憑借業(yè)務(wù)經(jīng)驗對數(shù)據(jù)挖掘結(jié)果進行評估

6.6 模型部署

將數(shù)據(jù)挖掘成果程序化,將模型寫成存儲過程固化到IT平臺上,,并持續(xù)觀察模型衰退變化,,在發(fā)生模型衰退時,引入新的變量進行模型優(yōu)化,。

本文由 程SIR說 授權(quán)發(fā)布,。

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請點擊一鍵舉報。
    轉(zhuǎn)藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多