大家都知道數(shù)據(jù)挖掘是發(fā)現(xiàn)規(guī)律的一種手段,，但在很多傳統(tǒng)企業(yè)里數(shù)據(jù)挖掘有點(diǎn)像奢侈品,，因?yàn)閿?shù)據(jù)挖掘的過(guò)程一般較長(zhǎng)，總體來(lái)講性價(jià)比不是那么高，規(guī)則取數(shù)往往成為了企業(yè)數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的主流,。

筆者一直在思考傳統(tǒng)企業(yè)敏捷數(shù)據(jù)挖掘的可能性,，這里主要從挖掘引擎、數(shù)據(jù)準(zhǔn)備,、訓(xùn)練方法,、迭代方式、產(chǎn)品思維等方面進(jìn)行闡述,，希望于你有啟示,。

1、打造全流程挖掘引擎

諸如阿里等企業(yè)的機(jī)器學(xué)習(xí)平臺(tái)逐步形成了一個(gè)自有生態(tài),，其機(jī)器學(xué)習(xí)引擎一般是跟企業(yè)的整個(gè)IT環(huán)境無(wú)縫集成的,，無(wú)論是在數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)輸入,、算法選擇,、模型訓(xùn)練、模型輸出或是生產(chǎn)部署等各個(gè)階段,。

商用的數(shù)據(jù)挖掘引擎則一般只能做點(diǎn)的事情,，強(qiáng)調(diào)的是算法的多樣選擇及模型訓(xùn)練的可視化體驗(yàn)，在數(shù)據(jù)準(zhǔn)備,、數(shù)據(jù)輸入,、模型輸出、生產(chǎn)發(fā)布等數(shù)據(jù)挖掘的其它階段是游離在之外的,，需要跟企業(yè)的數(shù)據(jù)環(huán)境進(jìn)行交互才能完成一個(gè)數(shù)據(jù)挖掘過(guò)程,，而這些交互一般不是自動(dòng)的，也不具備可視化能力,，這造成了整個(gè)數(shù)據(jù)挖掘流程的割裂,，而企業(yè)在這些階段花費(fèi)的代價(jià)是很大的。

隨著一般算法使用門檻的降低,，當(dāng)前商用挖掘引擎都在朝著人工智能算法+海量計(jì)算平臺(tái)化方向轉(zhuǎn)變,，但其并不會(huì)變得更敏捷，因?yàn)檎麄€(gè)流程仍然是割裂的,。

怎么辦,？

一種就是全套采用諸如阿里云的方案，全部數(shù)據(jù)上云,，還有一種就是自己定制,，這里談?wù)劧ㄖ品椒ǖ乃悸贰?/p>

所謂的定制方法就是將通用的數(shù)據(jù)挖掘引擎跟企業(yè)自身的數(shù)據(jù)開發(fā)管理平臺(tái)無(wú)縫集成，復(fù)用原有企業(yè)的數(shù)據(jù)開發(fā)整個(gè)流程,，以下一張圖道盡了一切：

它的價(jià)值點(diǎn)就在于以企業(yè)的數(shù)據(jù)開發(fā)流程為核心,，而不是數(shù)據(jù)挖掘?yàn)楹诵模瑪?shù)據(jù)挖掘只是作為一個(gè)組件集成進(jìn)來(lái)，比如封裝R和Python的訓(xùn)練結(jié)果,，最大限度的復(fù)用原有數(shù)據(jù)管理的能力,。

因此，企業(yè)在采購(gòu)商用數(shù)據(jù)挖掘軟件的時(shí)候,，除了考慮算法,，還要強(qiáng)調(diào)開放性，要考慮是否能深度集成到自身的數(shù)據(jù)環(huán)境中,。

這是敏捷的第一個(gè)要點(diǎn),。

2、降低變量準(zhǔn)備時(shí)間

數(shù)據(jù)挖掘中數(shù)據(jù)準(zhǔn)備時(shí)間過(guò)長(zhǎng),，企業(yè)除了考慮數(shù)據(jù)倉(cāng)庫(kù)建模,，還需要考慮是否在此基礎(chǔ)上建立一個(gè)數(shù)據(jù)挖掘的數(shù)據(jù)中臺(tái)，筆者在《企業(yè)的數(shù)據(jù)中臺(tái)的價(jià)值》,、《數(shù)據(jù)中臺(tái)到底是什么,？》、《如何清晰的實(shí)施“大中臺(tái),，小前臺(tái)” 大數(shù)據(jù)運(yùn)營(yíng)策略,？》等文章中系統(tǒng)的介紹過(guò)數(shù)據(jù)中臺(tái)的價(jià)值，數(shù)據(jù)挖掘中臺(tái)屬于數(shù)據(jù)中臺(tái)的一部分,，行業(yè)特性會(huì)比較明顯,，比如電商有電商的數(shù)據(jù)挖掘中臺(tái)，運(yùn)營(yíng)商則有運(yùn)營(yíng)商的數(shù)據(jù)挖掘中臺(tái),，只要你在某個(gè)行業(yè)數(shù)據(jù)挖掘做多了,，變量準(zhǔn)備做多了，你自然會(huì)找到一些共性的東西,，如果能把它們沉淀下來(lái),，就能降低變量準(zhǔn)備時(shí)間，比如在運(yùn)營(yíng)商中經(jīng)常會(huì)設(shè)計(jì)平均ARPU這個(gè)變量,，但到底是三個(gè)月平均，六個(gè)月平均還是什么,，全賴歷史經(jīng)驗(yàn),。

建立數(shù)據(jù)挖掘中臺(tái)涉及IT戰(zhàn)略問(wèn)題，對(duì)于傳統(tǒng)被動(dòng)型的數(shù)據(jù)管理機(jī)制流程都是挑戰(zhàn),，比如要建立一支中臺(tái)團(tuán)隊(duì)就不容易,。

這是敏捷的第二個(gè)要點(diǎn)。

3,、選對(duì)模型提升的方法

一般來(lái)講,，如果數(shù)據(jù)不變，數(shù)據(jù)挖掘訓(xùn)練的邊際效益并不高，同樣的一份數(shù)據(jù)用不同的算法反復(fù)訓(xùn)練,，比如F1差值并不是很大大,，如果要盡快的提升模型的效果，要講究點(diǎn)方法,，盡量遵循以下優(yōu)先級(jí)：業(yè)務(wù)>數(shù)據(jù)>算法,。

沒有深刻的業(yè)務(wù)理解去做數(shù)據(jù)挖掘往往是事倍功半，行業(yè)的業(yè)務(wù)理解越透徹,，就越能抓住數(shù)據(jù)中本質(zhì)的特征,，諸如圖像識(shí)別等場(chǎng)景已經(jīng)可以靠神經(jīng)網(wǎng)絡(luò)來(lái)自動(dòng)查找特征了，但大多數(shù)行業(yè)領(lǐng)域不行,，還是要靠業(yè)務(wù)專家,，多組織一次討論獲取的靈感可能遠(yuǎn)遠(yuǎn)好過(guò)于在算法上折騰一個(gè)月。

沒有更多更好的數(shù)據(jù)去訓(xùn)練模型,，巧婦也難為無(wú)米之炊,，一定要相信數(shù)據(jù)的重要性遠(yuǎn)遠(yuǎn)超過(guò)算法，很多初級(jí)的建模師算法能力很強(qiáng),，但就是做不成事,，往往是因?yàn)槠鋵?duì)于自身企業(yè)的數(shù)據(jù)理解太淺所致，外來(lái)的和尚念不好經(jīng)也是這個(gè)道理,。

一般企業(yè)的數(shù)據(jù)挖掘師都需要通過(guò)長(zhǎng)時(shí)間的取數(shù)訓(xùn)練,，如果能做過(guò)數(shù)據(jù)倉(cāng)庫(kù)的更好，這樣對(duì)于企業(yè)的數(shù)據(jù)體系有個(gè)全局的認(rèn)識(shí),，在特征選擇時(shí)有更多的發(fā)揮空間,，大數(shù)據(jù)中最強(qiáng)調(diào)的一個(gè)特征是維度多，也一定程度說(shuō)明了數(shù)據(jù)多樣的重要性,。

比如基于運(yùn)營(yíng)商的語(yǔ)音通話數(shù)據(jù)可以初步判定欺詐電話,，但這個(gè)準(zhǔn)確率還不高，如果加上社交網(wǎng)絡(luò)數(shù)據(jù),，判定就八九不離十了,，這就是多維數(shù)據(jù)的力量，同時(shí)數(shù)據(jù)建模師如果不理解運(yùn)營(yíng)商的業(yè)務(wù)和數(shù)據(jù),，則可能無(wú)法想到這個(gè)維度,。

這是敏捷的第三個(gè)要點(diǎn)。

4,、快速迭代及時(shí)止損

大家都知道建模需要快速迭代,，但傳統(tǒng)企業(yè)中數(shù)據(jù)挖掘的快速迭代總是起不來(lái)，原因當(dāng)然很多,，包括渠道問(wèn)題,、溝通問(wèn)題,，流程問(wèn)題，外包問(wèn)題,，機(jī)制問(wèn)題等等,，這里筆者提一個(gè)數(shù)據(jù)挖掘“四個(gè)一”原則，即要為數(shù)據(jù)挖掘設(shè)置一些時(shí)間底線,。

第一個(gè)“一”是一線溝通,，就是業(yè)務(wù)理解要跟生產(chǎn)人員溝通，而不要只跟管理者溝通,，確保能夠聽到一線真實(shí)的炮聲,。

第二個(gè)“一”是一周訓(xùn)練，整個(gè)模型的訓(xùn)練需要控制在一周完成（注意不是算法研發(fā)）,，如果訓(xùn)練倒騰超過(guò)一個(gè)月,，性價(jià)比一般很低。

第三個(gè)“一”是一周驗(yàn)證,，訓(xùn)練的結(jié)果要在一周內(nèi)讓一線反饋結(jié)果,，傳統(tǒng)企業(yè)模型做不好往往是第一時(shí)間拿不到反饋數(shù)據(jù)所致，這牽涉到企業(yè)復(fù)雜的線下執(zhí)行流程,，需要在管理層面進(jìn)行控制,。

第四個(gè)“一”是一周優(yōu)化，確保能用反饋的數(shù)據(jù)進(jìn)行模型的快速優(yōu)化,，第三和第四反復(fù)迭代,。

當(dāng)然這里的一周更多是象征意義，企業(yè)可以基于自身的實(shí)際進(jìn)行周期的調(diào)整,，關(guān)鍵是要有成本意識(shí),，及時(shí)止損，時(shí)間拖的越長(zhǎng)風(fēng)險(xiǎn)越高,，因?yàn)槭袌?chǎng)變化很快,，業(yè)務(wù)人員的耐心有限。

這是敏捷的第四個(gè)要點(diǎn),。

5,、通過(guò)運(yùn)營(yíng)保有挖掘資產(chǎn)

據(jù)筆者統(tǒng)計(jì)，離網(wǎng)模型在某些企業(yè)做的次數(shù)會(huì)超過(guò)幾十次,，重做有很多理由,，比如市場(chǎng)環(huán)境變了，原來(lái)模型不好用了等等,，但重做意味著對(duì)原有投入資源的極大浪費(fèi)，是最大的不敏捷,。

“重建設(shè),，輕運(yùn)營(yíng)”是企業(yè)IT建設(shè)常見的毛病,，由于數(shù)據(jù)挖掘的模型受業(yè)務(wù)和數(shù)據(jù)變化的影響很大，隨著時(shí)間推移效果下降是必然的事情,，而且這個(gè)折損跟固定資產(chǎn)折損還不一樣,，人家折損好歹還能正常用，但模型效果變差就意味著效益變差,，模型更要拼運(yùn)營(yíng)能力,。

從這個(gè)角度看，如果你覺得一個(gè)模型重要,，就要把它當(dāng)成一個(gè)產(chǎn)品,，用產(chǎn)品化的思維去運(yùn)營(yíng)它，比如設(shè)置獨(dú)立的模型經(jīng)理,，從用戶,、流量和效果等角度去持續(xù)的做提升，很多企業(yè)模型建完推廣完了就成鳥獸散,，這注定了模型的悲劇,。

模型運(yùn)營(yíng)投入的代價(jià)是巨大的，一個(gè)有1000個(gè)挖掘模型的公司,，負(fù)擔(dān)和壓力會(huì)非常大,，如果很輕松，基本也就是些僵尸模型了,。

這是敏捷的第五個(gè)要點(diǎn),。

就談以上五點(diǎn)，一家之言,，但的確是感到困惑且想解決的,，希望于你有啟示。