日前,,全球軟件及技術(shù)咨詢公司Thoughtworks 發(fā)布《數(shù)據(jù)工程白皮書》。 隨著企業(yè)數(shù)字化轉(zhuǎn)型的不斷開展,,企業(yè)對數(shù)據(jù)越來越重視,、對數(shù)據(jù)的訴求越來越豐富。本白皮書旨在討論如何從工程化的角度加速數(shù)據(jù)到價值的轉(zhuǎn)化過程,、為企業(yè)帶來更多的價值,,幫助企業(yè)在數(shù)字化轉(zhuǎn)型過程中應(yīng)對來自業(yè)務(wù),、外部市場、內(nèi)部數(shù)據(jù)能力提升等一系列問題,。 目前數(shù)字化轉(zhuǎn)型對于市場來說并不是一個新鮮事物,,從技術(shù)視角來看,人工智能與大數(shù)據(jù)相關(guān)技術(shù)仍處于創(chuàng)新階段,,各行業(yè)正在尋找和探索價值場景與新興技術(shù)融合的平衡點,,希望在新興技術(shù)的加持下能夠在激烈的競爭中占據(jù)有利位置。 近幾年企業(yè)在數(shù)字化以及數(shù)據(jù)工作上的投入是非??捎^的,,可是在數(shù)據(jù)層面上的收益并不盡人意,主要表現(xiàn)為: 數(shù)據(jù)項目投資收益周期長,,不確定性大,,且沒有獲取對等的業(yè)務(wù)回報。 數(shù)據(jù)平臺層產(chǎn)生價值的速度跟不上業(yè)務(wù)需求變化的腳步,。 數(shù)據(jù)年年治理,,年年治理不好。 人員培養(yǎng)困難,,培養(yǎng)人才的時間和成本居高不下,,無法規(guī)模化地支撐業(yè)務(wù)需求,。 對于企業(yè)中需要直接面對或完成數(shù)據(jù)工作的負(fù)責(zé)人來說,,上述問題需要有一套切實可行的方式方法來確保數(shù)據(jù)工作能夠保質(zhì)保量的順利開展、保障企業(yè)在數(shù)據(jù)領(lǐng)域的投入能夠有價值產(chǎn)出,。這樣一套行之有效的方式方法我們稱為“數(shù)據(jù)工程”,,而該體系的落地過程稱為“數(shù)據(jù)工程化”。 本白皮書旨在討論如何從工程化的角度加速數(shù)據(jù)到價值的轉(zhuǎn)化過程,,為企業(yè)帶來更多的價值,,幫助企業(yè)在數(shù)字化轉(zhuǎn)型過程中應(yīng)對來自業(yè)務(wù)、外部市場,、內(nèi)部數(shù)據(jù)能力提升等一系列問題,。 數(shù)據(jù)工程能夠加速數(shù)據(jù)接入,、處理,、計算、使用的全流程,,但是對數(shù)據(jù)工程到底是什么缺少一個清晰的描述,。 數(shù)據(jù)工程包含了需求、設(shè)計,、構(gòu)建,、測試,、維護(hù)演進(jìn)等階段,涵蓋了項目管理,、開發(fā)過程管理,、工程工具與方法、構(gòu)建管理,、質(zhì)量管理,,是一套為了應(yīng)對規(guī)模化生產(chǎn)和使用數(shù)據(jù),、為業(yè)務(wù)提供數(shù)據(jù)支撐,最終產(chǎn)生價值的體系,。 同時定義了在落地實施過程中如何確保需求準(zhǔn)確性,、設(shè)計靈活性、開發(fā)便捷性,、維護(hù)低成本性,、架構(gòu)可修改性等保障性能、質(zhì)量的原則,。 總的來說,,正是因為數(shù)據(jù)有著不同的種類、不同種類數(shù)據(jù)處理有著不同的特征,,讓我們對上述定義再換一個角度來審視:
數(shù)據(jù)工程并不是單一的大數(shù)據(jù)系統(tǒng)或平臺的落地,,因此數(shù)據(jù)工程的價值并不能僅從普通的信息系統(tǒng)的角度來看,。 數(shù)據(jù)工程的好與壞,往往與企業(yè)的組織架構(gòu),、團(tuán)隊協(xié)作,、實施能力等息息相關(guān)。而針對企業(yè)所處數(shù)字化轉(zhuǎn)型的不同階段,、所處行業(yè)業(yè)務(wù)特點以及企業(yè)本身組織架構(gòu),,數(shù)據(jù)工程價值凸顯的點也往往不盡相同。 在面對業(yè)務(wù)協(xié)同性不夠,、業(yè)務(wù)決策路徑不清晰,、組織架構(gòu)可能導(dǎo)致的部門墻等諸多問題上,企業(yè)應(yīng)當(dāng)匯聚多業(yè)態(tài),、多鏈路中所涉及的不同業(yè)務(wù)數(shù)據(jù),、打通全產(chǎn)業(yè)鏈,、構(gòu)建業(yè)務(wù)生態(tài),打造以數(shù)據(jù)為中心的價值創(chuàng)新產(chǎn)品,,通過數(shù)據(jù)去產(chǎn)生新洞見,、發(fā)現(xiàn)新業(yè)務(wù)、打造新產(chǎn)品,、驗證新想法,,從而驅(qū)動業(yè)務(wù)的快速迭代。 圖:數(shù)據(jù)工程落地三步走戰(zhàn)略 白皮書推薦三步走戰(zhàn)略:數(shù)據(jù)愿景對齊,、數(shù)據(jù)工程落地實施,、數(shù)據(jù)持續(xù)運營。三步自頂向下,,先確定總體目標(biāo),,再進(jìn)行目標(biāo)拆解,由目標(biāo)制定具體措施,,再到具體工程實踐,,最后以持續(xù)運營手段,完成數(shù)據(jù)從業(yè)務(wù)中來,,再到業(yè)務(wù)中去的完整價值閉環(huán),。 數(shù)據(jù)愿景對齊作用主要是明確企業(yè)數(shù)據(jù)愿景,保證后續(xù)步驟不偏離企業(yè)本身的價值實現(xiàn),,主要包括業(yè)務(wù)場景價值的的探索識別,、優(yōu)先級評估、數(shù)據(jù)架構(gòu)設(shè)計,、技術(shù)架構(gòu)設(shè)計等,。 圖:數(shù)據(jù)工程能力復(fù)用與保障 圖:數(shù)據(jù)持續(xù)運營 白皮書指出,數(shù)據(jù)工程是數(shù)字經(jīng)濟(jì)下確保數(shù)據(jù)價值轉(zhuǎn)化的重要保障,,是加速數(shù)據(jù)轉(zhuǎn)化為價值的重要手段,,數(shù)據(jù)工程能力應(yīng)對的不僅僅是當(dāng)下的挑戰(zhàn),更是應(yīng)對未來數(shù)字經(jīng)濟(jì)大趨勢的秘密武器,。 隨著需要處理的數(shù)據(jù)量的增長,,為了處理數(shù)據(jù)領(lǐng)域的各種新問題,各種新技術(shù),、新概念逐漸涌現(xiàn),,現(xiàn)代數(shù)據(jù)倉庫、數(shù)據(jù)湖,、湖倉一體,、分布式數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)、數(shù)據(jù)云原生等逐一登上舞臺,,數(shù)據(jù)工程的發(fā)展道阻且長,。 具體內(nèi)容如下 相關(guān)資料已經(jīng)上傳至數(shù)字化轉(zhuǎn)型,加入星球后可下載,。 |
|