中國民生銀行科技開發(fā)部 總經(jīng)理 牛新莊
文 | 牛新莊 近年來,，大數(shù)據(jù)迅速升溫,，成為社會關(guān)注的熱點。以長尾理論為基礎(chǔ)的互聯(lián)網(wǎng)金融正是基于大數(shù)據(jù)分析技術(shù)實現(xiàn)了與傳統(tǒng)金融不一樣的產(chǎn)品研發(fā),、客群分析,、營銷推送,、風險控制等新金融業(yè)態(tài),，取得了顛覆性的成果。隨著信息化浪潮的推進,，數(shù)據(jù)爆炸式增長,，數(shù)據(jù)分析成為各行業(yè)競爭的制高點，更成為企業(yè)創(chuàng)新發(fā)展的重大戰(zhàn)略,。如何從海量數(shù)據(jù)中挖掘出具有價值的信息并將其應用于業(yè)務經(jīng)營,、管理中成為企業(yè)的戰(zhàn)略重點。銀行業(yè)在數(shù)據(jù)挖掘和使用上有著天然的優(yōu)勢,，近年來各家銀行均構(gòu)建了基于信息系統(tǒng)的業(yè)務場景,，積累了大量高價值數(shù)據(jù)，但是受限于多種因素,，銀行業(yè)當前數(shù)據(jù)的實際利用率并不高,。在應對利率市場化，提升管理精細化的背景下,，大數(shù)據(jù)分析能力將越來越受到重視,，成為銀行的重要核心競爭力。民生銀行為開展全行轉(zhuǎn)型升級啟動的鳳凰計劃項目中,，將IT能力作為全行轉(zhuǎn)型發(fā)展的基礎(chǔ),，并將大數(shù)據(jù)戰(zhàn)略作為研究專項，致力于實現(xiàn)大數(shù)據(jù)分析對產(chǎn)品,、營銷,、決策的強力支持。大數(shù)據(jù)系統(tǒng)：貼近場景更高效、智能 大數(shù)據(jù)變革反映的是新的分布式技術(shù)體系的日趨成熟,，分布式體系在很多領(lǐng)域開始全面超越傳統(tǒng)的技術(shù)體系,。銀行的交易系統(tǒng)構(gòu)建在關(guān)系型數(shù)據(jù)庫技術(shù)之上，對性能的擴展通常采用垂直擴張方式,。當用戶數(shù)量增加后,，服務器對應的CPU、內(nèi)存等的配置也相應增加,，通過資源擴展?jié)M足業(yè)務性能需求,。而非交易系統(tǒng)(在銀行整個體系中扮演著非常重要的角色，如營銷體系,、客戶管理體系,、風險控制體系等)早期也大都基于關(guān)系型數(shù)據(jù)庫構(gòu)建數(shù)據(jù)分析體系。近年來,，隨著開源技術(shù)體系的快速發(fā)展和成熟,，逐漸形成了處理效率更高、更智能且成本更低的新一代數(shù)據(jù)分析體系,。在探討銀行業(yè)大數(shù)據(jù)應用時,，民生銀行認為大數(shù)據(jù)在營銷、運營和風險控制領(lǐng)域更有用武之地,，尤其在風險控制領(lǐng)域可能會引發(fā)變革,。這因為大數(shù)據(jù)分析的本質(zhì)是在可接受的成本下，解決數(shù)據(jù)使用效率和決策智能自動化的問題,。一是效率,。移動互聯(lián)和大數(shù)據(jù)的發(fā)展使得信息單元越來越小，傳遞越來越快,，數(shù)據(jù)時效性越來越高,。同樣的數(shù)據(jù)分析結(jié)果，用時一周和用時一小時對商業(yè)應用產(chǎn)生的影響截然不同,。對于銀行業(yè)而言,，從業(yè)務需求角度，所有的非交易系統(tǒng)正經(jīng)歷著從批量到準實時,、從準實時到實時的轉(zhuǎn)變,。二是智能自動化。隨著手機銀行,、網(wǎng)上銀行的推廣,，用戶和銀行的接觸渠道從線下廳堂柜臺逐步向線上遷移，據(jù)統(tǒng)計,，當前超過90%的銀行業(yè)務來自于線上渠道,。業(yè)務流程自動化和智能化的本質(zhì)是讓信息系統(tǒng)有能力像人一樣做出決策，而這需要一整套大數(shù)據(jù)技術(shù)體系支持模型計算。新一代數(shù)據(jù)分析體系能力如圖1所示,。
大數(shù)據(jù)建設：立足人才,，整合平臺 提到大數(shù)據(jù)自然會聯(lián)想到Hadoop，對民生銀行來說,，Hadoop不僅是一個大數(shù)據(jù)基礎(chǔ)技術(shù)平臺,，更在于其盤活銀行內(nèi)外部數(shù)據(jù)資源的能力。民生銀行希望借助挖掘分析算法,、機器學習算法等,，發(fā)揮數(shù)據(jù)效用，創(chuàng)造商業(yè)價值,。民生銀行大數(shù)據(jù)發(fā)展規(guī)劃可概括為人才,、平臺、數(shù)據(jù)和應用四個方面,。首先,，做大數(shù)據(jù)最重要的是人才隊伍建設。Hadoop技術(shù)在互聯(lián)網(wǎng)環(huán)境中經(jīng)受了上萬臺集群規(guī)模的驗證,，應用較廣泛,，技術(shù)體系也較成熟。但對商業(yè)銀行而言,，新技術(shù)應用需要新型的專業(yè)技術(shù)人才,。為此,，民生銀行早在2013年就從互聯(lián)網(wǎng)企業(yè)引入了經(jīng)驗豐富的Hadoop技術(shù)團隊,。專業(yè)的人才隊伍為民生銀行大數(shù)據(jù)構(gòu)想落地實施奠定了基礎(chǔ)。不僅如此,，為將大數(shù)據(jù)新技術(shù)體系和數(shù)據(jù)驅(qū)動業(yè)務發(fā)展的思想傳遞給更多的員工,，民生銀行信息科技部組織了大量有針對性的培訓活動，邀請行內(nèi)外專家進行專場講座,，全面提升了團隊分析能力,，構(gòu)建了企業(yè)先進的分析文化，為大數(shù)據(jù)項目接入做好充分準備,。經(jīng)過論證,，民生銀行認為，Hadoop是構(gòu)建大數(shù)據(jù)平臺的不二之選,。在平臺選型方面,，民生銀行關(guān)注平臺的靈活性、兼容性和現(xiàn)場支持力度,。當前在Hadoop技術(shù)領(lǐng)域國內(nèi)外研究水平相當,，考慮到Hadoop平臺自身的技術(shù)問題以及響應監(jiān)管部門支持國產(chǎn)廠商的號召，民生銀行傾向于選擇與國內(nèi)Hadoop廠商合作開發(fā)。民生銀行大數(shù)據(jù)平臺架構(gòu)如圖2所示,。
基于業(yè)務發(fā)展和機房現(xiàn)狀,，民生銀行在生產(chǎn)環(huán)境構(gòu)建了三套Hadoop集群，對不同集群按照應用特點進行分工定位,，包括：在線存儲集群(提供在線查詢?nèi)珉娮踊貑?、歷史數(shù)據(jù)等查詢)、計算集群(提供批量加工計算)和災備集群(兩地三中心,，對重要數(shù)據(jù)進行災備),。實施中，針對諸如基礎(chǔ)網(wǎng)絡環(huán)境的支撐狀況,、計算與存儲集群機型的標準化,、集群的管理應用等問題進行了細致的研究和分析。同時,，基于大數(shù)據(jù)分析平臺,，引入可視化挖掘工具，提升平臺的易用性,。銀行在多年信息化歷程中積累了大量的歷史數(shù)據(jù),，包括結(jié)構(gòu)化數(shù)據(jù)，如客戶基本信息,、資產(chǎn)信息,、交易信息;非結(jié)構(gòu)化數(shù)據(jù)，如語音,、圖片,、文檔等。以往這些種類繁多的數(shù)據(jù)存儲在不同的系統(tǒng)中,。大數(shù)據(jù)平臺建設完成后,，民生銀行實現(xiàn)了用戶數(shù)據(jù)的集中管理，并在此基礎(chǔ)上,，將用戶行為數(shù)據(jù),、第三方數(shù)據(jù)等逐步集中。未來,，民生大數(shù)據(jù)平臺的數(shù)據(jù)種類和數(shù)量還將不斷擴展,。對銀行而言，與營銷,、運營和風險控制等場景結(jié)合可以帶來新的應用創(chuàng)新,。大數(shù)據(jù)對應用創(chuàng)新的支撐可以簡單歸納為兩個方向：一是解決當前數(shù)據(jù)“存不下”和“算不了”的問題。如民生銀行成立20年來積累了大量的用戶數(shù)據(jù),。這些數(shù)據(jù)存儲在磁帶庫上,，查詢難度非常大,，在處理部分監(jiān)管或者糾察事件時，經(jīng)常需要追查歷史磁帶庫的數(shù)據(jù),，在傳統(tǒng)存儲體系下,，需耗費很長時間，而新的大數(shù)據(jù)技術(shù)體系使得上述問題迎刃而解,。二是進行新技術(shù)的引入和探索,，推動決策自動化、智能化發(fā)展,。未來,，大部分決策工作可交給計算機完成，就算法原理而言,，目前的算法和十年前的并沒有太大變化,，但大數(shù)據(jù)技術(shù)的出現(xiàn)，加快了計算速度,。2016年,，GoogleAlphaGo戰(zhàn)勝圍棋冠軍李世石的消息讓人工智能瞬間進入了公眾視野。盡管當前人工智能還達不到像人類一樣思考,，但在某些固定場景下,，人工智能可以通過對海量歷史數(shù)據(jù)的學習、分析,，達到甚至超越專家的知識水平,。如在銀行風險控制領(lǐng)域，依據(jù)專家知識對數(shù)據(jù)指標做出加工規(guī)則和決策判斷,，如果銀行積累了足夠多的歷史數(shù)據(jù),，完全可以嘗試讓計算機進行決策。目前,，民生銀行已經(jīng)在非交易型系統(tǒng)中大量使用了大數(shù)據(jù)技術(shù),，投產(chǎn)上線的系統(tǒng)達到10套(如圖3所示),。
民生銀行大數(shù)據(jù)平臺項目主要分為兩類：簡單計算查詢類和高級分析挖掘類,。簡單計算查詢類項目解決從技術(shù)角度出發(fā)“存不下”和“算不了”的問題，這類項目大部分是通用平臺系統(tǒng),。高級分析挖掘類平臺主要實現(xiàn)數(shù)據(jù)分析,。如移動運營數(shù)據(jù)平臺，該平臺對民生銀行所有的移動端(手機銀行,、直銷銀行等)的用戶行為數(shù)據(jù),、地理位置數(shù)據(jù)等進行完整采集和分析，通過移動運營數(shù)據(jù)平臺,，民生銀行可以及時了解移動客戶端使用狀況,，開展用戶行為分析,，進行產(chǎn)品迭代更新和移動端產(chǎn)品運營。再如手機銀行資產(chǎn)匯集及查詢平臺,，該平臺是完全基于大數(shù)據(jù)強大計算和查詢能力而開發(fā)的應用模塊,，用于實現(xiàn)手機銀行客戶畫像、風險評分,、理財產(chǎn)品推薦等功能;又如外部數(shù)據(jù)平臺,，該平臺將所有第三方數(shù)據(jù)(結(jié)構(gòu)化、非結(jié)構(gòu)化)進行統(tǒng)一管理,，統(tǒng)一分析加工,，為全行應用系統(tǒng)提供集中統(tǒng)一的數(shù)據(jù)服務。民生銀行大數(shù)據(jù)應用既要著手解決當前數(shù)據(jù)存儲和計算問題,，也要著眼未來,，堅持“思想統(tǒng)一，人才建設,，平臺構(gòu)建,，數(shù)據(jù)完善，人工智能”指導方針,，致力于實現(xiàn)建設更快更智能的大數(shù)據(jù)平臺的科技新構(gòu)想,。
|
