久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

分布式存儲在數(shù)據(jù)治理場景中的價值定位及優(yōu)勢解讀

 靜靜的看一看 2021-06-02

【摘要】本文通過對分布式存儲的發(fā)展路徑、架構(gòu)類型,、分布式理論,,以及在數(shù)據(jù)治理場景中的實踐進(jìn)行闡述,探討分布式存儲技術(shù)在數(shù)據(jù)治理體系中發(fā)揮怎樣的價值,。

【作者】顧黃亮,,蘇寧消費金融安全運維部負(fù)責(zé)人,TVP成員,,《開源許可證使用指南(2018)》作者之一,,《研發(fā)運營一體化(DEVOPS)能力成熟度模型》作者之一,《企業(yè)IT運維發(fā)展白皮書》核心作者之一,,《企業(yè)級DevOps實戰(zhàn)案例-持續(xù)交付篇》合著作者,,twt社區(qū)平臺特邀作者、2020 容器云職業(yè)技能大賽百位專家委員會成員,。

引言

隨著信息技術(shù)呈現(xiàn)井噴式發(fā)展,,尤其以數(shù)字經(jīng)濟(jì)為代表的IT新基建將成為新經(jīng)濟(jì)的發(fā)展動能。同時以云計算,、大數(shù)據(jù),、人工智能、區(qū)塊鏈等為代表的數(shù)字技術(shù)不斷涌現(xiàn),,快速向各領(lǐng)域進(jìn)行融合滲透,。在技術(shù)導(dǎo)向更為明顯的今天,以數(shù)據(jù)為核心的數(shù)字化轉(zhuǎn)型已是大勢所趨,。在筆者所在的金融領(lǐng)域,,更是數(shù)據(jù)密集型行業(yè),,無論在企業(yè)經(jīng)營的方方面面,所積累的海量數(shù)據(jù)資源,,通過對這些數(shù)字資產(chǎn)進(jìn)行管理,、應(yīng)用、治理,,并運用到內(nèi)部管理,、過程優(yōu)化、業(yè)務(wù)運營和數(shù)字反饋等多個領(lǐng)域,。

在本篇文章中,,通過對分布式存儲的發(fā)展路徑、架構(gòu)類型,、分布式理論,,以及在數(shù)據(jù)治理場景中的實踐進(jìn)行闡述,一起探討分布式存儲技術(shù)在數(shù)據(jù)治理體系中發(fā)揮怎樣的價值,。

一,、新數(shù)據(jù)時代存儲所面臨的挑戰(zhàn)

隨著人臉識別、人工智能,、 AI 安防,、物聯(lián)網(wǎng)、 5G 等新技術(shù)新業(yè)務(wù)的快速應(yīng)用,,使得數(shù)據(jù)的增長飛速發(fā)展,。傳統(tǒng)存儲系統(tǒng)的集中式架構(gòu),導(dǎo)致在擴(kuò)展性上無法滿足數(shù)據(jù)增長需求,。另一方面,,隨著新業(yè)務(wù)的應(yīng)用,性能需求也將越來越高,,容量與性能的雙重增長,,導(dǎo)致存儲系統(tǒng)面臨新的挑戰(zhàn)。

1 ,、存儲擴(kuò)展能力有限

在新數(shù)據(jù)時代,,數(shù)據(jù)的高速增長成為主要特性,存儲的擴(kuò)展性成為重要考慮指標(biāo)之一,。傳統(tǒng)存儲采用集中式架構(gòu),,存儲的擴(kuò)展性受制于控制器性能,無法提供有效的高擴(kuò)展能力,。另一方面,,在傳統(tǒng)存儲架構(gòu)中,數(shù)據(jù)處理均依靠控制器能力,因此,,在海量數(shù)據(jù)的處理上更是難以承載,。

2 、硬件封閉,,管理復(fù)雜

傳統(tǒng)存儲是個黑盒子,,設(shè)備管理和數(shù)據(jù)應(yīng)用均無法提供可視化操作,在業(yè)務(wù)數(shù)量越來越多,,數(shù)據(jù)應(yīng)用越來越復(fù)雜的今天,,無可視化操作的管理系統(tǒng)給運維帶來很大的難度。例如 LUN 與主機的映射關(guān)系管理,、 LUN 的性能、容量規(guī)劃管理等都需要一對一的調(diào)整,、管理,。無形中增加了管理難度,提升了運維成本,。

3 ,、數(shù)據(jù)孤島,數(shù)據(jù)難共享利用

數(shù)據(jù)的價值在于利用,,傳統(tǒng)存儲系統(tǒng)常常做到了數(shù)據(jù)存的作用,,但針對數(shù)據(jù)的管理和利用往往差強人意。目前數(shù)據(jù)中心一般都有幾十個到上百個業(yè)務(wù)系統(tǒng),,不同業(yè)務(wù)系統(tǒng)對存儲的需求和使用方式都不一樣,,比如用戶數(shù)據(jù)庫業(yè)務(wù)系統(tǒng)需要有高 IOPS 的塊存儲服務(wù),廣電用戶非線性視頻編輯,、醫(yī)院 PACS 系統(tǒng)需要大容量大吞吐的文件存儲,、對象存儲等等。存儲系統(tǒng)獨立建設(shè),,從而形成數(shù)據(jù)孤島,。對于共享數(shù)據(jù)型業(yè)務(wù)系統(tǒng)建設(shè)或大數(shù)據(jù)業(yè)務(wù)建設(shè)必須繼續(xù)重建獨立基礎(chǔ)架構(gòu)。重復(fù)投資,,架構(gòu)復(fù)雜,,回報率低下。

4 ,、可靠性不足

傳統(tǒng)存儲雖然封閉式獨有硬件設(shè)計,,但在一個引擎情況下,雖然內(nèi)置兩個控制器,,在引擎層面依然存在單點故障風(fēng)險,。在數(shù)據(jù)冗余方面,傳統(tǒng)存儲架構(gòu)通常采用 raid 冗余方式,通過熱備磁盤的方式作為損害磁盤的替換方案,。但 raid 的數(shù)據(jù)重構(gòu),,往往需要整個 raid 組的所有磁盤參與重構(gòu),從而導(dǎo)致重構(gòu)的速度很慢而且性能影響較大,。如果此時此 raid 組再次發(fā)生磁盤損壞,,數(shù)據(jù)丟失一定會發(fā)生。因此,,在可靠性上依然差強人意,。

二、分布式存儲解決之道

分布式存儲采用分布式架構(gòu),,利用標(biāo)準(zhǔn) x86 服務(wù)器構(gòu)建存儲資源池,,消除了專用硬件的依賴性,并提供塊,、文件,、對象等多種存儲服務(wù)。此外,,分布式架構(gòu)實現(xiàn)了多節(jié)點高并發(fā)業(yè)務(wù)處理,,每一個節(jié)點都有數(shù)據(jù)存儲和處理能力,所以整個平臺具備更高性能和更高可靠性,,能夠同時滿足數(shù)據(jù)庫等結(jié)構(gòu)化數(shù)據(jù)高 IOPS 需求和視頻,、圖像等非結(jié)構(gòu)化數(shù)據(jù)高吞吐需求,如下圖所示,。

圖片

三,、分布式存儲的產(chǎn)品價值

1、靈活擴(kuò)展?jié)M足海量數(shù)據(jù)存儲需求

分布式存儲系統(tǒng),,采用Scale-out擴(kuò)展架構(gòu),,可實現(xiàn)超大集群規(guī)模的部署,從3節(jié)點存儲集群起步,,可實現(xiàn)靈活的擴(kuò)展至數(shù)千節(jié)點,。存儲容量可實現(xiàn)一個集群EB級數(shù)據(jù)空間。同時由于分布式架構(gòu),,每一個存儲節(jié)點都可以提供獨立的性能支撐,,在高并發(fā)的數(shù)據(jù)處理中,可以實現(xiàn)更高的存儲性能,,更高的帶寬吞吐和IOPS,。有效的解決海量數(shù)據(jù)高擴(kuò)展和高性能的存儲需求。

2,、彈性擴(kuò)容與替換

由于實現(xiàn)了分布式存儲平臺,,那么此平臺無論多少個節(jié)點都可以看作一個資源池,每一個節(jié)點可以看做這個資源池的一個分子。通過系統(tǒng)預(yù)裝,、軟件優(yōu)化可直接將分子加入到整個平臺之中,,因而,在存儲性能或者容量資源不夠時,,均可以通過添加硬件資源來提升存儲集群的相應(yīng)資源,。

另一方面,由于硬件采用標(biāo)準(zhǔn)化X86服務(wù)器,,并且集群內(nèi)每個節(jié)點均通過軟件系統(tǒng)進(jìn)行統(tǒng)一管理,,在硬件設(shè)備老舊或者故障時,可便捷的直接更換新硬件,,加入集群中,。簡單方便并且對于上層業(yè)務(wù)無感知。友善的提供產(chǎn)品更替,。并且,,更替節(jié)點或者磁盤后,存儲系統(tǒng)將會進(jìn)行自動重建數(shù)據(jù),,平衡各節(jié)點的數(shù)據(jù)分布。此操作無需人工干預(yù)即可自動完成,。降低使用難度,。

3、可視化,、標(biāo)準(zhǔn)化讓管理更簡單

相較于傳統(tǒng)存儲黑盒子的管理方式,,分布式存儲實現(xiàn)了標(biāo)準(zhǔn)硬件的交付,標(biāo)準(zhǔn)硬件服務(wù)器的運維管理會更簡單,。在存儲生命周期過程中的管理具備以下優(yōu)點,。

部署上線:存儲節(jié)點內(nèi)置與硬件深度優(yōu)化后的存儲系統(tǒng),30分鐘即可實現(xiàn)部署上線,。告別傳統(tǒng)的軟件部署安裝,,調(diào)優(yōu)適配,真正實現(xiàn)了開箱即用,。

配置規(guī)劃:按照系統(tǒng)指示,,實現(xiàn)資源分配和管理。資源配置可實現(xiàn)靈活的分配和回收,。配置規(guī)劃全部可視化操作,,無需人工手動記錄對應(yīng)關(guān)系,一切均可直觀使用管理,。

管理運維:直觀的可視化管理設(shè)計,,可實現(xiàn)全集群的一頁管理。硬件的cpu、網(wǎng)絡(luò),、磁盤等健康監(jiān)控,,到邏輯卷、用戶數(shù),、存儲集群的穩(wěn)定運行情況均可動態(tài)展示,,做到實時監(jiān)控預(yù)警。

故障排查:故障排場從傳統(tǒng)的故障告警實現(xiàn)了提前預(yù)防,。分布式存儲可實現(xiàn)集群的健康監(jiān)測,,在故障潛伏期即可實現(xiàn)故障提醒。真正實現(xiàn)故障的提前處理,,防患未然,。

4、統(tǒng)一存儲資源,,實現(xiàn)數(shù)據(jù)共享共用

分布式存儲系統(tǒng)通過統(tǒng)一硬件資源池,,同時提供塊、文件,、對象三種存儲服務(wù),。因而,數(shù)據(jù)中心的數(shù)據(jù)將統(tǒng)一存放到云存儲資源池中,。通過存儲管理系統(tǒng),,可根據(jù)用戶指令實現(xiàn)數(shù)據(jù)的調(diào)動與共享。

另一方面,,存儲系統(tǒng)內(nèi)置數(shù)據(jù)治理,,數(shù)據(jù)分析等于數(shù)據(jù)強相關(guān)的數(shù)據(jù)應(yīng)用系統(tǒng),可實現(xiàn)便捷的數(shù)據(jù)處理,,并將處理好的完整數(shù)據(jù)對接到大數(shù)據(jù)平臺實現(xiàn)大數(shù)據(jù)的分析與應(yīng)用,。便捷的實現(xiàn)數(shù)據(jù)價值的挖掘,助力企業(yè)正在實現(xiàn)數(shù)字化轉(zhuǎn)型,!

5,、更高的可靠性

分布式存儲系統(tǒng)在數(shù)據(jù)冗余方面,通過多副本,、糾刪碼等技術(shù),,不僅可以容忍多磁盤的故障不影響數(shù)據(jù)可靠性,在數(shù)據(jù)重構(gòu)修復(fù)方面效率也大大提升,。由于采用了熱備空間概念,,將原本一塊磁盤重構(gòu)數(shù)據(jù)的壓力均攤到多磁盤上,速度可提升至1T/30min,。另一方面,,由于采用了無中心化設(shè)計,,所有存儲節(jié)點均可承載業(yè)務(wù)系統(tǒng),分布式存儲還能夠容忍服務(wù)器故障,,存儲系統(tǒng)依然穩(wěn)定可用,,可靠性更優(yōu)。

四,、分布式存儲和集中式存儲的對比

圖片


五,、常見的幾種分布式存儲以及應(yīng)用場景

1、HDFS

主要用于大數(shù)據(jù)的存儲場景,,是Hadoop大數(shù)據(jù)架構(gòu)中的存儲組件,。HDFS 在開始設(shè)計的時候,就已經(jīng)明確的它的應(yīng)用場景,,就是大數(shù)據(jù)服務(wù),,主要應(yīng)用于下列幾種場景。

對大文件存儲的性能比較高,,例如幾百兆,,幾個G的大文件。因為HDFS采用的是以元數(shù)據(jù)的方式進(jìn)行文件管理,,而元數(shù)據(jù)的相關(guān)目錄和塊等信息保存在NameNode的內(nèi)存中,, 文件數(shù)量的增加會占用大量的NameNode內(nèi)存。如果存在大量的小文件,,會占用大量內(nèi)存空間,,引起整個分布式存儲性能下降,所以盡量使用HDFS存儲大文件比較合適,。

適合低寫入,多次讀取的業(yè)務(wù),。就大數(shù)據(jù)分析業(yè)務(wù)而言,,其處理模式就是一次寫入、多次讀取,,然后進(jìn)行數(shù)據(jù)分析工作,,HDFS的數(shù)據(jù)傳輸吞吐量比較高,但是數(shù)據(jù)讀取延時比較差,,不適合頻繁的數(shù)據(jù)寫入,。

HDFS采用多副本數(shù)據(jù)保護(hù)機制,使用普通的X86服務(wù)器就可以保障數(shù)據(jù)的可靠性,,不推薦在虛擬化環(huán)境中使用,。

2、Ceph

Ceph是目前應(yīng)用最廣泛的開源分布式存儲系統(tǒng),,已得到眾多廠商的支持,,許多超融合系統(tǒng)的分布式存儲都是基于Ceph深度定制,。而且Ceph已經(jīng)成為LINUX系統(tǒng)和OpenStack的“標(biāo)配”,用于支持各自的存儲系統(tǒng),。Ceph可以提供對象存儲,、塊設(shè)備存儲和文件系統(tǒng)存儲服務(wù),同時支持三種不同類型的存儲服務(wù)的特性,,這是Ceph最鮮明的特點,,主要應(yīng)用于下列幾種場景。

Ceph沒有采用HDFS的元數(shù)據(jù)尋址的方案,,而且采用CRUSH算法,,數(shù)據(jù)分布均衡,并行度高,。而且在支持塊存儲特性上,,數(shù)據(jù)可以具有強一致性,可以獲得傳統(tǒng)集中式存儲的使用體驗,。

對象存儲服務(wù),,Ceph支持Swift和S3的API接口。在塊存儲方面,,支持精簡配置,、快照、克隆,。在文件系統(tǒng)存儲服務(wù)方面,,支持Posix接口,支持快照,。但是目前Ceph支持文件的性能相當(dāng)其他分布式存儲系統(tǒng),,部署稍顯復(fù)雜,性能也稍弱,,一般都將Ceph應(yīng)用于塊和對象存儲,。

Ceph是去中心化的分布式解決方案,需要提前做好規(guī)劃設(shè)計,,對技術(shù)團(tuán)隊的要求能力比較高,。特別是在Ceph擴(kuò)容時,由于其數(shù)據(jù)分布均衡的特性,,會導(dǎo)致整個存儲系統(tǒng)性能的下降,。

3、Swift

主要面向的是對象存儲,,和Ceph提供的對象存儲服務(wù)類似,。主要用于解決非結(jié)構(gòu)化數(shù)據(jù)存儲問題,和Ceph的對象存儲服務(wù)的主要區(qū)別有幾個方面,。

客戶端在訪問對象存儲系統(tǒng)服務(wù)時,,Swift要求客戶端必須訪問Swift網(wǎng)關(guān)才能獲得數(shù)據(jù),。而Ceph使用一個運行在每個存儲節(jié)點上的OSD獲取數(shù)據(jù)信息,沒有一個單獨的入口點,,比 Swift 更靈活一些,。

數(shù)據(jù)一致性方面,Swift的數(shù)據(jù)是最終一致,,在海量數(shù)據(jù)的處理效率上要高一些,,但是主要面向?qū)?shù)據(jù)一致性要求不高,但是對數(shù)據(jù)處理效率要求比較高的對象存儲業(yè)務(wù),。而 Ceph 是始終跨集群強一致性,。主要的應(yīng)用場景,在OpenStack中,,對象存儲服務(wù)使用的就是Swift,,而不是Ceph。

六,、分布式存儲的基本理論

1,、一致性和可用性

由于異常的存在,分布式存儲系統(tǒng)設(shè)計時往往會將數(shù)據(jù)冗余存儲多份,,每一份稱為一個副本,。這樣,當(dāng)某一個節(jié)點出現(xiàn)故障時,,可以從其他副本上讀到數(shù)據(jù),。可以這么認(rèn)為,,副本是分布式存儲系統(tǒng)容錯技術(shù)的唯一手段,。由于多個副本的存在,如何保證副本之間的一致性是整個分布式系統(tǒng)的理論核心,。

數(shù)據(jù)一致性在平常軟件開發(fā)的術(shù)語中能經(jīng)??匆姡话憧梢苑殖扇N類型,,分別為時間一致性、事務(wù)一致性和數(shù)據(jù)一致性,。

時間一致性,,顧名思義,要求所有數(shù)據(jù)組件的數(shù)據(jù)在任意時刻都是完全一致的,。

事務(wù)一致性,,只能存在在事務(wù)開始前的和事務(wù)完成之后,在事務(wù)過程中數(shù)據(jù)有可能不一致,,舉一個簡單的例子進(jìn)行說明,。在銀行轉(zhuǎn)賬過程中,,甲轉(zhuǎn)固定金額一萬元給乙,甲的賬戶金額扣減一萬,,乙的賬戶金額加上一萬,,在事務(wù)開始前和事務(wù)完成之后都能保證甲和乙的帳是對上的,那么這就是事務(wù)一致性,,但是在事務(wù)過程中有可能會出現(xiàn)甲的賬戶金額扣減一萬,, 乙的賬戶金額沒有增加一萬的情況,這就是事務(wù)一致性出現(xiàn)問題,。

數(shù)據(jù)一致性,,在應(yīng)用程序中涉及多個不同的單機事務(wù),只有在所有的單機事務(wù)完成之前和完成之后,,數(shù)據(jù)是完全一致的,。

2、數(shù)據(jù)分布

分布式系統(tǒng)區(qū)別于傳統(tǒng)單機系統(tǒng)在于能夠?qū)?shù)據(jù)分布到多個節(jié)點,,并在多個節(jié)點之間實現(xiàn)負(fù)載均衡,。數(shù)據(jù)分布的方式主要有兩種,一種是哈希分布,,如一致性哈希,,代表系統(tǒng)為

Amazon的Dynamo 系統(tǒng),Openstack的Swift系統(tǒng),;另外一種方法是順序分布,,即每張表格上的數(shù)據(jù)按照主鍵整體有序,代表系統(tǒng)為Google的Bigtable系統(tǒng),。Bigtable 將一張大表根據(jù)主鍵切分為有序的范圍,,每個有序范圍是一個子表。

3,、復(fù)制

為了保證分布式存儲系統(tǒng)的高可靠和高可用,,數(shù)據(jù)在系統(tǒng)中一般存儲多個副本。當(dāng)某個副本所在的存儲節(jié)點出現(xiàn)故障時,,分布式存儲系統(tǒng)能夠自動將服務(wù)切換到其他的副本,,從而實現(xiàn)自動容錯。分布式存儲系統(tǒng)通過復(fù)制協(xié)議將數(shù)據(jù)同步到多個存儲節(jié)點,,并確保多個副本之間的數(shù)據(jù)一致性,。

4、分布式協(xié)議

分布式協(xié)議有很多,,其中以兩階段提交和Paxos協(xié)議最具代表性,。兩階段提交協(xié)議(2PC)或三階段提交(3PC)用于保證跨多個節(jié)點操作的原子性,也就是說,,跨多個節(jié)點的操作要么在所有節(jié)點上全部執(zhí)行成功,,要么全部失敗,。Paxos 協(xié)議用于確保多個節(jié)點對某個投票(例如哪個節(jié)點為主節(jié)點)達(dá)成一致。

七,、分布式存儲在數(shù)據(jù)治理過程中的定位

為構(gòu)建數(shù)據(jù)治理體系,,企業(yè)不僅要結(jié)合業(yè)務(wù)需求合理規(guī)劃,更要依托信息技術(shù)疏理數(shù)據(jù)內(nèi)容,、安全存儲數(shù)據(jù),、高效利用數(shù)據(jù),存儲系統(tǒng)必然是重要支撐?,F(xiàn)階段,,多數(shù)企業(yè)傾向于通過搭建數(shù)據(jù)湖(Data Lake)來存儲包括結(jié)構(gòu)化、半結(jié)構(gòu)化,、非結(jié)構(gòu)化數(shù)據(jù)在內(nèi)的數(shù)據(jù)資源,,以供上層調(diào)用。這樣一來,,分布式存儲在企業(yè)數(shù)據(jù)治理體系中,,無疑扮演著重要角色。

那么,,分布式存儲,、數(shù)據(jù)湖、數(shù)據(jù)治理之間有何關(guān)系呢,?本質(zhì)上,,分布式存儲是提供存儲功能和特性的軟件,它將數(shù)據(jù)從硬件架構(gòu)上解放出來,,使用戶專注于數(shù)據(jù)蘊含的價值,。分布式存儲通過統(tǒng)一的虛擬管理平臺,與前端應(yīng)用,、管理程序,、物理空間進(jìn)行交互,極大簡化數(shù)據(jù)管理,。數(shù)據(jù)湖是以自然格式存儲的數(shù)據(jù)的系統(tǒng),,一般包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù),、非結(jié)構(gòu)化數(shù)據(jù)和二進(jìn)制數(shù)據(jù)等全部原始數(shù)據(jù)資源,。簡而言之,要實現(xiàn)數(shù)據(jù)存儲和管理的優(yōu)化,,基于分布式存儲搭建統(tǒng)一數(shù)據(jù)湖無疑是極佳的選擇。

底層硬件設(shè)備提供物理存儲空間,,存儲引擎統(tǒng)籌硬件資源搭建數(shù)據(jù)湖存儲,,數(shù)據(jù)湖用來存儲所有的原始數(shù)據(jù)資源,,數(shù)據(jù)湖引擎根據(jù)業(yè)務(wù)應(yīng)用的需求靈活調(diào)用數(shù)據(jù)湖中的數(shù)據(jù),用以跨業(yè)務(wù)檢索或數(shù)據(jù)共享等,,還可以通過 AI,、大數(shù)據(jù)分析等應(yīng)用挖掘數(shù)據(jù)價值。分布式存儲以分布式架構(gòu),、彈性擴(kuò)展,、海量數(shù)據(jù)支撐、管理運維簡單等優(yōu)勢,,幫助企業(yè)搭建穩(wěn)定可靠的數(shù)據(jù)平臺,,輕松實現(xiàn)海量數(shù)據(jù)的存儲和管理,依靠AI 后處理框架挖掘數(shù)據(jù)價值,,成為企業(yè)治理數(shù)據(jù)的好幫手,。

八、分布式存儲在數(shù)據(jù)治理過程中的優(yōu)勢

一般來說,,分布式存儲在數(shù)據(jù)治理過程中的優(yōu)勢作為分布式底座而存在,,在很多企業(yè)中,稱之為數(shù)據(jù)中臺,。

數(shù)據(jù)中臺解決方案,,以分布式存儲作為能力后臺,為數(shù)據(jù)中臺提供存儲支撐,?;诜植际郊軜?gòu)搭建統(tǒng)一存儲池;通過生命周期管理,、智能QoS等實現(xiàn)自動化管理,;集成AI后處理框架,整合企業(yè)現(xiàn)有的AI 能力,,將數(shù)據(jù)價值最大化釋放,,為企業(yè)提供數(shù)據(jù)治理的技術(shù)支持。數(shù)據(jù)中臺解決方案能夠幫助企業(yè)解決數(shù)據(jù)孤島,、實現(xiàn)數(shù)據(jù)有序治理和高效利用,,一般有下列幾種優(yōu)勢。

1,、解決海量存儲需求

針對企業(yè)缺乏統(tǒng)一數(shù)據(jù)視圖,、存在數(shù)據(jù)孤島等問題,分布式存儲因其抽象化,、池化等特性,,從根本上解決了這類問題。軟硬件解耦使得存儲軟件不再依賴于專有硬件。通過虛擬化,,將物理存儲空間虛擬成統(tǒng)一資源池,,建立統(tǒng)一命名空間,構(gòu)建多業(yè)務(wù)共享的數(shù)據(jù)湖,,讓數(shù)據(jù)自由分配,、使用和調(diào)度,消除信息孤島,,提高資源利用率,。其全分布式架構(gòu),彈性擴(kuò)展靈活,,支撐EB級容量,,滿足企業(yè)對容量、性能等需求,。針對元數(shù)據(jù),、主數(shù)據(jù)管理等問題亦有應(yīng)對之策。所有節(jié)點軟硬件配置完全對等,,無獨立的元數(shù)據(jù)或管理節(jié)點,,數(shù)據(jù)均衡分布在每個節(jié)點上,任一節(jié)點故障不會影響讀寫訪問,,輕松實現(xiàn)按需部署,、平滑擴(kuò)容。

2,、解決智能管理需求

分布式存儲提供豐富的API,,根據(jù)業(yè)務(wù)應(yīng)用要求,自動按需部署存儲資源,,實現(xiàn)基于存儲策略的自動化管理目標(biāo),,極大地簡化管理,節(jié)省基礎(chǔ)設(shè)施投入,,降低運維成本,。其自定義管理的策略,實現(xiàn)生命周期自動化管理,;通過智能緩存,、數(shù)據(jù)分層等特性,讓存儲介質(zhì)“物盡其用”,,在數(shù)據(jù)訪問性能和存儲成本之間實現(xiàn)平衡,。

3、解決數(shù)據(jù)價值釋放需求

伴隨 AI 技術(shù)的興起,,數(shù)據(jù)治理開始向“智能化”轉(zhuǎn)變,。與傳統(tǒng)存儲不同,,分布式存儲能夠?qū)崿F(xiàn)內(nèi)容感知,配合前端應(yīng)用對海量數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析和價值挖掘,。目前絕大多數(shù)的數(shù)據(jù)中臺解決方案,,均集成了AI后處理框架,幫助企業(yè)更好的實現(xiàn) AI 賦能和價值挖掘,;同時還支持 Hadoop、Spark 等大數(shù)據(jù)分析系統(tǒng),,充分釋放數(shù)據(jù)價值,。面對諸多難題,分布式存儲幫助企業(yè)打造智能化的數(shù)據(jù)治理平臺,,解決數(shù)據(jù)的存儲,、管理、共享等一系列問題,,極大地提升數(shù)據(jù)治理水平,,為數(shù)字化轉(zhuǎn)型提供有力支撐。

九,、結(jié)語

隨著數(shù)字化轉(zhuǎn)型的進(jìn)程不斷推進(jìn),,企業(yè)逐步深刻認(rèn)識數(shù)據(jù)資源對數(shù)字化轉(zhuǎn)型的重要意義,促使相關(guān)的數(shù)據(jù)工具技術(shù)也不斷的迭代和更新,。分布式存儲在未來以更快的性能,、更高的靈活性和開放性、更強的擴(kuò)展性,,實現(xiàn)更便捷的管理,、更簡單的運維以及更少的投入,幫助企業(yè)在數(shù)據(jù)治理過程中更好的進(jìn)行企業(yè)數(shù)據(jù)的管理,、保護(hù)和變現(xiàn),。

原題:分布式存儲在數(shù)據(jù)治理場景中價值定位及優(yōu)勢解讀

    本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間,所有內(nèi)容均由用戶發(fā)布,,不代表本站觀點,。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息,,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請點擊一鍵舉報,。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多