劉現(xiàn)印山東省國土測繪院,,山東 濟(jì)南 250013 摘要:大數(shù)據(jù)時代對地理信息數(shù)據(jù)管理,、應(yīng)用和服務(wù)提出了新的要求。分析了我國地理信息數(shù)據(jù)管理及應(yīng)用存在的問題,,以山東省為例闡述了地理信息時空大數(shù)據(jù)中心的建設(shè)思路,,對基礎(chǔ)設(shè)施建設(shè)、地理信息資源數(shù)據(jù)庫構(gòu)建,、數(shù)據(jù)整合技術(shù)以及應(yīng)用服務(wù)系統(tǒng)開發(fā)進(jìn)行了深入分析,。本研究可以提升地理信息資源的管理和應(yīng)用服務(wù)水平,具備較為廣闊的應(yīng)用前景,。 關(guān)鍵詞: 論文引用格式: 劉現(xiàn)印.東省地理信息時空大數(shù)據(jù)中心建設(shè)方法. 大數(shù)據(jù)[J], 2019, 5(5):89-99 LIU X Y.Construction methods of geographic information spacetime big data center in Shandong Province.Big Data Research[J], 2019, 5(5):89-99 1 引言 近年來,,大數(shù)據(jù)、物聯(lián)網(wǎng),、云計算等新興信息技術(shù)得到了快速發(fā)展,,很多國家在積極實施大數(shù)據(jù)戰(zhàn)略,推進(jìn)各類數(shù)據(jù)資源的開放共享,。2012年美國啟動了“大數(shù)據(jù)研究和發(fā)展計劃”,,2014年美國建立了猶他州大數(shù)據(jù)中心,實現(xiàn)了對互聯(lián)網(wǎng)數(shù)據(jù),、地理信息數(shù)據(jù),、遙感影像數(shù)據(jù)、通信數(shù)據(jù)等的集中存儲和統(tǒng)一管理,,相關(guān)部門可以根據(jù)各自承擔(dān)的職責(zé)與需要來分析,、處理和使用這些數(shù)據(jù)。如今大數(shù)據(jù)撼動了社會的方方面面,,尤其是商業(yè)科技,、教育、醫(yī)療,、環(huán)境,、交通、生物,、政府服務(wù),、地理信息等領(lǐng)域,并催生了各行各業(yè)持續(xù)變革的力量,。在我國,,信息技術(shù)行業(yè)最早開展了大數(shù)據(jù)的研究與應(yīng)用,,目前大數(shù)據(jù)已在網(wǎng)上購物、市場營銷,、在線醫(yī)療,、視頻監(jiān)控、人工智能,、金融服務(wù)等領(lǐng)域發(fā)揮著重要作用,。我國的測繪地理信息行業(yè)也非常重視大數(shù)據(jù)的研究和應(yīng)用?!稖y繪地理信息部門“十三五”信息化規(guī)劃》從管理,、應(yīng)用和服務(wù)層面對時空地理信息數(shù)據(jù)的發(fā)展進(jìn)行了新的規(guī)劃,提出了更高的標(biāo)準(zhǔn),,要求在2020年前基本建成測繪地理信息服務(wù)體系,,初步建成時空地理信息大數(shù)據(jù)體系,基本實現(xiàn)各類地理信息數(shù)據(jù)的有效集成服務(wù),,大幅提升時空地理信息智能化管理與數(shù)據(jù)交換技術(shù)能力和水平,。 我國原有的地理信息數(shù)據(jù)在生產(chǎn)、存儲管理與應(yīng)用服務(wù)過程中存在著數(shù)據(jù)生產(chǎn)項目化,、存儲離散化,、管理煙囪式、難以進(jìn)行整合應(yīng)用,、服務(wù)類型單一等問題,,無法滿足當(dāng)前測繪地理信息數(shù)據(jù)獲取速度越來越快、新數(shù)據(jù)類型不斷出現(xiàn)以及社會各界越來越個性化的應(yīng)用需求,。為了解決上述問題,,國家自然資源管理部門積極推動地理信息時空大數(shù)據(jù)中心的建設(shè),目前國家基礎(chǔ)地理信息中心和浙江省,、海南省,、貴州省、山東省,、陜西省以及黑龍江省等省份的測繪地理信息數(shù)據(jù)管理部門已經(jīng)開始了各自的地理信息時空大數(shù)據(jù)中心建設(shè),。 本文根據(jù)山東省地理信息時空大數(shù)據(jù)中心建設(shè)的內(nèi)容和實現(xiàn)方法,闡述了一種利用大數(shù)據(jù),、云計算,、空間地理信息等技術(shù)構(gòu)建集中統(tǒng)一,、陸海一體的山東省地理信息時空大數(shù)據(jù)資源體系,,結(jié)合云基礎(chǔ)設(shè)施搭建高效開放的時空大數(shù)據(jù)應(yīng)用系統(tǒng),推進(jìn)地理信息時空大數(shù)據(jù)服務(wù)模式升級與應(yīng)用創(chuàng)新,。從而形成基于大數(shù)據(jù)等新型信息技術(shù)的管理,、應(yīng)用和服務(wù)體系,,形成以“混合存儲、動態(tài)整合,、集成管理,、聯(lián)動更新、開放共享,、按需服務(wù)”為典型技術(shù)特征的地理信息時空大數(shù)據(jù)中心建設(shè)思路,,進(jìn)而全面提升地理信息服務(wù)保障能力。 2 山東省地理信息時空大數(shù)據(jù)中心建設(shè)方法2.1 總體技術(shù)架構(gòu)系統(tǒng)總體架構(gòu)設(shè)計模式可分為分層架構(gòu),、事件驅(qū)動架構(gòu),、微核架構(gòu)和微服務(wù)架構(gòu)等。其中,,分層架構(gòu)模式采用“高內(nèi)聚,、低耦合”的思想,將一個龐大的系統(tǒng)工程分解為不同的任務(wù)組,,能夠更加方便地進(jìn)行系統(tǒng)維護(hù),,非常適合山東省地理信息時空大數(shù)據(jù)中心這類超大型項目的建設(shè)與實施。為此本研究采用分層架構(gòu)模式,,其總體技術(shù)架構(gòu)主要包括基礎(chǔ)支撐層,、數(shù)據(jù)資源層、軟件服務(wù)層,、專題應(yīng)用層等(如圖1所示),。 圖1 總體技術(shù)架構(gòu) (1)基礎(chǔ)支撐層 基礎(chǔ)支撐層是時空大數(shù)據(jù)中心運行的軟件、硬件環(huán)境,。本研究將構(gòu)建私有云環(huán)境,,通過云平臺管理軟件將存儲資源、計算資源,、網(wǎng)絡(luò)資源,、安全防護(hù)資源等進(jìn)行池化,實現(xiàn)上述資源的統(tǒng)一調(diào)度和動態(tài)分配,。本研究還將在云平臺基礎(chǔ)上搭建空間大數(shù)據(jù)基礎(chǔ)框架,,將分布式計算框架與地理信息系統(tǒng)(geographic information system,GIS)基礎(chǔ)平臺進(jìn)行深度融合,,實現(xiàn)支持分布式文件系統(tǒng),、非關(guān)系型數(shù)據(jù)庫、空間數(shù)據(jù)庫的混合存儲框架能力以及支持高性能并行計算和分布式空間計算的混合計算框架能力,,為數(shù)據(jù)存儲,、軟件服務(wù)及專題應(yīng)用提供基礎(chǔ)支撐。 (2)數(shù)據(jù)資源層 數(shù)據(jù)資源層是時空大數(shù)據(jù)中心建設(shè)的核心,。通過對已有的測繪基準(zhǔn)數(shù)據(jù),、地形要素數(shù)據(jù),、地理國(省)情數(shù)據(jù),、原始影像數(shù)據(jù),、市縣基礎(chǔ)地理信息數(shù)據(jù)、檔案資料以及各類行業(yè)專題數(shù)據(jù)進(jìn)行動態(tài)匯聚,,形成匯集庫,。對上述數(shù)據(jù)資源進(jìn)行對比,制定數(shù)據(jù)融合標(biāo)準(zhǔn),,建設(shè)包含地理空間要素,、遙感影像、地形數(shù)據(jù),、三維模型,、地名地址、公共專題六大類數(shù)據(jù)在內(nèi)的資源數(shù)據(jù)庫,。根據(jù)專題應(yīng)用的需要對資源數(shù)據(jù)進(jìn)一步處理,,形成服務(wù)庫。服務(wù)庫包括電子地圖,、專題地圖,、標(biāo)準(zhǔn)地形圖和新型地理信息產(chǎn)品等。 (3)軟件服務(wù)層 軟件服務(wù)層通過開發(fā)軟件和工具為內(nèi)部數(shù)據(jù)管理與外部專題應(yīng)用提供技術(shù)支撐,。構(gòu)建時空大數(shù)據(jù)管理系統(tǒng),,實現(xiàn)對數(shù)據(jù)資源層數(shù)據(jù)的整合加工、混合存儲,、統(tǒng)一管理和共享交換,,實現(xiàn)各類數(shù)據(jù)資源的合理組織、有序流動和聯(lián)動更新,。構(gòu)建時空大數(shù)據(jù)服務(wù)系統(tǒng),,為用戶提供空間一張圖服務(wù)、地理編碼服務(wù),、在線定制服務(wù),、成果分發(fā)服務(wù)、大數(shù)據(jù)分析挖掘與可視化服務(wù)等時空信息數(shù)據(jù)服務(wù)支撐,。另外,,還要對已有的專項業(yè)務(wù)管理系統(tǒng)進(jìn)行技術(shù)架構(gòu)升級,使其融入大數(shù)據(jù)中心的結(jié)構(gòu)體系中,。 (4)專題應(yīng)用層 專題應(yīng)用層依托時空大數(shù)據(jù)中心的數(shù)據(jù)資源與軟件服務(wù)能力,,與其他部門的專題數(shù)據(jù)相結(jié)合,實現(xiàn)對內(nèi),、對外的專題應(yīng)用,。對內(nèi),為單位的主要業(yè)務(wù)(如應(yīng)急測繪,、地理信息公共服務(wù)平臺)提供數(shù)據(jù)和技術(shù)支撐,;對外,為對山東省經(jīng)濟(jì)社會發(fā)展有較大影響的社會熱點(如鄉(xiāng)村振興,、離任審計等)提供權(quán)威的地理信息數(shù)據(jù)及服務(wù)支撐,。 (5)標(biāo)準(zhǔn)規(guī)范體系 標(biāo)準(zhǔn)規(guī)范的制定是時空大數(shù)據(jù)中心規(guī)范有序、穩(wěn)定運營的重要保障,。本研究中將建立大數(shù)據(jù)基礎(chǔ)類,、資源類、應(yīng)用服務(wù)類和運行支撐類等地理信息時空大數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn),,為數(shù)據(jù)資源整合,、數(shù)據(jù)庫建設(shè)、數(shù)據(jù)挖掘,、數(shù)據(jù)應(yīng)用和資源服務(wù)等工作提供操作依據(jù)和規(guī)范流程,。 (6)安全防護(hù)體系 總體技術(shù)架構(gòu)將嚴(yán)格遵循國家的有關(guān)規(guī)定和要求,構(gòu)建時空大數(shù)據(jù)中心的安全技術(shù)體系和安全管理體系,,綜合管理和技術(shù)兩個方面的要求,,建立信息系統(tǒng)綜合防護(hù)體系,實現(xiàn)技術(shù)措施和管理措施的有機(jī)結(jié)合,,提升系統(tǒng)的安全保護(hù)能力,。 山東省地理信息時空大數(shù)據(jù)中心是一個系統(tǒng)性工程,涉及的內(nèi)容很多,,但是其核心的內(nèi)容是基礎(chǔ)設(shè)施建設(shè),、時空大數(shù)據(jù)庫建設(shè)和應(yīng)用系統(tǒng)建設(shè),由于文章篇幅的限制,,下面將著重介紹上述3個方面的內(nèi)容,。 2.2 基礎(chǔ)設(shè)施建設(shè)基礎(chǔ)設(shè)施建設(shè)主要包括網(wǎng)絡(luò)資源、存儲資源,、計算資源及云環(huán)境等方面的建設(shè),。其中網(wǎng)絡(luò)資源建設(shè)將采用萬兆網(wǎng)絡(luò)互聯(lián),確保40 Gbit/s的網(wǎng)絡(luò)傳輸,,實現(xiàn)服務(wù)器和交換機(jī)之間10 Gbit/s的網(wǎng)絡(luò)傳輸,;保持存儲接口網(wǎng)絡(luò)整體性能大于2 GB/s。存儲資源將由兩臺磁盤陣列組成,,擁有450 TB的容量,,且支持?jǐn)U容。計算資源將采購含英特爾至強(qiáng)第14代CPU的數(shù)據(jù)庫服務(wù)器4臺,,應(yīng)用服務(wù)器,、渲染服務(wù)器和瓦片服務(wù)器8臺,,終端計算機(jī)10臺。本研究將采用國產(chǎn)自主化云管理平臺構(gòu)建私有云環(huán)境,,通過云平臺提供的輕量級虛擬化技術(shù),、分布式文件系統(tǒng)技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)和硬件設(shè)備透傳技術(shù),,將上述服務(wù)器,、存儲、計算和網(wǎng)絡(luò)資源統(tǒng)一池化,,實現(xiàn)統(tǒng)一管理,、彈性伸縮、自助服務(wù),。 2.3 時空大數(shù)據(jù)庫建設(shè)2.3.1 時空數(shù)據(jù)庫總體設(shè)計 數(shù)據(jù)資源體系建設(shè)是山東省地理信息時空大數(shù)據(jù)中心建設(shè)的重點,。時空大數(shù)據(jù)中心數(shù)據(jù)資源包括匯集數(shù)據(jù)庫、資源數(shù)據(jù)庫,、服務(wù)數(shù)據(jù)庫以及目錄與元數(shù)據(jù)庫4個部分(如圖2所示),,全省地理信息時空數(shù)據(jù)在此進(jìn)行匯集、整合與輸出,。 (1)匯集數(shù)據(jù)庫 未建庫數(shù)據(jù)按照數(shù)據(jù)來源進(jìn)行組織,,通過對數(shù)據(jù)的收集、分類,、整理進(jìn)行數(shù)據(jù)建庫,,已建庫成果則直接通過數(shù)據(jù)模型轉(zhuǎn)換與接入的形式納入?yún)R集數(shù)據(jù)庫,為資源數(shù)據(jù)庫建設(shè)打下基礎(chǔ),。 圖2 數(shù)據(jù)庫總體設(shè)計 (2)資源數(shù)據(jù)庫 資源數(shù)據(jù)庫是對匯集數(shù)據(jù)庫的數(shù)據(jù)按照大數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范進(jìn)行對比,、整合與歸一化形成的,根據(jù)數(shù)據(jù)類型和應(yīng)用服務(wù)的需要進(jìn)行數(shù)據(jù)庫內(nèi)容組織,,是時空大數(shù)據(jù)的核心數(shù)據(jù)庫,,其作用在于為服務(wù)數(shù)據(jù)庫提供覆蓋全省的、多時態(tài)的數(shù)據(jù)支撐,。地理空間要素數(shù)據(jù)需要實現(xiàn)匯集數(shù)據(jù)中地形要素,、地理國情信息數(shù)據(jù)以及市縣基礎(chǔ)地理信息數(shù)據(jù)的融合,是資源庫建設(shè)的核心,。 (3)服務(wù)數(shù)據(jù)庫 根據(jù)用戶需求提取資源數(shù)據(jù)庫中的相關(guān)內(nèi)容進(jìn)行深加工,,形成多樣化的地理信息數(shù)據(jù)產(chǎn)品,并按照地圖種類在服務(wù)數(shù)據(jù)庫中進(jìn)行組織管理,,目的是更好地發(fā)揮時空大數(shù)據(jù)資源的價值,。 (4)目錄與元數(shù)據(jù)庫 在充分銜接山東省測繪成果網(wǎng)絡(luò)化分發(fā)服務(wù)系統(tǒng)和國家地理信息資源目錄服務(wù)系統(tǒng)的基礎(chǔ)上,構(gòu)建面向管理、應(yīng)用與服務(wù)的統(tǒng)一資源目錄體系,,采用元數(shù)據(jù)對各類時空大數(shù)據(jù)資源進(jìn)行描述,,形成規(guī)范的目錄內(nèi)容。 2.3.2 時空大數(shù)據(jù)資源建設(shè)流程 依據(jù)時空大數(shù)據(jù)中心數(shù)據(jù)資源建設(shè)的目標(biāo),,在分析業(yè)務(wù)需要的基礎(chǔ)上,,以目前收集的各類型地理信息數(shù)據(jù)為基礎(chǔ),以數(shù)據(jù)整合改造技術(shù)為紐帶,,實現(xiàn)基礎(chǔ)地理信息數(shù)據(jù)資源的建庫管理,并為應(yīng)用系統(tǒng)提供基礎(chǔ)數(shù)據(jù)支撐,。數(shù)據(jù)資源建設(shè)采用工作流的方式逐步推進(jìn),,根據(jù)操作的先后順序,將整個過程分為8個環(huán)節(jié)(如圖3所示),。 圖3 數(shù)據(jù)資源建設(shè)流程 2.3.3 時空大數(shù)據(jù)存儲框架 時空大數(shù)據(jù)存儲整合了多種存儲模式,,對外提供統(tǒng)一的、開放的數(shù)據(jù)存取訪問接口,,提供時空大數(shù)據(jù)統(tǒng)一存取服務(wù),,以支撐上層應(yīng)用開發(fā)分布式、并行計算應(yīng)用,??臻g大數(shù)據(jù)存儲框架是在傳統(tǒng)關(guān)系數(shù)據(jù)庫、共享文件系統(tǒng)基礎(chǔ)上,,擴(kuò)展并綜合利用NoSQL數(shù)據(jù)庫,、分布式文件系統(tǒng),形成面向空間大數(shù)據(jù)的關(guān)系數(shù)據(jù)庫集群,、NoSQL數(shù)據(jù)庫集群,、分布式文件系統(tǒng)集群的混合存儲框架,并在此基礎(chǔ)上提供規(guī)范化的數(shù)據(jù)存取接口(如圖4所示),。 圖4 時空大數(shù)據(jù)存儲框架 2.4 應(yīng)用系統(tǒng)建設(shè)應(yīng)用系統(tǒng)是大數(shù)據(jù)中心的核心技術(shù)支撐,,也是開展時空大數(shù)據(jù)管理、應(yīng)用與服務(wù)的主要技術(shù)手段,。它由數(shù)據(jù)管理系統(tǒng),、數(shù)據(jù)服務(wù)系統(tǒng)和業(yè)務(wù)管理系統(tǒng)三大系統(tǒng)19個子系統(tǒng)組成(如圖5所示),其依托空間大數(shù)據(jù)基礎(chǔ)框架和大數(shù)據(jù)資源體系為大數(shù)據(jù)中心內(nèi)部用戶提供統(tǒng)一管理抓手,,實現(xiàn)大數(shù)據(jù)資源的多源匯集,、動態(tài)整合、按需加工以及一體化集成管理與應(yīng)用能力,;為大數(shù)據(jù)中心外部用戶提供多樣化服務(wù),,根據(jù)應(yīng)用需求提供數(shù)據(jù)在線服務(wù)、共享服務(wù)、處理服務(wù),、分析服務(wù)等各類智能化服務(wù),。 圖5 應(yīng)用系統(tǒng)總體設(shè)計 2.4.1 數(shù)據(jù)管理系統(tǒng)建設(shè) 數(shù)據(jù)管理系統(tǒng)主要由6個子系統(tǒng)構(gòu)成(如圖5所示),它是地理信息時空數(shù)據(jù)資源建設(shè)的管理手段,,為地理信息時空數(shù)據(jù)資源的整合加工,、綜合管理和數(shù)據(jù)更新提供完備的軟件支撐。數(shù)據(jù)管理系統(tǒng)各子系統(tǒng)均采用服務(wù)器/客戶機(jī)(client/server,, C/S)架構(gòu),,建設(shè)過程中采用國產(chǎn)自主化組件GIS平臺和開源數(shù)據(jù)庫軟件。 (1)主要技術(shù)路線 ● 采用EA(enterprise architect)作為主要設(shè)計工具,、Visual Studio 2012作為開發(fā)環(huán)境,,綜合數(shù)據(jù)庫管理系統(tǒng)、服務(wù)產(chǎn)品加工工具,、資源目錄管理系統(tǒng)采用開發(fā)效率較高的C#作為開發(fā)語言,。由于數(shù)據(jù)整合系統(tǒng)、聯(lián)動更新系統(tǒng)和集成展示系統(tǒng)要進(jìn)行較多的耗時操作,,因此采用執(zhí)行效率較高的C 作為開發(fā)語言,,同時采用并行處理技術(shù),使數(shù)據(jù)編輯操作實現(xiàn)秒級響應(yīng),,數(shù)據(jù)更新效率較原有模式提升1倍,,展示效率提升2倍以上。 ● 為了對矢量數(shù)據(jù)進(jìn)行形象直觀的顯示,,定義矢量數(shù)據(jù)存儲管理模型,,主體基于空間數(shù)據(jù)庫進(jìn)行物理實現(xiàn),完成矢量數(shù)據(jù)的時空化管理,。該模型能夠支持在標(biāo)準(zhǔn)的數(shù)據(jù)庫管理系統(tǒng)中存儲和管理地理信息,,可以實現(xiàn)對海量地理信息數(shù)據(jù)的高效存儲、多用戶并發(fā)操作和空間數(shù)據(jù)無縫管理,。 ● 為了兼顧數(shù)據(jù)管理與讀取速度的要求,,基于空間數(shù)據(jù)庫與文件系統(tǒng)的混合存儲架構(gòu)實現(xiàn)文件資料數(shù)據(jù)的存儲管理。對數(shù)據(jù)量相對較小的矢量數(shù)據(jù)采用空間數(shù)據(jù)庫進(jìn)行存儲,,對數(shù)據(jù)量相對較大的遙感影像數(shù)據(jù)采用文件系統(tǒng)進(jìn)行存儲,。采用該技術(shù)能夠為上層業(yè)務(wù)和應(yīng)用提供穩(wěn)健、高效的實時數(shù)據(jù)服務(wù),。 ● 同其他數(shù)據(jù)庫相比,,MongoDB和SQLite數(shù)據(jù)庫具有更高的插入速度、良好的可擴(kuò)展性,、高效的查詢速度等特點,,因此采用MongoDB、SQLite實現(xiàn)矢量瓦片數(shù)據(jù)的存儲管理。其中,,MongoDB數(shù)據(jù)庫提供瓦片數(shù)據(jù)的網(wǎng)絡(luò)管理解決方案,, SQLite數(shù)據(jù)庫提供矢量瓦片數(shù)據(jù)的本地管理解決方案。經(jīng)實驗,,采用該種方式,,入庫效率較傳統(tǒng)方式提升2~3倍,訪問時間縮短1/3,。 ● 基于國產(chǎn)自主化組件GIS平臺與空間大數(shù)據(jù)基礎(chǔ)框架開發(fā),,由組件GIS提供空間數(shù)據(jù)可視化控件、工具包,、空間數(shù)據(jù)模型,、圖層方案以及空間數(shù)據(jù)的讀寫、查詢,、瀏覽,、分析和管理功能,,由空間大數(shù)據(jù)基礎(chǔ)框架實現(xiàn)底層數(shù)據(jù)分布式混合存儲與分布式計算,。 ● XML是一種優(yōu)秀的數(shù)據(jù)格式,越來越多的數(shù)據(jù)和文檔資料開始用XML語言編寫,。本研究采用XML技術(shù)作為持久化技術(shù),,用于方案、元數(shù)據(jù),、配置信息等的存儲,。采用該方式可以完成復(fù)雜數(shù)據(jù)結(jié)構(gòu)和具備層次特征數(shù)據(jù)的持久化,并使檢索速度較原有方式提升50%,。 (2)系統(tǒng)主要功能 ● 數(shù)據(jù)整合系統(tǒng):對匯集庫中全省地理空間信息資源進(jìn)行統(tǒng)一規(guī)劃,、整合處理,切實解決當(dāng)前地理空間數(shù)據(jù)資源標(biāo)準(zhǔn)不統(tǒng)一,、縣市差異性等問題,,使數(shù)據(jù)滿足大數(shù)據(jù)業(yè)務(wù)的應(yīng)用需求。 ● 服務(wù)產(chǎn)品加工工具:對地理空間要素,、地名地址,、影像、地形,、三維模型以及行業(yè)專題等各類資源數(shù)據(jù)進(jìn)行流程化的服務(wù)數(shù)據(jù)制作,,形成服務(wù)類數(shù)據(jù)成果,滿足個性化,、定制化和多樣化的地理信息服務(wù)應(yīng)用需求,。 ● 綜合數(shù)據(jù)庫管理系統(tǒng):提供各類數(shù)據(jù)模型,并完成與數(shù)據(jù)源的對接,提供一致性的數(shù)據(jù)資源視圖,,屏蔽數(shù)據(jù)資源的物理存儲細(xì)節(jié),,實現(xiàn)對匯集庫、資源庫,、服務(wù)庫數(shù)據(jù)內(nèi)容的管理,。 ● 聯(lián)動更新系統(tǒng):自動識別匯集數(shù)據(jù)庫的基礎(chǔ)地理信息變化情況,并推送至工作空間,,基于更新范圍進(jìn)行更新任務(wù)規(guī)劃,,并依據(jù)要素關(guān)聯(lián)規(guī)則,自動進(jìn)行整合更新,,形成面向地理空間要素更新的增量數(shù)據(jù),。 ● 資源目錄管理系統(tǒng):以共享分發(fā)為目標(biāo),提供數(shù)據(jù)資源編目組織與元數(shù)據(jù)管理能力以及目錄與元數(shù)據(jù)定制發(fā)布能力,,支撐大數(shù)據(jù)中心庫存內(nèi)容的快速定位與分發(fā),。 ● 集成展示系統(tǒng):提供二維、三維集成展示環(huán)境,,采用專題圖,、統(tǒng)計圖表、熱力圖等多種方式展示大數(shù)據(jù)中心的空間數(shù)據(jù),、屬性數(shù)據(jù)和文件數(shù)據(jù)等,。 2.4.2 數(shù)據(jù)服務(wù)系統(tǒng)建設(shè) 數(shù)據(jù)服務(wù)系統(tǒng)是時空大數(shù)據(jù)中心的服務(wù)窗口,目的是高效共享時空大數(shù)據(jù),,充分發(fā)掘時空大數(shù)據(jù)的潛能,,為社會各界提供全面深入的多樣化服務(wù)能力。數(shù)據(jù)服務(wù)系統(tǒng)由8個子系統(tǒng)構(gòu)成(如圖5所示),,除移動終端應(yīng)用系統(tǒng)采用移動設(shè)備/服務(wù)器(mobile/server,,M/S)架構(gòu)外,其余均采用瀏覽器/服務(wù)器(browser/server,, B/S)架構(gòu),。由于B/S架構(gòu)的系統(tǒng)反應(yīng)速度普遍比C/S架構(gòu)的系統(tǒng)慢,因此,,對于數(shù)據(jù)服務(wù)系統(tǒng)來說,,提升系統(tǒng)的反應(yīng)速度非常關(guān)鍵。 (1)主要技術(shù)路線 ● 由于時空大數(shù)據(jù)中心涉及的數(shù)據(jù)種類多,、數(shù)據(jù)量大,、版本多、標(biāo)準(zhǔn)不統(tǒng)一,,極易引起數(shù)據(jù)的混亂,。為此本研究采用地理編碼技術(shù),,利用大數(shù)據(jù)中心提供的地理編碼服務(wù)能力,支撐各類非空間化行業(yè)專題信息的空間化上圖(上圖指將一些通過常規(guī)手段無法展現(xiàn)在地圖上的專題信息展現(xiàn)在地圖上),、分析挖掘與應(yīng)用,。 ● 對于B/S架構(gòu)的系統(tǒng)來說,檢索速度的快慢是其成功與否的關(guān)鍵,。為此本研究將采用分詞技術(shù),、成熟的Solr搜索引擎,對地名地址,、興趣點(point of interest,,POI)、行政區(qū)劃,、水系,、道路等多種對象構(gòu)建地名索引。經(jīng)測試,,采用分詞和Solr技術(shù)后,,全省千萬級地名地址及POI查詢效率明顯提高,響應(yīng)時間小于1 s,。 ● B/S架構(gòu)的系統(tǒng)地圖顯示通常存在加載速度慢,、顯示不連貫及用戶等待時間相對較長等問題。矢量瓦片技術(shù)將矢量數(shù)據(jù)通過不同的描述文件進(jìn)行組織和定義,,在客戶端實時解析數(shù)據(jù)并完成繪制,,大幅減少了制圖,、渲染,、切片、服務(wù)更新等過程,,從而提升了地圖渲染的效率,。本研究采用基于矢量瓦片的地圖服務(wù)技術(shù),為大數(shù)據(jù)中心集成管理的各類矢量數(shù)據(jù),、地表覆蓋,、行業(yè)專題等,提供高效處理,、實時渲染,、無縫瀏覽、按需定制等功能,。經(jīng)測試,,采用該技術(shù)后電子地圖切片數(shù)據(jù)量縮減3/4,切片效率提升10倍,。 ● 本研究將基于數(shù)據(jù)源選取,,自定義分析建模,,可視化設(shè)計、輸出,、分發(fā)的技術(shù)主線,,構(gòu)建開放的跨媒體時空數(shù)據(jù)可視化框架,為大數(shù)據(jù)中心內(nèi)部資源展示,、外部應(yīng)用支撐提供可柔性定制的框架能力,,提供能夠承受峰值大于5 000并發(fā)訪問量的服務(wù)能力。 (2)系統(tǒng)主要功能 ● 地理信息服務(wù)引擎是大數(shù)據(jù)服務(wù)能力建設(shè)的基礎(chǔ),,為大數(shù)據(jù)服務(wù)系統(tǒng)提供地圖服務(wù),、智能查詢服務(wù)、路徑規(guī)劃服務(wù)等多樣化的服務(wù),。 ● 地理空間一張圖服務(wù)系統(tǒng),、地理編碼服務(wù)系統(tǒng)、移動終端應(yīng)用系統(tǒng),、在線定制服務(wù)系統(tǒng),、運維管理系統(tǒng)5個子系統(tǒng)將以矢量瓦片、地理編碼等技術(shù)為核心,,進(jìn)一步提升服務(wù)系統(tǒng)的服務(wù)能力,,提高地理信息服務(wù)的數(shù)據(jù)質(zhì)量、信息含量,、應(yīng)用層次和利用效率,。 ● 成果分發(fā)服務(wù)系統(tǒng)建設(shè)將進(jìn)一步提高測繪公共服務(wù)能力和水平,實現(xiàn)基礎(chǔ)測繪成果高效管理,,推動測繪成果的社會化應(yīng)用,,降低測繪成果管理和使用成本。 ● 分析挖掘可視化服務(wù)系統(tǒng)是時空大數(shù)據(jù)服務(wù)系統(tǒng)的深層次能力建設(shè),,一方面服務(wù)于國情監(jiān)測,、自然資源離任審計等內(nèi)部相關(guān)業(yè)務(wù)分析與展示,另一方面可以與行業(yè)部門業(yè)務(wù)深度結(jié)合,,實現(xiàn)行業(yè)信息的建模,、挖掘與展示。 2.4.3 業(yè)務(wù)管理系統(tǒng)建設(shè) 在時空大數(shù)據(jù)中心完全建成之前,,還需要使用原有的業(yè)務(wù)管理系統(tǒng),,面向基礎(chǔ)地理信息數(shù)據(jù)、地理國情普查與監(jiān)測數(shù)據(jù),、遙感影像,、成果檔案等數(shù)據(jù)的管理和應(yīng)用,通過基礎(chǔ)架構(gòu)升級和系統(tǒng)功能的改造,,全面提升業(yè)務(wù)支撐能力及功效指標(biāo),,更好地支撐數(shù)據(jù)存儲管理,、時空化更新管理及應(yīng)用服務(wù)的能力提升。 3 應(yīng)用前景山東省地理信息時空大數(shù)據(jù)中心將對地理信息資源進(jìn)行整合,,并且提供數(shù)據(jù)管理與服務(wù)系統(tǒng),,建成后在以下應(yīng)用領(lǐng)域有非常廣闊的應(yīng)用前景。 (1)資源環(huán)境和生態(tài)保護(hù) 當(dāng)前我國對資源環(huán)境和生態(tài)保護(hù)的程度越來越高,,正在實行越來越嚴(yán)厲的生態(tài)環(huán)境保護(hù)政策,。利用大數(shù)據(jù)技術(shù)可以對山、水,、林,、田和礦產(chǎn)等自然資源的使用及變化情況進(jìn)行監(jiān)測,并對監(jiān)測結(jié)果進(jìn)行動態(tài),、可視化的分析及管理,,為政府決策提供科學(xué)依據(jù)。 (2)防災(zāi)減災(zāi)與應(yīng)急反應(yīng) 當(dāng)前,,各級政府都在大力加強(qiáng)防災(zāi)減災(zāi)和應(yīng)急反應(yīng)能力建設(shè),。大數(shù)據(jù)中心建成之后,利用自身強(qiáng)大的二/三維可視化表達(dá)能力,、空間分析能力以及空間數(shù)據(jù)分析挖掘能力,,可以大幅提升自然災(zāi)害監(jiān)測預(yù)警、應(yīng)急反應(yīng),、綜合評估和災(zāi)后重建等環(huán)節(jié)的效率和準(zhǔn)確性,。 (3)社會管理與公共服務(wù) 地理信息是國家的重要戰(zhàn)略信息資源。人們的大部分日?;顒优c地理位置有關(guān),,因此,時空大數(shù)據(jù)中心建成后將在社會管理和公共服務(wù)領(lǐng)域發(fā)揮十分重要的作用,。大數(shù)據(jù)中心可以面向社會精細(xì)化管理與公共服務(wù)需求,,與導(dǎo)航定位技術(shù)結(jié)合,,提升政府社會管理和公共服務(wù)的能力,。 (4)供給側(cè)改革與經(jīng)濟(jì)結(jié)構(gòu)調(diào)整 利用時空大數(shù)據(jù)中心的空間分析能力和分析挖掘能力,人們可以根據(jù)大眾各種經(jīng)濟(jì)活動的空間分布情況合理配置相應(yīng)資源,,創(chuàng)新商業(yè)模式,,培育和發(fā)展智慧旅游、文化,、醫(yī)療,、教育等信息消費應(yīng)用服務(wù),以市場化的方式推動大眾化服務(wù)與消費的產(chǎn)業(yè)化,、商業(yè)化發(fā)展,,為“供給側(cè)改革”和經(jīng)濟(jì)結(jié)構(gòu)調(diào)整提供科學(xué)依據(jù),。 4 結(jié)束語地理信息時空大數(shù)據(jù)中心建設(shè)是新一代測繪技術(shù)體系發(fā)展的必然,也是時空地理信息大數(shù)據(jù)集成管理,、應(yīng)用和服務(wù)的實際需求,,可明顯提升省域時空地理信息大數(shù)據(jù)的組織、管理,、應(yīng)用和服務(wù)能力,。本文按照“需求導(dǎo)向、頂層設(shè)計,、分步實施,、創(chuàng)新驅(qū)動”的建設(shè)原則,結(jié)合大數(shù)據(jù),、云計算等新型信息技術(shù),,全面梳理、整合全省地理信息資源,,提出了以“混合存儲,、動態(tài)整合、集成管理,、聯(lián)動更新,、開放共享、按需服務(wù)”為典型技術(shù)特征的山東省地理信息時空大數(shù)據(jù)中心建設(shè)思路,。以山東省為例,,對地理信息時空大數(shù)據(jù)中心建設(shè)方法進(jìn)行了探討和研究。本文提出的方法可以改變原有煙囪式建庫模式,,實現(xiàn)統(tǒng)一建庫,、存儲與管理,真正實現(xiàn)全省時空數(shù)據(jù)資源一張圖,,有利于形成多樣化地理信息產(chǎn)品,,大幅提升時空地理信息資源供給能力,實現(xiàn)“讓數(shù)據(jù)說話”,,推動地理信息服務(wù)從普適性服務(wù)到定制服務(wù),、從以產(chǎn)品為中心到以客戶為中心的轉(zhuǎn)變。 作者簡介 劉現(xiàn)?。?em>1982- ),,男,山東省國土測繪院高級工程師,,主要研究方向為地理國情普查與監(jiān)測,、信息化測 繪體系建設(shè)、測繪成果管理及應(yīng)用,、地理信息系統(tǒng)設(shè)計與開發(fā)等,。 《大數(shù)據(jù)》期刊 《大數(shù)據(jù)(Big Data Research,,BDR)》雙月刊是由中華人民共和國工業(yè)和信息化部主管,人民郵電出版社主辦,,中國計算機(jī)學(xué)會大數(shù)據(jù)專家委員會學(xué)術(shù)指導(dǎo),,北京信通傳媒有限責(zé)任公司出版的中文科技核心期刊。 |
|
來自: 東西二王 > 《地球科學(xué)》