本站小編為你精心準備了成果與水利工程數(shù)據(jù)庫對接技術(shù)探討參考范文,愿這些范文能點燃您思維的火花,激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:如何更好利用水利普查數(shù)據(jù),并與現(xiàn)有水利數(shù)據(jù)進行整合,一直是水利數(shù)據(jù)庫建設中的難點,數(shù)據(jù)來源、結(jié)果不一致導致數(shù)據(jù)整合效率不高,無法對現(xiàn)有水利普查數(shù)據(jù)進行有效利用。文章提出一種水利普查成果與遼寧省水利工程數(shù)據(jù)庫對接技術(shù),實現(xiàn)水利普查基礎數(shù)據(jù)與遼寧省水利工程數(shù)據(jù)庫的無縫整合,有效提高遼寧省水利工程數(shù)據(jù)庫的完整性、時效性,同時避免了大量數(shù)據(jù)處理中人工處理質(zhì)量差、合格率低、效率慢的缺點,對已建水利信息管理系統(tǒng)進行大量數(shù)據(jù)更新整合具有一定的借鑒價值。
關(guān)鍵詞:水利普查;數(shù)據(jù)庫對接技術(shù);數(shù)據(jù)整合;遼寧省
遼寧省水利工程數(shù)據(jù)庫是遼寧省水利信息化建設中最重要的內(nèi)容之一,包括遼寧省絕大多數(shù)水利工程信息如河道、水庫、控制站、堤防、海堤、水閘、跨河工程、城市防洪、險點險段、農(nóng)村水利等,是遼寧省水利工程數(shù)據(jù)的基礎,為全省所有水利部門服務。《遼寧省第一次水利普查公報》的標志著水利普查工作任務完成,水利普查取得的成果具有涵蓋信息廣、涉及水利業(yè)務全、數(shù)據(jù)可靠規(guī)范等特點[1]。此次普查獲取了海量的水利信息數(shù)據(jù),這些數(shù)據(jù)成果是迄今為止最全面、完整、規(guī)范及權(quán)威的水利基礎數(shù)據(jù)。如何有效利用轉(zhuǎn)化這些水利基礎數(shù)據(jù),將普查的水利信息數(shù)據(jù)轉(zhuǎn)化整合到遼寧省水利工程數(shù)據(jù)庫,豐富并統(tǒng)一遼寧省的水利基礎信息,保證遼寧省水利工程數(shù)據(jù)庫數(shù)據(jù)的完整性、準確性和時效性是十分必要的。水利普查數(shù)據(jù)與遼寧省水利工程數(shù)據(jù)庫對接技術(shù)實現(xiàn)水利普查數(shù)據(jù)在遼寧省水利工程數(shù)據(jù)庫方面的轉(zhuǎn)化應用。為了完善遼寧省水利工程數(shù)據(jù)庫,保持與水利普查數(shù)據(jù)同步、一致,需要將水利普查獲取的海量數(shù)據(jù)整合到遼寧省水利工程數(shù)據(jù)庫中。如果采用人工手動錄入數(shù)據(jù),工作量繁重,費時、費力,而且質(zhì)量差、合格率低、效率慢;而利用計算機技術(shù)實現(xiàn)水利普查成果與遼寧省水利工程數(shù)據(jù)庫自動對接,既可以避免人工錄入的弊端,又可縮短處理時間,達到高效、簡潔地完成數(shù)據(jù)整合。
1對接技術(shù)
ADO.NET是ADO(ActiveXDataObjects)最新發(fā)展的產(chǎn)物,是微軟.NET框架的一部分,成功實現(xiàn)了在“斷開”的概念下對服務器上數(shù)據(jù)庫的訪問[4-5]。ADO.NET由.NET數(shù)據(jù)提供程序和DataSet(數(shù)據(jù)集)兩部分組成,.NET數(shù)據(jù)提供服務負責與物理數(shù)據(jù)源的連接以及檢索、操作、更新數(shù)據(jù)源,DataSet負責實現(xiàn)獨立于任何數(shù)據(jù)源的數(shù)據(jù)訪問。ADO.NET對象模型如圖1所示。SqlDataAdapter對象是DataSet與SQLSERVER之間的橋接器。Sql-DataAdapter通過對數(shù)據(jù)源使用適當?shù)腡ransact-SQL語句填充DataSet中的數(shù)據(jù)以匹配數(shù)據(jù)源中的數(shù)據(jù)和更改數(shù)據(jù)源中的數(shù)據(jù)以匹配DataSet中的數(shù)據(jù)來提供這一橋接。SqlCommand類是用于對數(shù)據(jù)庫進行操作的類,利用此類可以對SQLSERVER數(shù)據(jù)庫進行插入、修改、刪除等操作。
2對接技術(shù)實現(xiàn)過程
2.1分析比對
分析比對是分析水利普查數(shù)據(jù)與遼寧省水利工程數(shù)據(jù)庫數(shù)據(jù)之間的對應關(guān)系,是實現(xiàn)對接技術(shù)的基礎。通過充分分析遼寧省水利工程數(shù)據(jù)庫庫表結(jié)構(gòu)、各表及表中指標字段的意義和水利普查數(shù)據(jù),找出遼寧省水利工程數(shù)據(jù)庫庫表字段與水利普查數(shù)據(jù)相對應的字段,建立兩者之間的對應關(guān)系,以利于兩者進行數(shù)據(jù)整合。水利普查對象為中華人民共和國(臺灣省、香港和澳門特別行政區(qū)除外)境內(nèi)所有江河湖泊、水利工程、水利機構(gòu)及重點社會經(jīng)濟取用水戶等,共33類水利普查對象[6]。遼寧省水利工程數(shù)據(jù)庫包括河道、水庫、水閘等類工程。水利普查數(shù)據(jù)一類工程信息由一張數(shù)據(jù)表表示,遼寧省水利工程數(shù)據(jù)庫一類工程信息由一張或多張數(shù)據(jù)表表示。經(jīng)分析比對,水利普查數(shù)據(jù)有8類工程與遼寧省水利工程數(shù)據(jù)庫6類工程相對應,共涉及遼寧省水利工程數(shù)據(jù)庫中包括河道、水庫、堤防、海堤、水閘、農(nóng)村水利6類工程張數(shù)據(jù)表,個數(shù)據(jù)字段,構(gòu)成了一對多或多對一的關(guān)系,對應關(guān)系圖如圖1所示。以水電站普查表與水庫對應關(guān)系為例,遼寧省水利工程數(shù)據(jù)庫與水利普查數(shù)據(jù)表字段對應見表1。其中需要注意遼寧省水利工程數(shù)據(jù)庫的總裝機容量單位是兆瓦,水利普查數(shù)據(jù)表的裝機容量單位是千瓦,對接時需要轉(zhuǎn)換單位。
2.2讀取水利普查數(shù)據(jù)
運用MicrosoftSQLSERVER5軟件構(gòu)建水利普查成果數(shù)據(jù)庫,每個工程類別對應一張數(shù)據(jù)表。因為水利普查數(shù)據(jù)對象編碼方式與遼寧省水利工程數(shù)據(jù)庫對象編碼方式不同,需要建立水利普查與水利工程數(shù)據(jù)庫對象編碼對照表,利用SqlDataAdapt-er對象讀取編碼對照表中對象的水利普查數(shù)據(jù),填充到不依賴于數(shù)據(jù)庫的獨立數(shù)據(jù)集合DataSet,將DataSet中的數(shù)據(jù)表DataTable綁定到數(shù)據(jù)網(wǎng)格控件DataGridView實現(xiàn)水利普查數(shù)據(jù)讀取。
2.3整合數(shù)據(jù)
分析比對水利普查數(shù)據(jù)與遼寧省水利工程數(shù)據(jù)庫數(shù)據(jù)將存在兩種情況:一種是水利普查數(shù)據(jù)中的工程對象不存在于遼寧省水利工程數(shù)據(jù)庫中,另一種是水利普查數(shù)據(jù)中的工程對象已存在于水利工程數(shù)據(jù)庫中。針對上述兩種情況,數(shù)據(jù)整合方式有兩種,一種是針對遼寧省水利工程數(shù)據(jù)庫中沒有的工程,對于這類工程,按照遼寧省水利工程數(shù)據(jù)庫中庫表字段選取對應于普查數(shù)據(jù)的字段,將該普查數(shù)據(jù)直接導入遼寧省水利工程數(shù)據(jù)庫,另一種是針對遼寧省水利工程數(shù)據(jù)庫中已存在的工程,對于這類工程,根據(jù)水利普查與遼寧省水利工程數(shù)據(jù)庫對象編碼對照表進行更新,更新思路是將這類工程最后一次修改的內(nèi)容復制,更新對應字段的水利普查數(shù)據(jù),將復制并更新了普查數(shù)據(jù)的記錄作為最新的記錄導入遼寧省水利工程數(shù)據(jù)庫。對于兩種整合方式,每張數(shù)據(jù)表均通過資料截止日期字段記錄整合時間,作為水利普查成果整合的標識,利于整合出現(xiàn)錯誤后及時方便地處理。整合的實現(xiàn)是通過逐行讀取數(shù)據(jù)網(wǎng)格控件DataGrid-View中的數(shù)據(jù)行DataRow,然后利用SqlCommand對象逐行插入或更新到遼寧省水利工程數(shù)據(jù)庫。
3數(shù)據(jù)對接匹配度檢測結(jié)果
實現(xiàn)水利普查數(shù)據(jù)與遼寧省水利工程數(shù)據(jù)庫對接后,需要對整合后的遼寧省水利工程數(shù)據(jù)庫進行數(shù)據(jù)匹配檢測,確保整合后的數(shù)據(jù)質(zhì)量。根據(jù)水利普查數(shù)據(jù)字段與遼寧省水利工程數(shù)據(jù)庫字段的對比分析結(jié)果,針對工程名稱以及相應的指標字段,結(jié)合第一次全國水利普查數(shù)據(jù)處理上報系統(tǒng),針對本文方法和傳統(tǒng)數(shù)據(jù)對接方法分別采用查全率和查準率對整合數(shù)據(jù)的正確性、完整性進行序列匹配度的檢測,并采用聚類分析、協(xié)議分析以及信任值分析方法對比兩種方法數(shù)據(jù)匹配的優(yōu)越性,分析結(jié)果見表2。從匹配測試結(jié)果可看出,本文提出的水利普查數(shù)據(jù)與水利工程數(shù)據(jù)庫對接及時經(jīng)過序列匹配度測試,數(shù)據(jù)序列匹配度的查全率和查準率均高于5%,且明顯高于傳統(tǒng)逐一數(shù)據(jù)庫字段對應方式下的序列匹配度。從聚類分析、協(xié)議分析、信任值分析下的數(shù)據(jù)序列查全率和查準率來看,本文的方法都要明顯好于傳統(tǒng)方法,優(yōu)越程度高于傳統(tǒng)數(shù)據(jù)庫對接技術(shù)。相比于傳統(tǒng)對應數(shù)據(jù)庫字段的方式,本文提出的水利普查與遼寧省水利工程數(shù)據(jù)庫對接方法可避免人工處理數(shù)據(jù)的弊端,減少工作量,提高工作效率。
4結(jié)論
(1)水利普查與水利工程數(shù)據(jù)庫對接指標由于編制時間、用途以及參與專家有所差異,在進行數(shù)據(jù)庫對接名錄分析時,對于同一個工程對象屬性表述可能存在不一致的情況。對于這類情況建議在對接目錄分析時,需要對應指標參考解釋說明采用人工判定方式進行指標對應。
(2)在進行數(shù)據(jù)庫指標關(guān)聯(lián)對接,對接指標只需要和主關(guān)鍵工程代碼進行關(guān)聯(lián)對接時,該指標適用于所有的關(guān)聯(lián)對象,而對接指標除和主關(guān)鍵工程代碼關(guān)聯(lián)外,和其他指標進行主關(guān)鍵關(guān)聯(lián)時,這類指標不能進行數(shù)據(jù)對接。
(3)本文提出的數(shù)據(jù)庫對接技術(shù)對于已建信息管理系統(tǒng)與水利普查成果數(shù)據(jù)進行整合以及大數(shù)據(jù)量更新有一定的推廣和借鑒價值,但與其他水利數(shù)據(jù)對接的適用性和序列匹配程度還需要進一步探討。
作者:雷明 單位:遼寧省水利水電科學研究院有限責任公司沈陽分公司