基于 Informatica 的數(shù)據(jù)質(zhì)量設(shè)計在數(shù)字供電中的應(yīng)用

 

文/劉葉

 

摘要：某省電力部門在信息化建設(shè)與運行的過程中，為了讓主網(wǎng)生產(chǎn)系統(tǒng)、EMS系統(tǒng)的基礎(chǔ)數(shù)據(jù)維護單位及時了解基礎(chǔ)數(shù)據(jù)在業(yè)務(wù)系統(tǒng)中的完整、準確性以及跨系統(tǒng)之間的數(shù)據(jù)一致性情況，利用數(shù)據(jù)質(zhì)量提供的數(shù)據(jù)，拼接成統(tǒng)一的電網(wǎng)模型，提供給管理人員全方位的電網(wǎng)全景分析和應(yīng)用。本文闡述了主網(wǎng)生產(chǎn)系統(tǒng)與EMS系統(tǒng)的電網(wǎng)模型比對方法，以及通過 ETL 工具 Informatica PowerCenter 及正則表達式等實現(xiàn)的效果。最后，根據(jù)實際數(shù)據(jù)分析出取得的效果及待改進之處。

 

【關(guān)鍵詞】電網(wǎng)模型 模型比對 ETL 數(shù)據(jù)質(zhì)量

 

1 數(shù)字供電項目應(yīng)用背景

 

某省電力部門信息化建設(shè)經(jīng)過多年發(fā)展，圍繞電網(wǎng)設(shè)備和電網(wǎng)生產(chǎn)已經(jīng)形成了主網(wǎng)生產(chǎn)、EMS、配網(wǎng)生產(chǎn)和GIS等應(yīng)用系統(tǒng)，為主配網(wǎng)生產(chǎn)、管理提供了較大支持。針對同一個物理設(shè)備，不同的應(yīng)用系統(tǒng)根據(jù)業(yè)務(wù)部門的需要進行相關(guān)的數(shù)據(jù)建模和數(shù)據(jù)錄入，比如生產(chǎn)系統(tǒng)維護設(shè)備相關(guān)的生產(chǎn)數(shù)據(jù)，EMS或GIS維護設(shè)備在電網(wǎng)中的拓撲數(shù)據(jù)，同時由于各應(yīng)用系統(tǒng)建設(shè)時間、開發(fā)廠商不同，造成系統(tǒng)間技術(shù)實現(xiàn)、應(yīng)用架構(gòu)、數(shù)據(jù)庫平臺、數(shù)據(jù)編碼等方面的異構(gòu)性。隨著該電力部門圍繞設(shè)備數(shù)據(jù)應(yīng)用的深度和廣度不斷增加，單一系統(tǒng)的數(shù)據(jù)已經(jīng)不再可以滿足需要。圍繞該省電網(wǎng)設(shè)備，通過基于統(tǒng)一模型的信息集成已經(jīng)非常有必要。隨著主網(wǎng)生產(chǎn)系統(tǒng)和營配一體化系統(tǒng)在該省的推廣和實用化，已經(jīng)具備一定的數(shù)據(jù)基礎(chǔ)。設(shè)備數(shù)據(jù)的一體化非常符合電網(wǎng)信息化建設(shè)方向以及智能電網(wǎng)的發(fā)展趨勢。

 

2 數(shù)據(jù)質(zhì)量與數(shù)字供電項目的交互

 

圖1主要說明數(shù)據(jù)質(zhì)量在整個數(shù)字供電項目中的支撐作用，是由主網(wǎng)系統(tǒng)和EMS系統(tǒng)對比成功后的數(shù)據(jù)提供給數(shù)字供電項目使用，包括SVG圖轉(zhuǎn)換，統(tǒng)一模型裁剪臺賬樹，向WEBGIS提供實時數(shù)據(jù)查詢。

 

（1）SVG 圖 轉(zhuǎn) 換： 把 SVG 圖 中 的SCADA_ID替換成對應(yīng)數(shù)據(jù)的主網(wǎng)MIP_ID。

 

（2）統(tǒng)一模型裁剪臺賬樹：對省公司上傳比對成功的節(jié)點，使之滿足整棵樹的連通性。

 

（3）向 WEBGIS 提供實時數(shù)據(jù)查詢：取 SCADA_ID 和 MIP_ID，以 MIP_ID 來查詢實時數(shù)據(jù)。（實時數(shù)據(jù)庫中存放的是SCADA_ID）。

 

3 數(shù)據(jù)質(zhì)量的設(shè)計與實現(xiàn)

 

3.1 主網(wǎng)與EMS系統(tǒng)模型的比對方法

 

主網(wǎng)與EMS系統(tǒng)模型的比對規(guī)則的制定首先依照數(shù)據(jù)唯一性和準確性的原則，另外規(guī)則需簡練無冗余以保證執(zhí)行效率，如Disconnector（刀閘）的數(shù)據(jù)比對僅需變電站名和刀閘編號即可得出，無需增加電壓等級或間隔名稱等冗余規(guī)則。根據(jù)以上原則，在基于informatica的基礎(chǔ)上，使用相關(guān)正則表達式[4]，可分析出主網(wǎng)與EMS系統(tǒng)模型的比對方法下：

 

（1）Bay(間隔): 變電站+間隔編號。

 

（2）Line（線路）: 電壓等級+名稱。

 

（3）Substation（變電站）: 變電站名稱+#號變壓器名。

 

（4）VoltageLevel（電壓等級區(qū)域）: 變電站名稱+電壓等級。

 

（5）Breaker（斷路器）: 變電站名+開關(guān)編號。

 

（6）Disconnector（刀閘）: 變電站名+刀閘編號。

 

（7）BusbarSection（母線）: 站名+ 電壓等級+母線名。

 

3.2 數(shù)據(jù)質(zhì)量比對的實現(xiàn)

 

基于以上的方法通過ETL工具Informatica PowerCenter來進行數(shù)據(jù)抽取、清洗、處理和比對等。Informatica PowerCenter 是 Informatica 公司開發(fā)的世界級的企業(yè)數(shù)據(jù)集成平臺，也是業(yè)界領(lǐng)先的ETL工具。Informatica PowerCenter使用戶能夠方便地從異構(gòu)的已有系統(tǒng)和數(shù)據(jù)源中抽取數(shù)據(jù)，用來建立、部署、管理企業(yè)的數(shù)據(jù)倉庫，從而幫助企業(yè)做出快速、正確的決策。在 Informatica PowerCenter 中，依此通過建立ODBC、映射、流程和定時執(zhí)行計劃后，即可依據(jù)一定的規(guī)則從主網(wǎng)生產(chǎn)系統(tǒng)和EMS系統(tǒng)中分別抽取中對應(yīng)設(shè)備的數(shù)據(jù)，進行處理后整理成數(shù)字供電應(yīng)用項目所需的數(shù)據(jù)。

 

3.3 數(shù)據(jù)質(zhì)量一致率提升處理機制

 

數(shù)據(jù)一致率提升處理機：由部門專責(zé)在發(fā)現(xiàn)問題，軟件公司針對這些問題找出處理辦法，并將處理辦法反饋到專責(zé)處，再由專責(zé)與相關(guān)業(yè)務(wù)部門協(xié)調(diào)，進行數(shù)據(jù)整改，在此過程中，反復(fù)檢查數(shù)據(jù)整改是否符合規(guī)范，最后跑informatica流程，為其它系統(tǒng)提供最為準確的數(shù)據(jù)。

 

3.4 數(shù)據(jù)質(zhì)量對比結(jié)果

 

主要完成九個主要對象數(shù)據(jù)對比，俊工驗收對于九個對象的平均對比效率要求為85%左右。

 

功能驗收階段：

 

（1）Breaker( 斷路器 )：主網(wǎng)為 11553，SCADA為11863，比對一致數(shù)為11156，一致率為96.56%。

 

（2）Line( 線段 )：主網(wǎng)為 610，SCADA為670，比對一致數(shù)為489，一致率為80.16%。（3）Busbarsection( 母 線 段 )： 主 網(wǎng) 為1221，SCADA為1824，比對一致數(shù)為361，一致率為29.57%。

 

（4）Disconnector( 隔 離 開 關(guān) )： 主 網(wǎng)為 14059，SCADA 為 17094，比對一致數(shù)為11597，一致率為82.49%。

 

（5）Grounddisconnector(接地隔離開關(guān))：主網(wǎng)為17670，SCADA為19029，比對一致數(shù)為14827，一致率為83.91%。

 

（6）Substation（變電站）：主網(wǎng)為248，SCADA為248，比對一致數(shù)為246，一致率為99.19%。

 

（7）Bay( 間隔 )：主網(wǎng)為 6624，SCADA為 16282，比對一致數(shù)為 6119，一致率為92.38%。

 

（8）Voltaglevel( 電 壓 等 級 )： 主 網(wǎng) 為550，SCADA為2941，比對一致數(shù)為538，一致率為97.82%。

 

（9）PowerTransformer(變壓器)：主網(wǎng)為1363，SCADA為1415，比對一致數(shù)為1186，一致率為87.01% 。                  

 

通過一致率提升機制，數(shù)據(jù)質(zhì)量較之以前有了顯著的提高，統(tǒng)計如下所示：

 

（1）Breaker( 斷路器 )：主網(wǎng)為 11641，SCADA為11801，比對一致數(shù)為11224，一致率為96.42%。

 

（2）Line( 線段 )：主網(wǎng)為 610，SCADA為557，比對一致數(shù)為489，一致率為89.41%。（3）Busbarsection( 母 線 段 )： 主 網(wǎng) 為1232，SCADA為1471，比對一致數(shù)為1052，一致率為85.39%。

 

（4）Disconnector( 隔 離 開 關(guān) )： 主 網(wǎng)為 14058，SCADA 為 13241，比對一致數(shù)為11465，一致率為86.59%。

 

（5）Grounddisconnector(接地隔離開關(guān))：主網(wǎng)為17726，SCADA為18069，比對一致數(shù)為14851，一致率為85.78%。

 

（6）Substation（變電站）：主網(wǎng)為249，SCADA為248，比對一致數(shù)為246，一致率為99.19%。

 

（7）Bay( 間隔 )：主網(wǎng)為 7243，SCADA為 16052，比對一致數(shù)為 6700，一致率為92.50%。

 

（8）Voltaglevel( 電 壓 等 級 )： 主 網(wǎng) 為552，SCADA為2942，比對一致數(shù)為538，一致率為97.46%。 

 

（9）PowerTransformer(變壓器)：主網(wǎng)為1363，SCADA 為 1178，比對一致數(shù)為 1115，一致率為94.65% 。

 

通過以上數(shù)據(jù)可以看出數(shù)據(jù)質(zhì)量得到了明顯的提高，證明本文提出的數(shù)據(jù)處理機制是行之有效的，這種思路可以應(yīng)用于任何行業(yè)來處理數(shù)據(jù)質(zhì)量問題。

 

4 總結(jié)

 

本文主要是通過Informatica PowerCenter等工具實現(xiàn)了主網(wǎng)和EMS系統(tǒng)模型比對，基本達成主網(wǎng)電網(wǎng)模型比對的目的，與此同時發(fā)現(xiàn)了在電網(wǎng)模型比對過程中的源系統(tǒng)數(shù)據(jù)質(zhì)量問題，如：調(diào)度不規(guī)范命名、羅馬數(shù)字與字符數(shù)字交替使用、無效數(shù)據(jù)沒有及時處理等，解決這些問題后將更有效提升電網(wǎng)模型數(shù)據(jù)比對率，從而促進數(shù)字供電項目的應(yīng)用效果。

 

參考文獻

 

［1］廣東電網(wǎng)公司  廣東電網(wǎng)公司數(shù)字供電集成應(yīng)用 2011

 

［2］廣東電網(wǎng)公司 2010年數(shù)據(jù)質(zhì)量提升計劃實施方案 2010

 

[3] 侯曉靜 , 苑津莎 , 李中 , 徐良燕 基于 SVG 的電網(wǎng)WebGIS實現(xiàn)方案[J],電力系統(tǒng)通信 ,2006,27(163):41-46.

 

[4] 李旻，陳和平 正則表達式在數(shù)據(jù)庫查詢中的應(yīng)用[J],計算機工程與設(shè)計 ,2006,27(12):2303-2305.

 

［5］胡波 電網(wǎng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量管理平臺的設(shè)計與初步實現(xiàn) 2010

 

作者單位

 

廣州科騰信息技術(shù)有限公司　廣東省廣州市  　510656