深夜福利区在线免费观看_中国国产精品成人a级毛片儿_欧美视频在线观看第一页_中文字幕制服丝袜无码网站_亚洲国产成人AⅤ毛片奶水_日本性色一区二区_999zyz中文资源免费_一本大到 无码 精品

01 建設目標
智慧管網大數據建設目標主要圍繞企業“降本增效”和數據價值提升兩方面展開。主要包含：
? 降低重復性建設，避免重復造指標、重復開發數據模型，避免重復造輪子；
? 提高人員辦公效率，在數據分析、人工智能輔助領導和分析人員進行決策，減少出錯幾率；
? 新業務快速開發，完善的數倉分層，更快速地進行新業務、新指標的開發；
? 數據能力變現，通過數字化精細管理，沉淀數字經驗，提升行業口碑；

最終目標在實現持久化經營和企業遠景目標。

02 建設思路

智慧管網大數據建設思路主要體現在四個方面：

統一數據中心，一個數據源，所有業務的數據僅有一套數據；不同業務間數據共享；規范數據格式；

整合現有系統，最大限度整合已有系統；分析已有的、缺少的、不必要的數據流與業務流；

業務閉環管理，完整性管理6步循環的閉環；各業務內部的閉環；

4.智能分析預警，結合先進互聯網技術，比如大數據分析、AI分析等，提出智能化分析方向或做法。

03 總體架構

智慧管網大數據平臺定位通過大數據平臺建設，并基于平臺能力構建管道安全監測業務，為風險評估提供數據支持；后續打通全公司所有業務應用的數據，打造公司統一的數據中心，通過大數據中心鏈接賦能全公司的業務應用。

第一階段：打造數據中臺

智慧管網大數據平臺總體架構由數據源、數據中臺、數據應用三部分組成。

數據源包含企業內部業務系統數據，傳感數據，互聯網數據，第三方數據以及協同辦公數據；

數據中臺包含數據采集、存儲計算、數據資產及資產運營組成；

數據應用包含效能評價、風險評估、數據分析、智慧調度以及創新業務應用、領導駕駛艙等組成共同構建管道安全監測中心。

智慧管網大數據平臺架構

智慧管網大數據平臺業務數據流向數據經過數據匯聚平臺將多源異構數據進行匯集存儲，經由數據治理平臺進行數據清洗、轉換，通過離線、實時處理技術進行數據加工并進行數倉體系搭建形成數據集市，構建各個分析主題，最終提供數據應用或者數據共享交換使用。

業務數據流向圖

04 建設步驟

4.1 建設策略

智慧管網大數據平臺遵循“安全、標準、匯集、治理、共享” 核心理念。從標準、設計、采集、開發、使用，再到交付和運維，實現數據治理標準化、流程化、組件化。策略如下：

全景規劃、逐步推進，通過全業務數據和用戶遠景目標，定制數據中臺實施計劃；

首要階段：實施第一階段，以已建系統為數據基礎，小步快速滿足各業務部門場景分析（自下而上）；

3.后續階段：對于新建系統，需要符合數據規劃設計要求，滿足數據集成、數據標準、數據服務標準等，保證數據互聯互通（自上而下）。

4.2 建設步驟
智慧管網大數據平臺建設步驟分為需求分析、數據設計、數據實施、驗收運維四個步驟。
1.需求分析主要進行數據盤點，確認目標及業務，需求分析，梳理數據源組成；
2.數據設計進行數據標準設計，匯聚策略設計，數倉分層設計，數據標準設計，數據模型設計，數據質量設計；
3.數據實施進行數據規劃，基礎庫，主題庫，建庫建表，數據加工與治理，數據質量實施；
4.驗收運維階段進行數倉驗收文檔，數據巡檢日報，任務調度運維報告，質量報告等大數據平臺的驗收運維工作。

4.3 建設過程
數據盤點主要進行數據需求確定、組織數據盤點、輸出盤點成果階段。

數據標準是進行數據標準化的主要依據，是保障數據的內外部使用和交換的一致性和準確性的規范性約束。

數據倉庫體系建設數倉分層是重要的一個環節，通常可以分為ODS層（原始數據層）、DWD層（業務明細層）、DWS層（匯總層）、ADS層（跨主題高度匯總數據）；

ODS層（原始數據層）也稱貼源層主要面向管網來源數據，提供原始數據的匯集存儲。

DW層包含DWD層（業務明細層）及DWS層（匯總層），其中DWD層面向管網業務主題的，反應歷史變化的穩定的標準化后的明細數據；DWS層面向官網業務主題的，基于需求進行數據的匯總和合并。

DWD層（業務明細層）與DWS層（匯總層）的區別與共性如下：按業務分主題進行設計；明細數據區每個實體原則上都要加相應的時間戳；輕度匯總數據區的模型設計依賴于分析需求；數據倉庫模型是符合3NF的帶有時間戳的關系模型。

ADS層（跨主題高度匯總數據）通過構建數據集市提供管網面向應用的，跨主題高度匯總的數據。

ADS層（跨主題高度匯總數據）數據模型特點：

? 完全基于需求建立，它的主題域、主題的劃分與DW層不同；

? 主題劃分有兩種類型：為企業主管層面服務的綜合分析類主題；為企業業務主管層面服務的專業分析類主題；

? 數據分為兩類：一類是基于數據倉庫的細節數據或輕度匯總數據進行的統計分析，另外一類數據是基于統計分析進一步分析挖掘的數據；

? 數據集市模型通常采用星形模型建模。

基礎庫建設將匯聚的燃氣管理業務數據，根據業務要素分類，構建應急資源庫、管道本體庫、管道設施庫、事件庫、站場信息庫、地質災害信息庫、第三方設施庫等七大基礎庫。

主題庫建設基于大數據資源池的原始庫和基礎庫數據，結合燃氣業務管理工作需要，進行數據分類、關聯、融合，形成管道巡檢、管道維修、風險監測、事件處理、應急搶修等五大主題庫。

燃氣安全風險智能預測結合AI技術，由管網大數據平臺提供訓練數據，經由AI平臺進行模型訓練和特征提取生成對應的結果預警，預警模型發布、結果評估。

05 主要功能

5.1 數據中臺主要能力

智慧管網大數據平臺依托北明數科一體化數據智能體技術體系，提供數據匯聚、數據開發、數據資產、數據服務、資產運營等能力，主要功能如下：

5.2 多源數據集成

1.支持多類型同步場景

數據集成提供高效穩定的數據同步，支持離線和實時場景下在豐富的異構數據源之間高速穩定的數據移動及同步能力，涵蓋數據讀取、輸出、轉換三大核心能力。

離線同步：實現數據主動抽取

實時同步：被動監控數據變更實時刷新動態同步

2.多類型異構數據源

數據集成支持關系型數據庫（包括mysql、postgresql、sqlserver、oracle等）、大數據存儲（hive、hbase等）、文件系統（hdfs、ftp、sftp）、對象存儲（cos、s3）、NoSQL（redis）、搜索（ES）、消息系統（kafka）在內的31種數據源讀寫。基于DAG畫布簡化參數配置，支持讀寫隨機組合。

3.豐富的數據處理及運維能力

提供同步前后庫表數據過濾、追加/覆蓋等數據寫入模式、自定義數據字段、臟數據控制等豐富數據處理方式。同時，基于任務和實例級別支持單表實時、離線、整庫遷移任務運維，支持任務及資源監控，覆蓋短信、郵件等多渠道告警。

5.3敏捷開發運維

1.協同開發空間

開發模式：支持先開發后編排以及先編排后開發兩種協作模式，開發和編排空間自動聯動；支持多人協同開發、提供表管理、函數開發、資源管理和回收站等多類型開發資源管理使用。

分析類型：支持JDBC數據源在線分析和結果查看，包括Hive、DLC、CDW 、Clickhouse、TDSQL、Mysql、Oracle、SQLServer、IBM DB2等20+種

快捷操作：支持將腳本一鍵轉換為工作流任務、支持腳本按照目錄結構導入和導出

統一元數據查看：支持系統源和外部源統一的數據源查看

2.協同編排空間

計算類型：支持Spark SQL、Hive SQL、Spark、MapReduce、Shell、JDBC、Python、PySpark、CDW Postgresql、Impala、DLC等11種任務類型

任務編排：支持可視化、Excel批量以及自定義編排任務

任務調度：支持周期、一次性和事件觸發調度，包括crontab方式配置調度以及自定義依賴配置。

任務測試：支持任務和工作流測試及版本管理

調度輔助：提供項目、工作流和任務三種粒度的參數配置，支持時間參數運算以及函數參數

版本管理：支持事件、函數、任務和參數的版本管理

3.發布運維

任務發布：支持跨項目和跨環境的任務發布以及回滾，提供跨租戶遷移的能力，發布對象包含任務、函數、事件和參數。

任務運維：提供工作流、任務以及實例的運維操作，包括補數據、重跑、置成功等；支持工作流、任務和實例三種維度的列表和DAG可視化監控

任務監控：提供任務以及實例概覽統計，包括任務類型、趨勢統計和耗時排行統計和調度資源統計。

監控告警：支持批量設置任務告警配置，提供失敗和運行耗時告警，告警方式支持郵件、短信、微信、企業微信、電話和HTTP等6種告警方式

5.4 高效數據治理

1.數據標準

通過資料收集、調研訪談、分析評估等工作流程，梳理企業的業務指標、數據項、代碼等，形成并制定數據標準。

2.數據模型

分析數據需求，遵循設計規范，構建標準化數據模型；制定管理制度和實施流程，實現數模型的統一管控

3.元數據管理

自動對接不同的業務系統，解析元數據，形成清晰、準確的數據血緣圖和數據流向圖，記錄數據的來源、處理過程等

4.數據資產管理

建立主數據、全量數據資產， 建立數據資產目錄、形成資產地圖，用戶用最直觀的方式，掌握數據資產的概況

5.數據質量管理

事中監控和事后跟蹤兩種方式，提供預警通道和數據質量分析，建立數據質量監控、預警、分析、優化閉環管理

6.數據安全管理

制定數據安全管理制度，建立生產平臺數據安全監控，保證數據被合法合規、安全地采集、傳輸、存儲和使用

5.5 統一數據編目與服務

1.一站式服務門戶

面向數據資源編目、部門用數需求、資產可視化管理等業務，在線融合，提供統一、高效的交互入口；提供面向數據管理者和運營團隊的統一入口，有效協同。

2.數據目錄

按照數據資源編目規范標準，實現數據資源目錄的在線錄入、編輯變更、審批發布、實體掛接等功能，并通過元數據與數據開放服務平臺上下貫通，實現以目錄為抓手的一站式數據服務。

3.數據服務

提供數據服務構建、數據服務引擎、數據推送和數據服務網關功能，大數據資源池里的數據資產可以快速封裝成 API 對各部門進行服務開放，以數據接口的方式通過數據服務網關提供

06 總結

加強城市地上地下管網的智能化管理對城市健康、安全、有序的發展意義重大。 通過智慧管網大數據平臺建設，結合新一代AI、5G、物聯網，云計算、三維可視化等技術能夠有效理清管道現狀，實現有效監管，數據應用和分析更有效，降低運維管理復雜度，有效整合管線資