公共數據服務平臺
隨著信息技術,尤其是傳感器、通信、計算機和互聯網技術的迅猛發展和廣泛應用,人類獲取數據的手段越來越多,速度大大加快,成本急劇降低,層次和尺度更為精細,人聯網和物聯網又使得人和物都成為數據來源,這樣一來,大數據成為了網絡時代人類社會的重要資產。
面對這些持續激增的海量數據信息和基于數據的業務需求,現今大部分行業所能做的也只是被動的將數據短暫存儲,已使用近30年的傳統數據處理架構對這些海量信息的處理和應用幾乎無能為力。如何讓這些復雜無序的數據產生價值、而不是空耗成本,如何讓行業輕松駕馭這些海量數據信息來創新、快速洞察,這是現今各行各業的迫切需求。
公共數據服務平臺通過提供的結構化數據匯聚作業,使當前分散于各個業務系統中的海量結構化數據的高效集成成為可能,滿足跨系統結構化數據的高效接入,充分迎合客戶對海量數據匯集的需求。通過提供的數據清洗轉換,將已有的ETL腳本加入系統的作業調度中,充分滿足了客戶對海量數據匯集后對數據加工的需求,客戶可以根據業務需求去編寫與擴展ETL腳本,極大地增加了系統在數據加工上的靈活度。系統提供對作業的實時管理,滿足了客戶在作業提交后對各作業的監控以及周期性調度的需求。
公共數據服務平臺主要功能模塊包括:數據分區管理、數據源管理、元數據管理、數據血緣、數據質量、數據編目、數據標準、數據匯聚、數據轉換、數據加工、數據服務等。
公共數據服務平臺不僅有效解決大數據時代客戶普遍面臨的數據匯集難、數據資源利用率低、數據響應業務需求慢等痛點難點。而且充分地滿足了客戶對于海量數據資源池中數據加工的需求。