ADM敏捷數據管理(lǐ)解決方案-

需求場景
需求分析
解決方案
方案優勢

需求場景

金融業作為(wèi)資金密集型行業，數據具有高(gāo)敏感性和(hé)高(gāo)價值性的(de)特征，因此對數據的(de)安全使用有着極高(gāo)的(de)要求，如(rú)何安全地(dì)使用數據、最大程度地(dì)發揮其價值，是金融業一(yī)直以來研究的(de)課題，開發測試業務作為(wèi)數據使用頻繁的(de)典型應用場景，受到金融用戶重點的(de)關注，如(rú)何滿足開發測試環境對數據的(de)申請要求、如(rú)何提升數據交付的(de)效率、如(rú)何管理(lǐ)數據使用的(de)版本等，是開發測試部門常見的(de)工作需求，金融用戶通過滿足開發測試人員日常面臨的(de)數據使用與管理(lǐ)需求，達到顯著縮短(duǎn)業務上線周期的(de)目标。

需求分析

要求縮短(duǎn)測試數據的(de)交付時間項目的(de)開發及測試是有時間周期的(de)，由于數據量較大、數據申請較為(wèi)頻繁，一(yī)般一(yī)份數據的(de)準備時間在一(yī)周左右，等待數據的(de)時間較久，此問題不解決，将會成為(wèi)開發測試提升效率的(de)瓶頸。所以，如(rú)何提升數據副本的(de)交付效率，是開發測試場景中首先要考慮的(de)需求。
要求滿足不同的(de)數據申請需求對于開發測試業務而言，數據的(de)需求是多樣的(de)，有的(de)要求某個時間點的(de)數據，有的(de)要求當天或前一(yī)天的(de)數據；針對新上線的(de)業務系統，還會有造數需求。針對不同數據申請需求，要求全部滿足，需要考慮多種數據獲取方式。
要求敏感數據使用前進行脫敏在使用數據的(de)時候，既要考慮到敏感數據的(de)安全性問題，又要考慮到工作效率問題，因此，在對數據交付使用前，需要對敏感數據做(zuò)相應的(de)處理(lǐ)工作。要做(zuò)到最大程度發現敏感信息，确保敏感數據不遺漏，還需要做(zuò)到對敏感數據的(de)仿真脫敏，以使得敏感數據脫敏後滿足校驗要求。
要求數據使用流程閉環開發測試使用的(de)數據，多為(wèi)從生産系統中獲取的(de)數據，基于安全和(hé)效率考慮，需要将數據獲取、數據存儲、數據交付、數據管理(lǐ)、數據回收實現全流程的(de)閉環管理(lǐ)。
要求對副本數據進行高(gāo)可(kě)用保護交付到開發測試環境的(de)數據，雖說是經過處理(lǐ)的(de)副本數據，但對于開發測試人員來講，該數據為(wèi)測試基準數據，需要考慮到副本數據的(de)保護問題，一(yī)旦發生故障，能夠快速恢複副本數據，不影響副本數據的(de)正常使用。

解決方案

考慮到數據的(de)多種獲取方式及數據的(de)閉環管理(lǐ)，在生産域、備份域和(hé)測試域分别部署一(yī)台敏捷數據管理(lǐ)平台ADM Server：生産域的(de)ADM Server用于直接備份生産數據，以獲取實時性的(de)副本數據；備份域的(de)ADM Server用于從NBU/CommVault備份系統中獲取備份數據，以獲取任意時間點的(de)副本數據；測試域的(de)ADM Server用于接收生産域或備份域處理(lǐ)後的(de)副本數據，用于測試環境的(de)數據交付域。
生産域、備份域均屬于生産網絡，而測試域屬于測試網絡，兩個網絡是獨立的(de)，考慮到安全性與數據的(de)傳輸效率，需要将生産網絡與測試網絡單向打通。
生産域的(de)ADM Server可(kě)用于實時備份有頻繁交付數據需求的(de)業務系統，可(kě)實現備份集備份、原格式備份兩種備份方式。
備份域的(de)ADM Server可(kě)用于從NBU/CommVault備份系統中獲取任意時間點的(de)備份數據，并且在獲取數據的(de)同時，也可(kě)以幫助用戶解決備份數據恢複校驗的(de)問題。
測試域的(de)ADM Server可(kě)用于滿足研發/測試環境的(de)數據交付、副本數據版本管理(lǐ)、副本數據版本切換、副本數據回收等需求。

方案優勢

1.測試數據快速交付

敏捷數據管理(lǐ)平台ADM采用創新型技術——數據庫虛拟化技術幾分鍾內(nèi)創建完成虛拟數據庫，快速将已經脫敏過的(de)數據作為(wèi)黃金副本傳輸到開發測試網，有效減少開發測試場景中測試數據的(de)準備時間，提高(gāo)了開發測試環境搭建的(de)效率；
多份虛拟數據庫讀寫操作獨立，完全滿足測試環境多場景同步測試的(de)需求。

2.測試數據存儲節約

ADM內(nèi)置獨有的(de)高(gāo)效壓縮存儲池，壓縮比達3:1，顯著降低(dī)了基礎數據源獲取的(de)存儲成本，一(yī)份基礎數據源，可(kě)挂載多份虛拟數據庫，節約了存儲成本10倍以上，快照共享降低(dī)了持續增長(cháng)的(de)副本數據存儲成本。

3.測試數據動态快照版本管理(lǐ)

ADM快照功能，可(kě)以靈活對虛拟數據庫的(de)狀态進行管理(lǐ)和(hé)維護，便于開發測試的(de)數據版本叠代。動态快照的(de)使用保證了虛拟數據庫持續對外提供服務，不影響測試業務的(de)連續性。

4.測試數據集中統一(yī)管理(lǐ)

測試數據具有數據副本多、數據版本多的(de)特性，人為(wèi)管理(lǐ)容易形成較多的(de)僵屍數據，造成存儲資源的(de)浪費，通過ADM管理(lǐ)測試數據，可(kě)以形成閉環流程，集中統一(yī)管理(lǐ)測試數據的(de)交付與版本管理(lǐ)，提升數據管理(lǐ)效率的(de)同時，杜絕了僵屍數據的(de)産生。

5.測試數據系統可(kě)視(shì)化管理(lǐ)

測試環境的(de)數據，版本繁多，傳統人為(wèi)創建副本保存的(de)測試數據，很難形成有效的(de)數據血統管理(lǐ)，通過ADM的(de)部署，利用可(kě)視(shì)化的(de)結構拓撲圖，可(kě)以清晰展現數據版本間的(de)血統關系，對數據的(de)使用一(yī)目了然。

6.數據脫敏保證金融數據安全

ADM平台具備數據脫敏管理(lǐ)模塊，可(kě)實現自(zì)動掃描識别敏感數據，精準定位敏感數據源，提供豐富的(de)仿真脫敏算法，保證脫敏後的(de)數據關系一(yī)緻，異構和(hé)并發脫敏提升了數據脫敏的(de)效率，降低(dī)了數據洩露的(de)風險。 ADM的(de)數據副本管理(lǐ)與數據脫敏管理(lǐ)可(kě)以實現良好的(de)聯動，不僅能夠快速準備脫敏數據源，還能實現脫敏數據的(de)快速分發。