近年来,证券业务快速发展,信息系统变更日益频繁,敏捷开发、快速迭代已经成为支持业务创新的必要条件。数据库作为信息系统运行的重要支撑,数据准备和交付的自动化程度对系统开发、测试效率有大的影响。Gartner对CDM的定义是,它从生产环境通过快照技术获取有应用一致性保证的数据,在非生产存储上生成“黄金副本”(GoldenImage),这个“黄金副本”数据格式是原始的磁盘格式,可再虚拟化成多个副本直接挂载给服务器,分别用于备份恢复、容灾或开发测试等.海量数据供数于下游开发测试统计分析场景的数据使用需求该如何满足?节约存储
敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDMServer)、***服务节点(SDMServer)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、数据脱敏以及管理数据。敏捷数据管理平台(ADM)由4个模块组成:数据服务节点(CDMServer)包括数据备份模块(PDM)、数据校验模块(BDM)、数据交付模块(TDM)3个模块;***服务节点(SDMServer)包括数据脱敏模块(SDM)1个模块。基础备份数据上讯信息敏捷数据管理平台ADM包括PDM、BDM、SDM、CDM四大功能模块。
ADM贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节,集中管理存储资源、服务器资源,实现闭环式自动化管理流程,统一授权和全程监控,节省大量人力资源开销,减少了数据恢复的重复性工作,自动化流程任务编排降低了人为因素导致的数据泄露风险。基于数据库虚拟化技术,ADM实现了对数据库、文件、虚拟机等副本的分钟级创建,通过存储级快照快速保留数据副本的状态,实现数据版本的保留,跟踪数据流向。同时,数据副本支持时效性设置,当数据副本超出使用期限,ADM平台会自动停止使用或回收资源,实现对数据资产的全生命周期统一管理。
功能节点统一管理,支持弹性扩展ADM采用多节点高可用部署架构,保障数据服务高可用,并消除单节点故障导致的业务不可用问题,确保数据服务连续性。采用Scale-out架构,根据业务发展规模,按需扩展集群节点,无需停止服务,灵活满足业务需求。同时,ADM支持存储池容量的弹性扩充,满足不断增长的数据存储需求。(2)数据存储成本倍数级节约,提升数据存储环节的效能首先,数据备份面临存储成本高的问题,ADM采用内置高效的压缩存储池存放数据,压缩比约为3:1,存储即压缩,***降低了备份数据的存储成本;其次,通过ADM的数据库虚拟化技术,一份基础数据即可快速拉起多份虚拟数据库,由于虚拟数据库90%的数据均与原始数据相同,因此拉起时几乎不占用额外的物理存储空间,*对新增的写操作计入容量占用,因此,随着数据分发使用的场景和频率增加,虚拟库的数量越来越多,而存储成本将会呈倍数级节约,例如针对同一份数据创建N个虚拟库,传统方法需要N倍的存储空间占用,而通过ADM只需要占用近乎0TB的存储空间,**节约了数据存储环节的资源和成本。上讯ADM产品采用副本数据管理CDM面向数据全生命周期进行数据安全管理。
数据备份管理是ADM功能模块之一,主要用于实现云环境、物理环境、虚拟化平台下的***数据保护。包括支持各种主流平台下的系统、数据库及文件数据的保护,支持主流的虚拟化平台、国产化云服务器以及容器的保护,并可对物理服务器及虚拟化平台下的备份数据进行即时挂载恢复,提供业务应急的能力和数据快速恢复能力;针对数据备份的存储资源类型,ADM***支持DAS(包括SSD/HDD)、SAN(包括IP-SAN/FC-SAN)、对象存储等存储资源。支持接入第三方云存储、对象存储等作为大容量数据存储池,具备较强的扩展能力。上讯敏捷数据管理平台ADM产品支持仿真的敏感数据处理。准生产环境
上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。节约存储
数据副本管理是ADM功能模块之一,可单独作为企业级副本数据管理(CDM)产品。为应对当前复杂的IT环境,ADM提出集云、物理、虚拟为一体的,面向结构化数据库、非结构化数据、虚拟化和云平台的***数据副本分发与交付管理解决方案。主要通过数据副本管理的核心专利技术——数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复,**终达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标,是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。节约存储