敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDM Server)、敏感数据处理服务节点(SDM Server)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、敏感数据处理以及管理数据。海量数据供数于下游开发测试统计分析场景的数据使用需求该如何满足?容器备份
随着信息化程度的不断深入,数据作为企业的资产越来越被重视,虚拟化、云化的不断应用,带来了业务系统及数据的增长,大数据在这种环境中也有了发展和应用。新技术的不断创新与应用,促使着数据不断的被拷贝使用,如何能更好的使用这些数据,如何更好的管理越来越多的拷贝数据,如何能节省新需求下的存储空间,这些都成了当下亟待解决的问题。信息化时代,“数据”的应用较为频繁,海量数据的组成中,备份数据占有很大比例,而这些备份数据在没有发生故障时往往是被搁置不用的,被称为“暗数据”。而对业务数据的分析、统计、运维等操作都会直接作用在业务服务器,如此将会对业务性能产生影响,不利于业务系统的高效使用。如何做到解放业务系统,使其专注于业务处理上,也是IT管理者需要考虑的另一个现实问题。容器备份数据备份产品构建了数据保护的基础防线。
ADM平台具备根据管理人员、测试需求等内容的不同进行分组划分的功能,将处理过的数据进行分组管理,从下游测试数据管理的源头管控数据资源的类别,做到从源头划分类别,使下游测试数据管理形成上游数据源-中游数据中转-下游数据目标的闭环式数据使用流程,规范化的数据流程使数据管理者成为数据的负责人,自动化的资源管理也更有效地为金融行业用户提供安全的数据管理方案。同时,ADM提供对数据流转的树状拓扑结构图,可详细了解数据的来源、所属存储池、挂载的测试服务器,以及数据快照的层级关系,方便对系统全局的数据使用结构进行预览,通过可视化的结构拓扑图,帮助用户了解下游测试网中测试数据的归属关系,完善数据流转路径,优化数据资源的合理分配,可视化功能的动态展示将助力企业向着智能化数据安全治理的方向转型。
敏捷数据管理平台ADM测试数据管理场景及价值场景:测试环境是数据使用**为频繁的一个场景,涉及到数据交付、数据版本管理、数据安全管控等问题,也是数据治理**容易忽视的一个场景,做好测试数据的管理工作才会使得数据治理方案更加完善。价值:采用ADM实现测试数据管理,可以帮助用户实现测试数据的分钟级交付,提升百倍以上的数据交付能力;同时也可以帮助用户节约十倍以上的存储资源;可以帮助用户实现测试数据的版本管理,杜绝僵尸数据;同时也可以实现测试数据的集中统一管理,降低数据泄露的风险.上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。
l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一致性保障的数据,如针对Oracle,利用OracleRMAN和归档日志来保障备份数据库数据的一致性;针对VMware虚拟化,利用VMwareSnapshot技术来保障备份虚拟机数据的一致性。l事务日志同步技术支持数据库的事务日志备份,事务日志是数据库中已发生的所有修改和执行每次修改的事务的一连串记录,事务日志备份可将数据恢复到精确的故障点。例如:Oracle支持归档日志备份和删除,MySQL数据库支持redo日志备份和删除等。l文件系统数据保护ADM支持备份非结构化的文件系统。支持全量备份和长久增量备份与全量快照合成,备份策略采用定时执行备份任务,恢复策略支持细粒度恢复,**小粒度为恢复单个文件。支持跨文件系统恢复,例如恢复到EXT3、EXT4、NTFS等文件系统。上讯ADM产品通过虚拟数据秒级分发功能实现测试数据的同时在线交付,缩短了数据交付的时间。容器备份
上讯ADM产品采用副本数据管理CDM面向数据全生命周期进行数据安全管理。容器备份
数据流程管理是ADM功能模块之一,主要通过灵活配置数据流转环节实现数据管理流程的自动化作业编排,ADM采用基于画布的方式默认作业流程的起止节点,根据实际需求将数据的获取、恢复、***、传输、共享、交付、销毁等各个环节对应的任务组件灵活拖动到作业画布,组成一个完整的任务流程,各任务之间支持依赖关系、延时机制以及断点处理机制,**终实现数据管理流程任务的串联组建和并行执行,达到数据管理流程的自动化执行,协助用户将数据交付流程的各个工作环节灵活地组合起来,实现数据交付的自动化,从而摆脱人工值守,达到缩减时间成本和人力成本的目标。容器备份