敏捷数据存储对数据处理环节中的数据存储部分进行了创新,采用独特的压缩存储池存放备份数据,将单独的卷管理器和文件系统角色结合在一起,由文件系统掌握磁盘的基础结构,传统文件系统一次只能在单个磁盘上创建,如果有两个磁盘,则必须创建两个单独的文件系统,而卷管理器和文件系统的组合解决了这个问题,它允许创建许多共享可用存储池的文件系统。该存储池的优势之一是对磁盘物理布局的控制,当将其他磁盘添加到池中时,现有文件系统可以自动增长,而新空间可用于所有文件系统,即可以通过添加硬盘来增大池的存储容量,进行分区和格式化.ADM内置独有的高效压缩存储池,存储即压缩。第三方数据校验
通过部署敏捷数据管理平台ADM产品的数据副本管理模块,实现了测试数据版本迭代管理,提升了数据使用过程中的应用效率。随着移动互联网技术的不断革新,移动应用业务不断扩张,企业面临着前台业务频繁更新升级的现状,为保证既有业务稳定,需要对新提出的升级需求开展仿真测试与回归测试,因此亟需一套能够对测试环境的测试数据进行版本灵活切换的解决方案,便于测试数据版本的即时调用,迅速适应不同业务程序提供不同版本的测试数据。ADM的虚拟数据库快照功能解决了这一问题,通过对数据库状态进行定时或即时的记录,管理和维护当前虚拟数据库的数据,使用人员可以随时通过记录的虚拟数据库快照提供一个版本的测试数据,经过测试后保存当前的数据库使用状态,便于开发测试的数据版本迭代,通过这一功能明显提升了程序升级测试、版本迭代的效率.仿真性数据变形ADM主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等应用场景问题。
ADM产品数据安全***ADM平台支持静态数据脱敏(涉及数据库、格式化文件、数据库对象、消息队列等),内置104条***算法、47条敏感信息类型匹配库,覆盖个人身份信息、组织机构信息、资质资格证信息、金融数据信息、医疗数据信息、车辆数据信息等众多类别的敏感数据类型识别与仿真***。具备广义的通用型***规则,包括字符替换、随机生成、截短、加权生成、加密等;支持保留原有数据含义的仿真型***规则,支持中文字典库与编码字典库,保证姓名、身份证号、证件号、地址、组织机构代码等***后数据的有效性、可用性。提供基于数据库的库内***和基于ETL的抽取***,提供文件***添加水印功能,提供国产化操作系统的加密算法,满足用户多种***需求。
l异地数据容灾(远程复制)数字化时代,企业进行数据保护,不仅希望能够实现本地数据保护,也要有灾备中心进行异地数据保护。如此,即便本地数据中心遭遇地震、火灾等重大自然灾害或人为操作失误等事故,导致本地备份数据或生产数据发生损坏或丢失时,能够通过异地数据灾备,确保数据可恢复。ADM支持通过远程复制技术,将本地数据同步到异地灾备中心,实现异地数据容灾。基于备份任务,将生产数据备份到本地的存储池,基于远程复制任务,将本地存储池中的备份数据同步到异地存储池中,从而为生产数据提供双重保护,当本地生产数据、或备份数据丢失、损坏时,通过预先设置的容灾策略,在容灾端进行应急接管。ADM针对数据的获取采用压缩存储的方式,存储池可压缩至原来的三分之一,大*节约了数据存储的成本。
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。ADM数据资源可视化管理,有效满足上中下游数据使用的政策合规。为信创而生的数据备份管理解决方案
ADM通过提供虚拟数据库作为容灾恢复数据库可快速接管业务,保持业务的连续性。第三方数据校验
数据分钟级提供,提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库,进而,快速将测试数据传输到下游的开发测试环境,无需繁琐冗长的审核和等待,这一过程有效减少了下游开发测试场景中测试数据的准备时间,通常从以天计算缩短到以小时计算,时间效率提升明显,**缩短了开发测试时间,进而缩短产品的发布周期。(5)敏感数据定义识别与仿真***,保障数据流转环节的安全性通过智能定义敏感数据类型,自动发现和识别敏感数据,包括数据类型、内容、约束关系,灵活排序减少人为筛选,***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合,保证***后数据仍具有业务属性,数据表间关系仍具有业务一致性,不影响数据挖掘分析数据价值。对涉及企业、个人信息的隐私数据,包括资金财产、个人、企业隐私的对照关系进行敏感数据识别,通过内置的***规则进行***处理,将数据敏感部分去隐私化,但并不失去数据挖掘的价值特征,减少数据隐私泄露带来的风险和损失,甚至降低可能发生的人身伤害和违法犯罪事件。第三方数据校验