上讯敏捷数据管理平台ADM对接用户现有集中式备份系统服务器,实现恢复服务器、数据恢复策略、数据验证策略和存储资源的集中管理,包括:(1)存储池自动准备存储空间、自动调度创建恢复服务器;(2)按照参数设置恢复策略、自动执行恢复计划、自动验证恢复数据;(3)恢复验证任务结束后,自动清理恢复环境,释放存储资源和恢复服务器资源,用于下一个恢复验证任务的使用,使整个数据备份恢复验证工作能够高效节能地循环利用,达到集中统一安全管理。备份数据的开发利用是唤醒大量沦为暗数据的备份数据,让数据备份即可用。删除过期数据
上讯敏捷数据管理平台(ADM)的主要技术是(1)ADM内置独有的高效压缩存储池,压缩比高达3:1,存储即压缩,降低了基础数据源获取的存储成本与持续增长的副本数据存储成本。(2)ADM的数据库虚拟化技术,是通过获取一份基础数据源,快速拉起多份虚拟数据库挂载给目标业务使用,虚拟数据库拉起时几乎不占用物理存储空间,在实验室测试环境下拉起一个10TB数据量的虚拟数据库,只占用1GB左右的存储空间,明显节约了存储成本和时间周期,因此针对开发测试场景,需要对同一份数据创建N份副本数据时,存储成本节约近乎N倍。虚拟快照上讯信息敏捷数据管理平台为企业上中下游数据的高效使用、安全管控提供了一套综合数据安全治理解决方案。
在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。
ADM敏捷数据管理平台产品是一款企业级CDM产品,通过以数据为中心,以安全为前提,以使用为导向,以敏捷为目的的产品理念,为企业提供一套面向上中下游数据高效使用与安全管控的数据安全治理解决方案。该解决方案在保证数据安全使用的前提下,可有力提高数据使用效率、降低数据存储成本。ADM产品可帮助企业解决数据开发利用需求下,数据使用流转环节遇到的安全性和效率问题,为企业的数据使用和管理建立了一套闭环式的数据安全流转体系,为数据安全治理提供技术支撑.上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。
敏捷数据管理平台(ADM)由管理控制中心(Master)、数据服务节点(CDMServer)、***服务节点(SDMServer)、客户端(Client)组成,服务节点可通过主备节点部署实现高可用,通过灵活的横向节点扩展实现功能扩展和容量扩充,每个服务节点可以安装在物理服务器或虚拟服务器中。一个或多个客户端连接到服务节点,组成一个完整的数据管理平台,客户端负责收集数据、传输数据,服务节点负责接收数据、存储数据、数据脱敏以及管理数据。敏捷数据管理平台(ADM)由4个模块组成:数据服务节点(CDMServer)包括数据备份模块(PDM)、数据校验模块(BDM)、数据交付模块(TDM)3个模块;***服务节点(SDMServer)包括数据脱敏模块(SDM)1个模块。上讯ADM产品的可管理性体现在数据从上游到下游获取、传输、流转的集中式管理,同时可进行版本管理。删除过期数据
上讯敏捷数据管理平台ADM产品高效压缩存储池,节省大量存储资源。删除过期数据
在数据收集和使用上,通过获取一份具有应用一致性保证的“黄金副本”,分钟级虚拟化为多个副本直接挂载使用,数据使用效率明显得到提升;在数据存储和传输上,这些虚拟数据副本相对原始存储几乎不占用存储空间(约为0),且ADM产品将全部数据集中存放在统一的存储池中,既保证了数据传输流转的闭环管控,又降低了数据的存储成本;在数据加工上,数据脱离生产环境之前增设了敏感数据处理环节,保障数据公开后的隐私安全,防止核心数据泄露;在数据的提供和公开上,虚拟数据副本可用于准生产、测试环境等场景的数据交付,每一份虚拟数据都是互不影响的,并且可读可写,数据在经过变更后可标记快照,多个快照之间可以任意切换实现数据版本的管理。删除过期数据