在典型的重复数据删除技术中,根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后,会根据输入侧不同粒度(卷级、文件级、块级)的数据采取不同的数据切分策略,并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略,当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法,通过对数据块进行哈希算法的***标记,即指纹(Fingerprint),在指纹库中寻找相同的指纹。如果存在相同指纹,则表示已保存了相同的数据块,ADM则不再保存此数据块,而是引用已存在的数据块,从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据,从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题,比较大限度地提升重删性能和重删率,为避免数据备份过程中冗余网络传输与存储开销,在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余,目的在于不备份任意一个冗余数据。上讯ADM产品通过虚拟数据秒级分发功能实现测试数据的同时在线交付,缩短了数据交付的时间。数据管理体系
l虚拟化平台数据保护ADM为用户提供***且有针对性的虚拟化平台保护方案,包括VMware/SmartX/浪潮/华为FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虚拟化平台,帮助用户解决商业和国产虚拟化的备份和恢复业务。例如:VMware是通过调用管理虚拟机和读写数据的API备份接口VADP(VstorageAPISforDataProtection)进行备份。VMware备份实现了无代理备份,即无需在虚拟化平台或者各个虚拟机上安装客户端代理,只需通过代理客户端连接虚拟化平台即可,因此几乎不占用主机资源,不影响生产性能。支持虚拟机自动发现功能,当虚拟机发生变化时,无需人工添加或删除变化的虚拟机,即可实现自动备份,备份模式***支持NBD、NBD-SSL、SAN、Hot-Add备份,恢复模式支持SAN、NBD、NBD-SSL模式,备份格式包括RAW、VMDK等。数据管理体系市面上的敏感数据管理产品有哪些?
l核心专利技术—数据库虚拟化(1)ADM内置独有的高效压缩存储池,压缩比高达3:1,存储即压缩,***降低了基础数据源获取的存储成本与持续增长的副本数据存储成本。(2)ADM的数据库虚拟化技术,是通过获取一份基础数据源,快速拉起多份虚拟数据库挂载给目标业务使用,虚拟数据库拉起时几乎不占用物理存储空间,在实验室测试环境下拉起一个10TB数据量的虚拟数据库,*占用1GB左右的存储空间,明显节约了存储成本和时间周期,因此针对开发测试场景,需要对同一份数据创建N份副本数据时,存储成本节约近乎N倍。
ADM敏捷数据管理平台产品是一款企业级CDM产品,通过以数据为中心,以安全为前提,以使用为导向,以敏捷为目的的产品理念,为企业提供一套面向上中下游数据高效使用与安全管控的数据安全治理解决方案。该解决方案在保证数据安全使用的前提下,可有力提高数据使用效率、降低数据存储成本。ADM产品可帮助企业解决数据开发利用需求下,数据使用流转环节遇到的安全性和效率问题,为企业的数据使用和管理建立了一套闭环式的数据安全流转体系,为数据安全治理提供技术支撑.上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。
上讯敏捷数据管理平台适用场景:数据交付速度慢的开发测试部门企业通过交付生产数据辅助第三方业务决策,如开发/测试环境、统计分析、准业务系统环境搭建等,交付生产数据的方式是通过生成业务系统数据副本,而副本的准备通常需要几小时,甚至几天不等,严重拖延了项目进度。
备份数据的有效性验证效率低的运维部门,大部分企业对其**业务系统进行了数据备份,为了检验备份数据的有效性,以及满足相关法律法规的要求,企业对备份数据采取周期性的恢复验证;由于企业的业务系统繁多,而人员相对紧缺,验证工作需要大量重复性动作,成为企业当前面临的一大挑战。
数据副本分散存放难以管理的数据中心数据副本一旦被交付使用,就**存在于使用环境中,随着数据使用场景的日益增多,数据副本在非生产环境中逐渐累积,**分散的存放方式导致副本的辨识度不高,后续使用与销毁难度明显增大。同时,重复存放现象严重造成了存储资源的浪费。u隐私数据泄露风险高的用户无论是通过生产数据库导出,还是通过备份系统恢复,都能够直接获取到企业的**生产数据,其中包含企业内部机密数据和客户个人隐私信息,一旦发生泄露将带来严重后果,不仅影响企业的名誉,也会造成一定的经济损失。 上讯ADM产品是集数据备份管理、备份校验管理、数据副本管理、数据脱敏管理四位一体的数据管理产品。数据管理体系
上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。数据管理体系
上讯敏捷数据管理平台(ADM)支持并行重删技术,通过在多个不同的节点上构建指纹库,并将指纹并行分布于多个节点,采用内存级指纹库进行重删,所有指纹读写全部保存于内存中,从而提升指纹查询和处理效率,并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据,该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据,可以大幅度减少需要传输的数据量,从而极大地节省数据传输带宽,解决单点性能和存储空间压力。数据管理体系