数据库敏感数据处理

敏捷数据管理平台ADM的关键技术如下：l***数据获取方式数据获取的目的是将不同的数据源实时或者按需同步到平台内，根据不同类型的数据源，数据获取方式分为三种，保证覆盖全部数据源获取方式：①支持实时同步应用数据库；②支持按需同步关系型数据库；③支持与备份系统对接恢复数据。l核心专利技术—数据库虚拟化技术ADM内置一套数据库虚拟化管理程序，虚拟数据库是通过一份基础数据源创建的数据副本，一份基础数据源可以生成多个虚拟数据库，虚拟数据库可读可写，虚拟数据库状态可实时保存。虚拟数据库创建时间为分钟级，且不占用额外的存储空间。上讯敏捷数据管理平台ADM产品的合规性体现在通过数据申请审批流程使用数据，严格控制数据外流。数据库敏感数据处理

数据备份面临存储成本高的问题，ADM采用内置高效的压缩存储池存放数据，压缩比约为3:1，存储即压缩，降低了备份数据的存储成本；其次，通过ADM的数据库虚拟化技术，一份基础数据即可快速拉起多份虚拟数据库，由于虚拟数据库90%的数据均与原始数据相同，因此拉起时几乎不占用额外的物理存储空间，只对新增的写操作计入容量占用，因此，随着数据分发使用的场景和频率增加，虚拟库的数量越来越多，而存储成本将会呈倍数级节约，例如针对同一份数据创建N个虚拟库，传统方法需要N倍的存储空间占用，而通过ADM只需要占用近乎0TB的存储空间，节约了数据存储环节的资源和成本。数据库敏感数据处理上讯信息敏捷数据管理平台ADM荣获2023年网信自主创新“尖锋榜”产品奖。

上讯敏捷数据管理平台ADM功能支持自适应源端的全局重删算法与策略，支持任务级与全局指纹库；针对文件备份提供文件粒度与块级粒度的全域重删且支持重删指纹库重建功能，支持多线程文件备份，支持海量小文件场景下的聚合策略，提供并行扫描和高速索引，从而减少需要备份的数据量、缩短备份窗口、节省备份数据传输所消耗的网络带宽以及节约备份数据存储空间；备份传输过程采用压缩加密处理，缓解网络传输的压力，增加网络抖动或短时间断链的超时容错机制，确保备份数据的安全。

ADM贯穿数据收集、数据存储、数据加工、数据传输、数据使用、数据提供、数据回收的各个环节，集中管理存储资源、服务器资源，实现闭环式自动化管理流程，统一授权和全程监控，节省大量人力资源开销，减少了数据恢复的重复性工作，自动化流程任务编排降低了人为因素导致的数据泄露风险。基于数据库虚拟化技术，ADM实现了对数据库、文件、虚拟机等副本的分钟级创建，通过存储级快照快速保留数据副本的状态，实现数据版本的保留，跟踪数据流向。同时，数据副本支持时效性设置，当数据副本超出使用期限，ADM平台会自动停止使用或回收资源，实现对数据资产的全生命周期统一管理。上讯ADM产品的数据备份模块实现了数据库、文件、虚拟化平台的备份恢复。

上讯敏捷数据管理平台（ADM）支持重复数据删除技术，在典型的重复数据删除技术中，根据不同的数据备份场景选择适合的重删策略与粒度方案。在确定重删策略与粒度后，会根据输入侧不同粒度（卷级、文件级、块级）的数据采取不同的数据切分策略，并依据任务级与全局指纹库提供自适应源端的全局重删算法与策略，当前支持源端块级、文件级重删和并行重删技术。源端重删是采用基于内容的可变长数据切分算法，通过对数据块进行哈希算法的标记，即指纹（Fingerprint），在指纹库中寻找相同的指纹。如果存在相同指纹，则表示已保存了相同的数据块，ADM则不再保存此数据块，而是引用已存在的数据块，从而节省更多的备份空间。该算法还可以智能识别已修改的数据和未修改的数据，从而避免因修改数据位移而导致的未修改数据切分到新数据块中的问题，较大限度地提升重删性能和重删率，为避免数据备份过程中冗余网络传输与存储开销，在源端设置粗粒度前置数据校验可以明显缩小备份传输过程中的数据冗余，目的在于不备份任意一个冗余数据。上讯ADM产品的高效性体现在数据从上游生产环境到下游使用环境通过虚拟副本创建实现分钟级交付。数据库敏感数据处理

上讯敏捷数据管理平台ADM产品高效压缩存储池，节省大量存储资源。数据库敏感数据处理

并行重删技术是在多个不同的节点上构建指纹库，并将指纹并行分布于多个节点，采用内存级指纹库进行重删，所有指纹读写全部保存于内存中，从而提升指纹查询和处理效率，并且减少了因磁盘中指纹库增大所导致的随机IO压力。以此识别并消除数据备份过程中数据源中重复的数据，该技术适用于不同平台中的文件、数据库、虚拟机等不同应用类型的数据，可以大幅度减少需要传输的数据量，从而极大地节省数据传输带宽，解决单点性能和存储空间压力。数据库敏感数据处理