敏捷数据存储对数据处理环节中的数据存储部分进行了创新,采用独特的压缩存储池存放备份数据,将单独的卷管理器和文件系统角色结合在一起,由文件系统掌握磁盘的基础结构,传统文件系统一次只能在单个磁盘上创建,如果有两个磁盘,则必须创建两个单独的文件系统,而卷管理器和文件系统的组合解决了这个问题,它允许创建许多共享可用存储池的文件系统。该存储池的优势之一是对磁盘物理布局的控制,当将其他磁盘添加到池中时,现有文件系统可以自动增长,而新空间可用于所有文件系统,即可以通过添加硬盘来增大池的存储容量,进行分区和格式化.ADM的数据远程复制主要解决数据全生命周期管理中数据传输流转的安全问题,实现数据安全跨域传输的目...
敏捷数据管理平台ADM能够将上游的数据收集、存储,中游的数据处理、传输,下游的数据分发和交付全流程贯通,形成一套自动化、智能化的副本数据全生命周期管理解决方案,为银行业实现测试业务多场景的数据覆盖,实现业务版本的高质量交付和快速迭代提供了行之有效的工具。ADM的数据库虚拟化功能与GoldenDB高可用、高可靠的数据库服务相结合,为该行提供了敏捷的副本数据交付能力与灵活的副本数据管理能力,对银行测试数据管理体系的构建起到了强有力的助推作用,助力打造数字化业务增长新模式.ADM可使数据分钟级提供,提升数据交付效率缩短开发周期。金融服务供应l应用数据一致性保障ADM主要应用原生备份接口获取具有应用一...
ADM产品测试数据多副本快速交付ADM是国内**早的副本数据管理(CDM)产品,采用数据库虚拟化技术对原始数据库副本(黄金副本)快速生成多个虚拟数据库作为测试数据副本,满足开发测试场景的测试数据快速供应。Ø100倍数据交付效率提升10TB的数据恢复时间由原来的小时级缩短至分钟级;Ø10倍工作效率提升在开发、测试环境中,使用者可随时对虚拟库做快照标记,快照对应着不同时间的数据版本。数据版本管理可进行任意标记的快照切换,降低数据导入或恢复产生的时间成本,大幅提升工作效率。Ø10倍存储空间节省首先内置存储池存储即压缩的机制可实现约3:1的数据存储压缩,同时交付的多个虚拟数据库由于共享于一份原始数据,...
(1)国产化数据备份系统兼容性不足当前国产化数据保护系统对国产化数据库、文件、虚拟化平台、容器、云服务器等备份源类型兼容不***,适配过程中需要更多的时间进行功能稳定性验证。(2)数据备份恢复验证耗时耗力当前采用NetBackup等集中备份系统备份的数据需采用手动恢复数据,过程繁琐、重复度高、专业性强,耗费大量的时间和人力成本。(3)数据交付时间长不论是通过数据恢复还是数据拷贝来提供测试数据,需要几小时到几周的时间。(4)占用大量存储资源数以千计的数据副本占用大量存储资源,需要更多的维护成本。(5)数据版本回退困难开发、测试环境中,当完成一轮跑批测试或功能调试后,重置数据状态需要重新导入数据或...
在数据收集和使用上,通过获取一份具有应用一致性保证的“黄金副本”,分钟级虚拟化为多个副本直接挂载使用,数据使用效率明显得到提升;在数据存储和传输上,这些虚拟数据副本相对原始存储几乎不占用存储空间(约为0),且ADM产品将全部数据集中存放在统一的存储池中,既保证了数据传输流转的闭环管控,又降低了数据的存储成本;在数据加工上,数据脱离生产环境之前增设了敏感数据处理环节,保障数据公开后的隐私安全,防止核心数据泄露;在数据的提供和公开上,虚拟数据副本可用于准生产、测试环境等场景的数据交付,每一份虚拟数据都是互不影响的,并且可读可写,数据在经过变更后可标记快照,多个快照之间可以任意切换实现数据版本的管理...
ADM产品数据安全***ADM平台支持静态数据脱敏(涉及数据库、格式化文件、数据库对象、消息队列等),内置104条***算法、47条敏感信息类型匹配库,覆盖个人身份信息、组织机构信息、资质资格证信息、金融数据信息、医疗数据信息、车辆数据信息等众多类别的敏感数据类型识别与仿真***。具备广义的通用型***规则,包括字符替换、随机生成、截短、加权生成、加密等;支持保留原有数据含义的仿真型***规则,支持中文字典库与编码字典库,保证姓名、身份证号、证件号、地址、组织机构代码等***后数据的有效性、可用性。提供基于数据库的库内***和基于ETL的抽取***,提供文件***添加水印功能,提供国产化操作系...
敏捷数据管理平台ADM的关键技术如下:l***数据获取方式数据获取的目的是将不同的数据源实时或者按需同步到平台内,根据不同类型的数据源,数据获取方式分为三种,保证覆盖全部数据源获取方式:①支持实时同步应用数据库;②支持按需同步关系型数据库;③支持与备份系统对接恢复数据。l核心专利技术—数据库虚拟化技术ADM内置一套数据库虚拟化管理程序,虚拟数据库是通过一份基础数据源创建的数据副本,一份基础数据源可以生成多个虚拟数据库,虚拟数据库可读可写,虚拟数据库状态可实时保存。虚拟数据库创建时间为分钟级,且不占用额外的存储空间。ADM脱*功能支持保留原有数据含义的仿真型脱*规则,支持中文字典库与编码字典库。...
l变化数据块跟踪技术块修改跟踪技术(BlockChangeTracking)简称BCT,Oracle数据库通过BCT技术可以只备份新增的或变化的数据块,VMware通过内置的CBT技术获取新增或变化的虚拟磁盘数据块,从而提升增量备份效率。l备份数据传输压缩加密ADM支持AES256和SM4加密算法,用户可根据实际情况,灵活选择。在数据传输过程中,通过加密算法对备份数据进行加密处理,确保抓包、***攻击、钓鱼等恶意方式所截获的备份数据无法被解析,从而有效避免数据泄露等安全问题。通过网络远程挂载的方式,ADM将TB量级数据拉起时间控制在分钟级,数据恢复的响应速度极快。CDM应用在金融行业开发测试场...
数据分钟级提供,提升数据交付效率缩短开发周期通过部署ADM几分钟内即可创建一个数据量TB级别的虚拟数据库,进而,快速将测试数据传输到下游的开发测试环境,无需繁琐冗长的审核和等待,这一过程有效减少了下游开发测试场景中测试数据的准备时间,通常从以天计算缩短到以小时计算,时间效率提升明显,**缩短了开发测试时间,进而缩短产品的发布周期。(5)敏感数据定义识别与仿真***,保障数据流转环节的安全性通过智能定义敏感数据类型,自动发现和识别敏感数据,包括数据类型、内容、约束关系,灵活排序减少人为筛选,***精细定位敏感数据源。丰富的***算法与仿真的字典库相结合,保证***后数据仍具有业务属性,数据表间关...
近年来,证券业务快速发展,信息系统变更日益频繁,敏捷开发、快速迭代已经成为支持业务创新的必要条件。数据库作为信息系统运行的重要支撑,数据准备和交付的自动化程度对系统开发、测试效率有大的影响。 Gartner对CDM的定义是,它从生产环境通过快照技术获取有应用一致性保证的数据,在非生产存储上生成“黄金副本”(Golden Image),这个“黄金副本”数据格式是原始的磁盘格式,可再虚拟化成多个副本直接挂载给服务器,分别用于备份恢复、容灾或开发测试等。 ADM使数据存储成本倍数级节约,提升数据存储环节的效能。端到端的自动化备份产品通过数据去重、压缩技术减少冗余和文件大小,利用增量和差异备...
敏捷数据管理平台备份数据有效性验证场景及价值:场景:备份数据是数据安全一道防线,大部分用户在生产网络中已部署了如NBU、Commvault等常见备份系统,为了保证备份数据的可恢复性及可用性,需要经常对备份数据做恢复校验,而手动恢复校验比较耗时耗力,因此导致了做备份数据恢复校验的频率不够。价值:采用ADM实现备份数据的恢复校验,可以将NBU、Commvault等备份系统的备份策略导入到ADM平台中,并根据备份策略创建不同的恢复任务,且恢复任务可以进行恢复排期,帮助用户实现自动化的周期性的备份数据恢复校验,节约了大量的人力成本,且增加了备份数据恢复的频率,为备份数据的可恢复性可用性提供了更好的保障...
近年来,证券业务快速发展,信息系统变更日益频繁,敏捷开发、快速迭代已经成为支持业务创新的必要条件。数据库作为信息系统运行的重要支撑,数据准备和交付的自动化程度对系统开发、测试效率有大的影响。 Gartner对CDM的定义是,它从生产环境通过快照技术获取有应用一致性保证的数据,在非生产存储上生成“黄金副本”(Golden Image),这个“黄金副本”数据格式是原始的磁盘格式,可再虚拟化成多个副本直接挂载给服务器,分别用于备份恢复、容灾或开发测试等。 ADM企业级副本数据管理(CDM)产品。即时快照管理控制中心(Master)是ADM的集中管理和调度控制中心,是进行可视化管理的Web操...
基于CDM(CopyDataManagement,数据副本管理)技术,通过对该技术的运用,我们整合了CDM和***相关工具,实现了生产到开发测试环境的数据快速复制,以及备份数据的自动校验。通过CDM解决方案的实施,我们实现了一个平台、一站式解决数据获取、数据存储、数据构建、数据使用、数据销毁,在保证合规性基础上,以敏捷的数据全生命周期管理,更好地实现数据共享和数据利用。上讯敏捷数据管理平台可以实现以上功能,欢迎登录官网了解详情.ADM支持全库脱*与子集脱*,支持异构数据库脱*,保证核*生产数据中间不落地。父快照名称l数据压缩存储ADM支持同步数据压缩,自动化地将同步数据按照3:1的比例压缩,系...
上讯敏捷数据管理平台(ADM)是因基于CDM技术的测试基准数据快速交付方案而在数据安全管理领域知*,特别适用于银行业软件开发测试中心,解决了测试环境搭建中数据准备与交付的瓶颈问题。通过自动对接备份系统,实现备份数据有效性验证的自动化;其虚拟数据库功能确保分钟级数据交付,且交付的虚拟数据副本不占用等倍的存储空间,*通过网络远程挂载的方式实现虚拟交付;同时,内置的SDM模块保证敏感数据的安全处理。上讯敏捷数据管理平台ADM是企业IT系统的有效补充,助力企业高效、安全地管理数据副本。ADM是对数据的采集、传输、存储、使用、流转、管理等关键环节进行效率和安全双重保障的数据管理平台。集成数据备份和敏感数...
当前,有效的保障数据安全的方式仍然是数据备份,即企业针对生产业务的数据、文件制定备份策略生成备份数据,一旦业务数据发生丢失或损坏,则恢复备份数据提供业务访问,传统的数据备份方案并未提供数据的恢复验证手段,因此企业在发生数据丢失时,启用备份数据恢复失败的案例屡见不鲜,这也给各行业客户造成了巨大的经济损失和不良的社会影响,为满足法律的合规性要求,备份数据的恢复验证成为备份恢复解决方案的必要需求,但由于备份数据量巨大、涉及业务系统繁多、专业人员数量有限,定期的备份数据恢复验证仍然是一道难题,上讯敏捷数据备份恢复验证解决方案为备份数据的恢复验证提供了创新的技术手段,包括备份数据的分钟级快速恢复、秒级可...
上讯敏捷数据管理平台(ADM)是因基于CDM技术的测试基准数据快速交付方案而在数据安全管理领域知*,特别适用于银行业软件开发测试中心,解决了测试环境搭建中数据准备与交付的瓶颈问题。通过自动对接备份系统,实现备份数据有效性验证的自动化;其虚拟数据库功能确保分钟级数据交付,且交付的虚拟数据副本不占用等倍的存储空间,*通过网络远程挂载的方式实现虚拟交付;同时,内置的SDM模块保证敏感数据的安全处理。上讯敏捷数据管理平台ADM是企业IT系统的有效补充,助力企业高效、安全地管理数据副本。ADM针对数据的获取采用压缩存储的方式,存储池可压缩至原来的三分之一,大*节约了数据存储的成本。证件信息备份产品通过数...
上讯敏捷数据管理平台主要通过数据副本管理的核心专利技术——数据库虚拟化技术,对源数据进行CDM原格式获取生成黄金副本、存储黄金副本作为基准数据、虚拟化为多个副本挂载恢复,达到快速交付副本数据、灵活管理副本数据版本、集中管理副本数据存储与流转的目标,是主要面向企业数据运维、软件开发测试部门解决自动化闭环取数供数、测试数据快速交付等典型应用场景的问题。主要的应用场景在于金融行业开发测试环境测试数据的敏捷供应,在取数供数方面可以有效弥补Devops业务敏捷化之后的数据短板,帮助测试数据快速、高效地更新,以适应不断更新的测试版本。ADM用于解决金融、运营商、能源、医疗、政*等行业的数据备份与恢复、数据...
上讯敏捷数据管理平台(ADM)的敏感数据管理模块为企业提供了全*的敏感数据保护解决方案。该模块能够自动识别和分类多种类型的敏感信息,如个人身份、组织机构、金融和医疗数据等,并支持灵活的数据抽取与脱*流程。通过内置的众多敏感数据处理算法,ADM能对敏感数据进行高*真度替换,确保敏感数据处理后数据的完整性和关联性。此外,系统还提供角色权限配置管理、丰富的敏感数据处理规则以及敏感数据自动发现等功能,满足企业对敏感数据处理的全部需求,同时保证操作的简便性和安全性。ADM数据资源可视化管理,有效满足上中下游数据使用的政策合规。机构名称变形 上讯信息敏捷数据管理平台的备份数据管理模块,突破了传统备份理念...
验证数据备份的有效性是确保数据安全的关键环节。有效的方式之一是运用专业的数据备份验证工具,这些工具通过计算备份文件和原始数据的校验结果,并进行对比,来确保备份数据的完整无误。上讯敏捷数据管理平台ADM,是一个专为确保备份数据可恢复性和完整性而设计的自动化解决方案。它通过与第三方备份系统(如NetBackup、Commvault、NetWorker等)的无缝对接,实现了对存储资源、恢复服务器资源和恢复任务的集中管理。这一功能的重点在于自动调度存储空间、恢复服务器和恢复任务,从而实现了备份数据有效性验证的全自动化。数据库虚拟化技术可延伸应用到文件、虚拟机的副本创建,其优势在于多份虚拟数据副本之间的...
上讯敏捷数据管理平台(ADM)产品研发从2014年开始,不断探索数据副本管理的模式,并与Gartner合作,从Gartner获取较多关于CDM技术的信息,结合国内市场需求对ADM产品打磨,*终敏捷数据管理平台ADM产品于2016年11月正式通过媒体发布。ADM产品是基于“CDM”技术的平台型数据管理产品,其设计理念为:以“数据”为中心;以“使用”为导向;以“安全”为前提;以“敏捷”为目的。有效性验证的业务增值,是经过传统的数据备份系统多年的数据量累积,数据恢复速度面临严重瓶颈,备份数据的验证变得费时费力,大量备份数据沦为“暗数据”,既没有规范管理形成有效资源,也没有脱*处理存在安全隐患等现象的...
敏捷数据管理平台备份数据有效性验证场景及价值:场景:备份数据是数据安全的***一道防线,大部分用户在生产网络中已部署了如NBU、Commvault等常见备份系统,为了保证备份数据的可恢复性及可用性,需要经常对备份数据做恢复校验,而手动恢复校验比较耗时耗力,因此导致了做备份数据恢复校验的频率不够。价值:采用ADM实现备份数据的恢复校验,可以将NBU、Commvault等备份系统的备份策略导入到ADM平台中,并根据备份策略创建不同的恢复任务,且恢复任务可以进行恢复排期,帮助用户实现自动化的周期性的备份数据恢复校验,节约了大量的人力成本,且增加了备份数据恢复的频率,为备份数据的可恢复性可用性提供...
选择CDM产品时,需考虑数据副本的获取源头,例如是直接从业务数据库获取还是利用备份系统恢复数据。同时,还需考虑产品的整体规划,包括数据获取方式、数据安全性(如敏感数据的处理)和测试数据管理。综合实际环境和需求,选择能在数据获取、处理、管理三方面均满足需求的产品,使其成为IT系统的有效补充是CDM产品选择的核*宗旨,从国内外CDM产品的市场情况来看,众多CDM产品在发展过程中均考虑到与用户实际业务环境的融合,并通过不断与客户应用场景的打磨,完善优化CDM产品的附加功能。ADM的静态数据脱*功能内置丰富的仿真脱*算法。IP地址变形在敏感数据处理的过程中,需要根据不同的数据使用场景,选择相应的敏感数...
通过上讯敏捷数据管理平台(ADM)部署,可以有效解决生产网中数据使用的效率问题,同时,数据不出存储池,也杜绝了多副本管理的安全隐患。在生产网及测试网均部署敏捷数据管理平台,通过生产网中的上讯敏捷数据管理平台(ADM)可以快速创建虚拟数据副本,并对该虚拟副本进行数据脱*,之后将脱*后的副本数据发送到测试网中的敏捷数据管理平台,在测试网中即可实现副本数据的分钟级交付、数据版本的管理及回收等。主要应用的行业领域包括金融、运营商、交通运输等具有大型开发测试场景的企业,主要为开发测试环境快速提供测试数据和迭代测试数据版本。数据库虚拟化技术对源数据进行CDM原格式获取生成黄金副本作为基准数据,再虚拟化为多...
基于CDM(Copy Data Management,数据副本管理)技术,通过对该技术的运用,我们整合了CDM和***相关工具,实现了生产到开发测试环境的数据快速复制,以及备份数据的自动校验。通过CDM解决方案的实施,我们实现了一个平台、一站式解决数据获取、数据存储、数据构建、数据使用、数据销毁,在保证合规性基础上,以敏捷的数据全生命周期管理,更好地实现数据共享和数据利用。上讯敏捷数据管理平台可以实现以上功能,欢迎登录官网了解详情。ADM使数据存储成本倍数级节约,提升数据存储环节的效能。kafka地址数据孤岛的形成主要是由于组织内部各部门在收集、存储和使用数据时缺乏统一的标准和流程,导致数据被...
敏感数据的仿真度替换在保障数据安全的同时,也满足了企业在数据分析、测试和开发等场景中对数据的需求。此外,ADM的敏感数据处理功能还提供了丰富的角色权限配置管理选项,确保不同用户只能访问其权限范围内的敏感数据,进一步增强了数据的安全性。同时,系统支持自定义敏感数据处理规则,企业可以根据自身业务需求灵活调整敏感数据处理策略,满足多样化的数据处理需求。尤其针对金融、医疗行业对个人隐私数据的保护不仅要求变形替换,也要求仍旧符合真实的数据属性要求,以便于能够满足数据校验条件,通过验证符合各种数据使用的环境和场景。ADM支持多线程文件备份,支持海量小文件场景下的聚合策略进行文件备份。仿真度高上讯敏捷数据管...
在敏感数据处理的过程中,需要根据不同的数据使用场景,选择相应的敏感数据处理方式。较为常见的处理方式包括数据替换、掩码屏蔽、随机化、泛化、平均化、偏移取整等。上讯敏捷数据管理平台ADM,能够准确地自动识别和分类多种敏感信息,包括但不限于个人身份信息、组织机构数据、金融交易详情以及医疗记录等,确保企业关键数据得到保护。在敏感数据处理过程中,ADM凭借内置的正则算法,对敏感数据进行仿真度的替换,既保证了数据的敏感数据处理效果,又维护了数据的完整性和关联性,使得敏感数据处理后的数据仍然具备较高的使用价值。ADM在处理数据上中下游流转的过程是集中统一的,通过全闭环式的传输保证了数据的安全。敏感类型匹配验...
敏捷数据管理平台ADM是一款基于数据库虚拟化技术的拷贝数据管理产品,通过ADM的数据库虚拟化模块为用户提供快速、便捷、高效的数据部署;同时,为了防止敏感信息的外泄,敏感数据可以通过ADM的***模块进行***后提供;对于ADM提供的数据使用,可以通过ADM的运维管理模块进行数据运维,也可以通过ADM的数据审计模块进行数据使用的审计。对于数据使用的整个流程,ADM提供了数据库虚拟化、数据脱敏、数据运维、数据审计的功能,满足用户在数据使用时的所有需求。主要功能服务:敏捷数据管理ADM,采用数据库虚拟化技术获取保存一份物理拷贝数据,且快速高效地提供无限多份虚拟拷贝数据用于备份/恢复、容灾、开发/测试...
CDM作为数据副本的管理技术,它三大特征是:原格式、活跃的黄金副本、虚拟副本服务。其中原格式非常重要,数据格式同原数据格式一致的特性,可保障原生格式无需恢复,可直接挂载使用。活跃的黄金副本,即那些具备重要价值且被频繁使用或调用的数据拷贝,它们不仅保持了原格式的完整性,还通过动态利用展现了其宝贵的业务价值。虚拟副本服务是一种利用数据快照和克隆技术,创建不占用实际存储空间的多个可读可写副本,并直接挂载给服务器使用的服务,它允许用户访问和操作任何时间点的数据,打破了数据备份与使用的界限,实现了备份数据的灵活“盘活”。通过ADM备份数据恢复验证管理功能对接第三方备份系统进行的恢复验证更加简单高效。银行...
目前专业备份软件和云备份在企业数据安全保护方案中应用较为广*。上讯敏捷数据管理平台ADM以其高效、安全、兼容多种存储类型和平台的特点,成为了一个可靠的数据保护和管理解决方案。支持多存储类型,包括DAS、SAN和对象存储,并可接入第三方云存储。这意味着无论企业使用何种类型的存储资源,ADM都能提供适配的备份解决方案。同时,ADM还具备针对云服务器和虚拟化平台的备份恢复功能,覆盖了华为云、阿里云等主流云服务,这为云端的数据保护提供了强有力的支持。ADM还采用了高效的重删技术和多线程处理技术,以减少数据量和降低网络负担,从而优化文件备份过程。而在安全性方面,ADM在传输过程中对数据进行压缩和加密,确...
上讯敏捷数据管理平台(ADM)的敏感数据管理模块为企业提供了全*的敏感数据保护解决方案。该模块能够自动识别和分类多种类型的敏感信息,如个人身份、组织机构、金融和医疗数据等,并支持灵活的数据抽取与脱*流程。通过内置的众多敏感数据处理算法,ADM能对敏感数据进行高*真度替换,确保敏感数据处理后数据的完整性和关联性。此外,系统还提供角色权限配置管理、丰富的敏感数据处理规则以及敏感数据自动发现等功能,满足企业对敏感数据处理的全部需求,同时保证操作的简便性和安全性。ADM可使数据分钟级提供,提升数据交付效率缩短开发周期。人工编写脚本 如今,银行业数字化转型已经开始从多点突破迈向纵深,对于IT保障来说,...