您好,欢迎访问

商机详情 -

宁波大规模分布式存储架构实战

来源: 发布时间:2021年12月09日

说到分布式存储,我们先来看一下传统的存储是怎么个样子。传统的存储也称为集中式存储,从概念上可以看出来是具有集中性的,也就是整个存储是集中在一个系统中的,但集中式存储并不是一个单独的设备,是集中在一套系统当中的多个设备,比如下图中的EMC存储就需要几个机柜来存放。在这个存储系统中包含很多组件,除了核xin的机头(控制器)、磁盘阵列和交换机等设备外,还有管理设备等辅助设备。结构中包含一个机头,这个是存储系统中为核xin的部件。通常在机头中有包含两个控制器,互为备用,避免硬件故障导致整个存储系统的不可用。 万万没想到,分布式存储系统的一致性是......!宁波大规模分布式存储架构实战

实际上分布式存储,高性能与高可用是矛盾的,比如要设计一个分布式存储系统,出于对性能的考虑,记录数据时先写一个份数据到某个机器上并立即返回,然后异步发起多个数据备份过程(副本)。这种设计的性能比较好,但存在“容错性”的风险,即写完数据后,目标机器立即发生故障,会导致数据丢失!如果同时写多个副本,每个副本写成功以后再返回,则又导致性能下降,因为这个过程取决于慢的那台机器的性能。这就是高性能与高可用之间的矛盾。而要真正从根本上克服这些矛盾,解决分布式存储的高性能和高可用问题,更有效的是对于分布式文件系统和分布式存储系统架构进行优化和改进,从而从源头解决这些问题。 镇江什么是分布式存储系统架构布式存储系统,采用Scale-out扩展架构,可实现超大集群规模的部署。

分布式存储通过将热点区域内数据映射到高速存储中,来提高系统响应速度。一旦这些区域不再是热点,那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能,按照一定的策略,先将数据写入高速存储,再在适当的时间进行同步落盘。由于通过网络进行松耦合链接,分布式存储允许高速存储和低速存储分开部署,或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下,分层存储的优势可以发挥到比较好。解决了目前缓存分层存储比较大的问题是当性能池读不命中后,从冷池提取数据的粒度太大,导致延迟高,从而给造成整体的性能的抖动的问题。

分布式存储包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等,但其中架构无外乎于三种;以Ceph为代biao的架构是其典型的代biao。在该架构中与HDFS不同的地方在于该架构中没有中心节点。客户端是通过一个设备映射关系计算出来其写入数据的位置,这样客户端可以直接与存储节点通信,从而避免中心节点的性能瓶颈。以Ceph为代biao的架构是其典型的代biao。在该架构中与HDFS不同的地方在于该架构中没有中心节点。客户端是通过一个设备映射关系计算出来其写入数据的位置,这样客户端可以直接与存储节点通信,从而避免中心节点的性能瓶颈。 。一个令人满意的情况是,当一个网络因为故障而分解为多个部分的时候,分布式存储系统仍然能够工作。

    软硬件解耦的分布式存储在性能设计上存在两大天然缺陷:标准服务器不具备机房突然断电时保护内存数据的电池(BBU),所以只能用SSD卡/盘来做数据缓存。SSD的时延远高于内存,导致业界绝大多数的软硬解耦的分布式存储时延无法和生产存储媲美。单独采购的分布式存储软件无法和第三方服务器的SSD盘紧密配合,从而无法像业界先进的全闪存存储一样实现全局垃圾回收,控制数量众多的SSD盘各自的垃圾回收导致的生产应用时延波动。软硬件一体的分布式存储有机会克服如上两大缺陷。我们看到业界先进的分布式存储产品,采用了类似于全闪存存储的电池保护(BBU)、系统级全局垃圾回收,达到了媲美传统生产存储的高并发压力下的1ms稳定时延,从而为分布式存储进入企业生产应用提供了性能的SLA保障。 小编带你了解分布式存储的好处。常州集中式分布式存储系统原理

分布式存储系统需要使用多台服务器共同存储数据,随着服务器数量的增加,出现故障的概率也在不断增加。宁波大规模分布式存储架构实战

    那么现在问题来了,如果我们要选择分布式存储,选择哪种好呢?其实它们各有各的优势和使用场景,具体要看需求。(1)HDFS:主要用于大数据的存储场景,是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候,就已经明确的它的应用场景,就是大数据服务。(2)Ceph:目前应用广的开源分布式存储系统,已得到众多厂商的支持,许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”,用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性,在分布式存储系统中,是很少见的。(3)Swift:主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。 宁波大规模分布式存储架构实战

江苏魏晋元兴智能科技有限公司是一家贸易型类企业,积极探索行业发展,努力实现产品创新。魏晋元兴智能是一家私营有限责任公司企业,一直“以人为本,服务于社会”的经营理念;“诚守信誉,持续发展”的质量方针。以满足顾客要求为己任;以顾客永远满意为标准;以保持行业优先为目标,提供高品质的网络安全,VR,MR,VR,AI,视频监控安防,出入口门禁失控制。魏晋元兴智能自成立以来,一直坚持走正规化、专业化路线,得到了广大客户及社会各界的普遍认可与大力支持。