您好,欢迎访问

商机详情 -

江苏大道云行分布式存储的一般架构

来源: 发布时间:2021年12月08日

分布式存储早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的Web访问问题。它采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。分布式存储的兴起与互联网的发展密不可分,互联网公司由于其数据量大而资本积累少,而通常都使用大规模分布式存储系统。与传统的高duan服务器、高duan存储器和高duan处理器不同的是,互联网公司的分布式存储系统由数量众多的、低成本和高性价比的普通PC服务器通过网络连接而成。 分布式存储系统,是将数据分散存储在多台单独的设备上。江苏大道云行分布式存储的一般架构

    那么现在问题来了,如果我们要选择分布式存储,选择哪种好呢?其实它们各有各的优势和使用场景,具体要看需求。(1)HDFS:主要用于大数据的存储场景,是Hadoop大数据架构中的存储组件。HDFS在开始设计的时候,就已经明确的它的应用场景,就是大数据服务。(2)Ceph:目前应用广的开源分布式存储系统,已得到众多厂商的支持,许多超融合系统的分布式存储都是基于Ceph深度定制。而且Ceph已经成为LINUX系统和OpenStack的“标配”,用于支持各自的存储系统。Ceph可以提供对象存储、块设备存储和文件系统存储服务。同时支持三种不同类型的存储服务的特性,在分布式存储系统中,是很少见的。(3)Swift:主要面向的是对象存储。和Ceph提供的对象存储服务类似。主要用于解决非结构化数据存储问题。它和Ceph的对象存储服务的主要区别是。 江苏大道云行分布式存储的一般架构分布式存储能够实现内容感知,配合前端应用对海量数据进行大数据分析和价值挖掘。

    分布式存储的重要性:从单机单用户到单机多用户,再到现在的网络时代,应用系统发生了很多的变化。而分布式系统依然是目前很热门的讨论话题,那么,分布式系统给我们带来了什么,或者说是为什么要有分布式系统呢?(1)升级单机处理能力的性价比越来越低;企业发现通过更换硬件做垂直扩展的方式来提升性能会越来越不划算;(2)单机处理能力存在瓶颈;某个固定时间点,单颗处理器有自己的性能瓶颈,也就说即使愿意花更多的钱去买计算能力也买不到了;(3)出于稳定性和可用性的考虑如果采用单击系统,那么在这台机器正常的时候一切OK,一旦出问题,那么系统就完全不能用了。当然,可以考虑做容灾备份等方案,而这些方案就会让系统演变为分布式系统了。

    在分布式存储系统(包括OceanBase这样的分布式数据库)的使用中,我们经常会提到“一致性”这个词,但是这个术语在不同的系统、不同人的心目中有不同的内涵,很容易造成混淆。想象一个简单的存储系统,只有一个客户端(单进程)和一个服务端(单进程服务)。客户端顺序发起读写操作,服务端也顺序处理每个请求,那么无论从服务器视角还是从客户端视角,后一个操作都可以看到前一个操作的结果。然后,系统变的复杂一些,系统还是单个服务进程(单副本),但是有多个客户端并发进行操作。这个模型下,多个客户端的操作会互相影响,比如一个客户端会读到不是自己写的数据(另一个客户端写入的)。一般单机并发程序就是这样的模型,比如多个线程共享内存的程序中。 布式存储帮助企业打造智能化的数据治理平台。

为了保证分布式存储系统的高可靠和高可用,数据在系统中一般存储多个副本。当某个副本所在的存储节点出现故障时,分布式存储系统能够自动将服务切换到其他的副本,从而实现自动容错。分布式存储系统通过复制协议将数据同步到多个存储节点,并确保多个副本之间的数据一致性。客户端将写请求发送给主副本,主副本将写请求复制到其他备副本,常见的做法是同步操作日志(CommitLog)。主副本首先将操作日志同步到备副本,备副本回放操作日志,完成后通知主副本。接着,主副本修改本机,等到所有的操作都完成后再通知客户端写成功。下图中的复制协议要求主备同步成功才可以返回客户端写成功,这种协议称为强同步协议。 分布式存储与数据库选型问答整理分享。江苏大道云行分布式存储的一般架构

运维告诉你分布式存储的那些“坑”。江苏大道云行分布式存储的一般架构

分布式存储的种类和比较:分布式存储包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等,但其中架构无外乎于三种;以HDFS(HadoopDistributionFileSystem)为代biao的架构是典型的代biao。在这种架构中,一部分节点NameNode是存放管理数据(元数据),另一部分节点DataNode存放业务数据,这种类型的服务器负责管理具体数据。这种架构就像公司的层次组织架构,namenode就如同老板,只管理下属的经理(datanode),而下属的经理,而经理们来管理节点下本地盘上的数据。 江苏大道云行分布式存储的一般架构

江苏魏晋元兴智能科技有限公司位于南京市雨花台区大周路32号D2幢北楼3楼-024,是一家专业的智能技术、计算机技术研发、技术咨询,技术转让:软件开 发、销售;信息系统集成服务:机电产品、计算机及配件、 电线电缆、仪器仪表、电子元器件、机械设备、机电设备 节能设备、办公用品、摄影器材、文化用品、通讯设备、体 育器材、消防器材销售;综合布线工程、水电工程、园林绿 化工程、室内装饰工程、土石方工程设计、施工,提供劳务 服务;企业形象策划:企业管理咨询:家用电器销售、维 修;文化艺术交流活动组织、 策划。( 依法须经批准的项 目,经相关部门批准后方可开展经营活动)公司。在魏晋元兴智能近多年发展历史,公司旗下现有品牌山石网科,思福迪日志,海康威视,大华,微耕,魏晋元兴VR虚拟仿真,VR,MR等。我公司拥有强大的技术实力,多年来一直专注于智能技术、计算机技术研发、技术咨询,技术转让:软件开 发、销售;信息系统集成服务:机电产品、计算机及配件、 电线电缆、仪器仪表、电子元器件、机械设备、机电设备 节能设备、办公用品、摄影器材、文化用品、通讯设备、体 育器材、消防器材销售;综合布线工程、水电工程、园林绿 化工程、室内装饰工程、土石方工程设计、施工,提供劳务 服务;企业形象策划:企业管理咨询:家用电器销售、维 修;文化艺术交流活动组织、 策划。( 依法须经批准的项 目,经相关部门批准后方可开展经营活动)的发展和创新,打造高指标产品和服务。魏晋元兴智能始终以质量为发展,把顾客的满意作为公司发展的动力,致力于为顾客带来高品质的网络安全,VR,MR,VR,AI,视频监控安防,出入口门禁失控制。