IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:Object Storage

共 2 篇相关文章

IT 累计浏览 2,563

UMStor Hadapter:大数据与对象存储的柳暗花明

这篇讲的是大数据存储里一个经典矛盾的解决方案。作者从武侠江湖的比喻切入,指出数据湖架构也分“计算存储融合”(以HDFS为代表)与“计算存储分离”(以S3A+Ceph对象存储为代表)两大派系。前者有数据本地性优势,但NameNode易成瓶颈且弹性差;后者扩展灵活,但所有请求必须经过RGW网关,多了一跳,影响性能且不支持追加上传。 文章的核心亮点在于提出了一条“柳暗花明”的路径。作者团队受NFS-Ganesha启发,利用Ceph提供的librgw函数库,绕过了RGW网关这一中间环节。据此开发的Hadapter插件,能让Hadoop客户端直接通过librados与OSD通信。这相当于在保留对象存储管理优势的同时,借鉴了HDFS直接交互的思路,在IO路径上少了一跳,理论上能获得更好的读写性能,并补齐了社区版S3A在追加上传上的短板。 摘要最后可以简要提及Hadapter的部署便利性(一个jar包)和其作为Hadoop存储插件的定位,让读者对这个方案的具体形态有个直观了解。整篇文章的脉络是从问题拆解到方案融合,对架构选型有切实参考价值。

IT 累计浏览 2,801

Openstack Swift简介

这篇讲的是 OpenStack 的核心对象存储服务——Swift 的设计哲学与实现原理。它要解决的核心问题,是如何在相对廉价的标准硬件上,构建出一个能承载海量非结构化数据的高可用、可无限扩展的存储系统。 文章深入解析了 Swift 的几个关键设计。为了解决海量数据的寻址难题,它采用了一致性散列技术,并通过一个名为“Ring”的独特数据结构,将数据均匀映射到物理设备上,在增减节点时大幅减少数据迁移。更精妙的是其一致性模型:Swift 在 CAP 理论下选择了“最终一致性”,通过 Quorum 仲裁协议(默认配置3副本、写需2个成功)来平衡可用性与一致性,以适应读写频繁的互联网场景。其清晰的数据模型(账户/容器/对象)和对称、无单点的系统架构,则进一步支撑了其多租户和横向扩展能力。 整体来看,文章从背景原理到架构细节,清晰地勾勒出了一个用软件层面的精巧设计(如一致性散列、Quorum协议)来弥补硬件简陋、并最大化可用性与扩展性的经典分布式系统范例。