IT技术博客大学习 共学习 共进步

标签:对象存储

共 5 篇相关文章

IT 累计浏览 3

MinIO 社区版 Web 管理界面被删事件全解析

MinIO社区版近期通过删除11万行代码,移除了其Web管理界面的核心功能。更新后,界面仅保留基础对象浏览能力,用户无法再通过浏览器进行用户管理、策略配置等关键运维操作,所有管理任务被强制迁移至mc命令行工具。 官方解释此举是为了减轻同时维护社区版与商业版图形界面的成本负担。然而,社区普遍质疑这一决定缺乏事先沟通,认为其本质是通过削弱开源版本功能来引导用户转向付费产品的商业策略。此举显著增加了非技术用户和团队的管理门槛,引发了用户不满与生态信任危机。 事件发生后,社区迅速行动,发起了OpenMaxIO等分支项目以尝试恢复被移除的功能,同时SeaweedFS、Garage等其他对象存储方案也获得了更多关注。这一事件凸显了开源项目在商业化进程中平衡社区利益与商业目标所面临的挑战。对于现有用户,如需继续使用Web界面,可暂时回退至部署镜像标签为 minio/minio:RELEASE.2025-04-22T22-12-26Z 的旧版本。

IT 累计浏览 4,501

OpenStack Swift源码导读之——业务整体架构和Proxy进程

这篇文章深入剖析了OpenStack Swift对象存储的业务整体架构与Proxy进程的实现细节。作者从Swift的源码目录结构入手,清晰地解读了proxy、account、container、object等各业务进程的职责划分。 重点在于Proxy进程的业务处理逻辑。文章指出,理解其基于PasteDeploy的堆栈式WSGI架构是关键,每一层分工明确,最外层处理异常。Proxy进程通过解析请求URI和方法来识别资源类型,并借助控制器进行分发。其核心路由机制依赖于一致性哈希环,作者通过具体代码段(如get_nodes、get_part函数),展示了如何通过哈希计算将请求映射到特定的物理节点集合。 此外,文章还揭示了Swift在保证数据高可用性方面的设计:通过引用NWR原则(如3写2读),并在make_requests等公用方法中实现“法定人数”判定,确保了分布式环境下写操作的可靠性。整个导读将抽象的架构设计与具体的代码实现相结合,为读者理解Swift内部如何协调请求、定位资源与维护数据一致性提供了清晰的路径。

IT 累计浏览 2,601

分布式对象存储系统Sheepdog性能测试

这篇文章对分布式对象存储系统 Sheepdog 进行了一次详尽的性能摸底,特别针对其声称的“零配置、线性扩展”特点,在真实硬件环境下考察了其 IOPS 和吞吐量表现。作者搭建了一个包含 6 个节点的集群,节点配备常见的 7200 转 SATA 硬盘,并创新地利用 SSD 作为对象缓存,虚拟机则运行于基于 KVM 的 QEMU 环境中。 测试聚焦于两个核心指标:使用 fio 工具测量的随机读写 IOPS,以及使用 iozone 测量的顺序读写吞吐量。文章首先澄清了存储介质的基准性能——普通 SATA 硬盘的 IOPS 理论上限仅约 65,而 SSD 则可轻松突破数万。在不启用对象缓存的只读测试中,Sheepdog 展现了其分布式优势:6 节点协同工作,使得虚拟机内的 IOPS 突破了单块 SATA 硬盘的极限,在单线程下达到 100 左右,多任务或异步 IO 场景下更可提升至 230-250。测试文件大小对 IOPS 有显著影响,缩小文件范围能进一步提升性能。 作者通过严谨的控制变量法,对比了启用/不启用 SSD 缓存、不同文件大小以及不同 IO 调度算法下的结果。最终的测试数据清晰地揭示了 Sheepdog 在不同配置下的性能天花板和瓶颈所在,为评估其是否适合特定业务负载(如虚拟机块存储)提供了直接的量化依据。

IT 累计浏览 3,882

Ceph的现状

这篇详细拆解了Ceph这个统一分布式存储系统,它告诉我们,Ceph卓越的性能、可靠性和扩展性,都建立在一个名为RADOS的底层对象存储系统之上。而RADOS的核心,正是那个巧妙的CRUSH伪随机数据分布算法。这个算法是解决大规模集群中数据如何高效、均匀分布到成百上千节点的关键,它能在节点增减时最小化数据迁移,平衡了效率与扩展性这一对矛盾。 在RADOS基础之上,Ceph通过不同组件提供了三种存储接口:LIBRADOS提供了直接的对象操作API,RADOS Gateway兼容了S3和Swift,让对象存储更易用;RBD则将存储抽象为块设备,支持精简配置、快照等企业级特性;Ceph File System则直接提供POSIX接口,无缝对接传统文件应用。这真正体现了“统一”的价值。 文章同样关注了Ceph的“人”的生态。项目源于Sage Weil的博士论文,至今已积累24万行代码,近期开发活动依然活跃。更值得关注的是其完善的社区设施,从邮件列表、项目管理到详尽的文档和路线图,构成了一套健康、开放的运作体系,这为Ceph的长期发展和质量提供了坚实保障。

IT 累计浏览 3,401

中等规模网站的UGC图片存放规划

这篇讲的是中等规模网站如何规划用户生成内容(UGC)图片的存储架构。作者从实际经验出发,直面一个典型痛点:随着用户上传的图片量增长,单一的存储或简单的CDN方案很快会遇到性能、成本与管理效率的瓶颈。 文章的核心方案在于设计一个分层且可扩展的存储系统。作者结合刘涛(Tarkus)和Druggo Yang的实践,详细拆解了如何根据图片的访问热度(如原图、缩略图、历史归档)进行分层存储,并合理利用对象存储与缓存。关键思路在于区分不同状态图片的读写频率与存储成本,制定差异化的存放策略,例如对热点数据提供高速读取,对冷数据则优化存储费用。 经过实际运营验证,这套规划不仅有效控制了存储成本的增长,还保障了图片服务的稳定与响应速度。文章为面临类似规模扩张问题的团队,提供了一份经过实战检验的、可直接参考的规划思路与落地细节。