IT技术博客大学习 共学习 共进步

标签:分布式

共 66 篇相关文章

IT 累计浏览 4,442

CAP理论与分布式数据库

这篇讲的是CAP理论如何影响分布式数据库设计,以及当前技术路径的演进。作者从CAP三者(一致性、可用性、分区容错性)不可兼得的经典矛盾切入,解释了为何传统数据库(强调ACID)扩展困难,而NoSQL通过采用BASE模型和最终一致性获得了高可用与可扩展性。 不过,文章没有止步于此。它引用了数据库大师Michael Stonebraker的质疑,探讨了一个更深入的问题:能否在保证一致性和可用性的同时,实现良好的扩展性?文章随后聚焦于VoltDB这类新型数据库的探索,具体分析了它的关键技术特点,比如采用Share nothing架构将数据分片到以CPU core为单位的虚拟节点,使用内存数据访问,并通过队列将并发转为串行来消除锁开销,以及通过多副本来保证高可用。 文章还将VoltDB与MySQL Cluster进行了类比,指出二者都采用Share nothing和内存存储的架构思路。作者最终认为,尽管当前存在性能等挑战,但像MySQL Cluster这样的架构代表了分布式数据库的一种未来趋势,尤其是在数据库巨头Oracle的持续投入下。

IT 累计浏览 4,061

Gearman分布式远程过程处理框架

这篇讲的是,当一个中等规模的Web 2.0站点发现传统的LAMP架构开始力不从心时,可以如何进行演进。作者指出,瓶颈往往在于同步处理带来的性能与扩展限制,因此引入了新的架构组合GLAMMP,其核心就是用Gearman来承担分布式远程过程处理(分布式任务调度)的角色。 文章具体分析了Gearman在这个新架构中的位置与作用。它作为一个高效的异步任务分发器,能够将不同的工作进程解耦。比如,可以将耗时的图片处理、数据聚合等任务交给Gearman集群在后台并行执行,而Web主进程则能快速响应用户请求,从而提升整体吞吐量和用户体验。这种设计尤其适合需要处理大量后台任务或希望水平扩展计算能力的场景。 作者通过对比传统LAMP与GLAMMP架构,清晰地展示了这种升级的思路:不是替换原有组件,而是通过加入Gearman(G)和Memcached(M)这样的专门化中间件,让每个层做自己最擅长的事,从而构建出更具弹性和扩展性的系统。对于正面临类似架构瓶颈的团队来说,这种模块化的演进方案提供了一个清晰且实用的参考路径。

IT 累计浏览 4,241

闲谈分布式key-value存储服务nuclear及其他

这篇讲的是国内技术圈一度火热的 key-value 存储热潮。作者从豆瓣的 beandb、新浪的 SDD,到小道消息中的腾讯 TDB 以及人人网的 nuclear 等具体项目切入,勾勒出这股技术风潮在国内的落地图景。 文章进而追溯了这股潮流的源头:亚马逊那篇经典的 Dynamo 论文。虽然 Dynamo 本身并未开源,但它点燃了业界对分布式存储的探索。紧随其后,Facebook 引入了曾参与 Dynamo 开发的工程师,推出了开源的 Cassandra;同一理论脉络下,LinkedIn 也诞生了 Voldemort 系统。 作者通过梳理这些项目,清晰地展示了一条技术传播与演进的路径:从亚马逊的闭源实践,到 Facebook 等公司的开源实现,再到国内公司的借鉴与探索。读完这篇文章,能帮助你理解关键的 KV 存储系统并非凭空出现,而是在相似的理论基础上,结合各公司具体场景生长出来的不同枝干。

IT 累计浏览 2,641

分布式之后的变化

这篇讲的是分布式技术自2009年起步以来,虽然经过改造的数据库系统性能得到了大幅提升,但作者认为这只是表象,真正的重点在于另一个悄然发生的变化——它正在影响着DBA(数据库管理员)的角色转型。 作者从分布式架构演进的历史背景出发,指出随着技术复杂度的增加,DBA的传统职责正面临重新定义。过去,DBA主要聚焦于数据库的维护、优化和故障处理;如今,随着分布式系统的普及和云原生工具的兴起,这些任务逐渐被自动化或融入DevOps流程。文章可能深入探讨了DBA如何从“被动响应”的运维角色转向“主动设计”的架构角色,例如在

IT 累计浏览 5,261

利用开源的Gearman框架构建分布式图片处理平台[原创]

这篇分享来自2009年金山逍遥技术团队的内部交流,聚焦于他们如何使用开源的Gearman框架,从零构建起名为DIPS的分布式图片处理平台。 文章的核心是解决一个具体的生产问题:如何应对日益增长的、高并发的图片处理请求,实现任务的高效分发与并行处理。作者团队选择了轻量级的分布式任务队列框架Gearman作为技术基座,详细介绍了从架构设计到落地实施的完整过程,包括如何利用Gearman的Worker机制将计算任务分发到多个节点,从而水平扩展图片处理能力。 文中通过一系列PPT清晰地展示了DIPS的整体架构与工作流,体现了如何借助开源工具快速搭建出稳定、可扩展的后台服务系统。对于关注分布式计算早期实践,或需要构建类似异步任务处理系统的开发者而言,这篇回顾提供了具体的架构思路与落地经验。

IT 累计浏览 6,741

Memcache分布式部署方案

这篇讲的是作者从个人实践出发,分享Memcache的分布式部署经验。作者之前关于Memcache的文章在搜索引擎获得了不错的排名和关注,但他仍觉得不够深入,于是有了这篇更侧重实际操作的分享。 文章首先快速梳理了Memcache服务与PHP扩展客户端的基本概念,并提供了Linux和Windows下的具体安装步骤。核心部分在于详细的启动命令示例,例如使用`/usr/local/bin/memcached -d -p 11213 -u root -m 10 -c 1024 -t 8 -P /tmp/memcached.pid`这样的命令来启动一个实例。 作者通过具体的端口配置、内存分配(如`-m 10`分配10MB)、最大连接数(`-c 1024`)和线程数(`-t 8`)等参数,直观地展示了如何在同一台服务器上搭建多个Memcache节点,这是实现分布式缓存的基础一步。对于需要快速搭建Memcache环境或理解其基础配置细节的开发者来说,这篇分享提供了清晰可循的路径。