专题：分布式 -- IT技术博客大学习 -- 共学习共进步！

web站点服务中，我们除了存在面向用户的服务功能外，往往也存在大量的后台离线的相关计算任务，如对前端的异步操作数据队列进行定期处理，对数据库中的数据进行汇总挖掘，监控，转储，对中间数据的进一步运算处理等等……一个web服务站点的背后，往往存在大量对应的后端处理任务的功能模块，用于支撑正常的业务功能系统。在一个web站点的初始阶段，我们可能只需要有一台服务器，容纳部署所有的业务功能，包括了面向用户的前端web服务功能，数据存储，后端离线处理业务功能。随着站点的业务功能越来越多，用户访问数的增加以及数据量的增长，单台服务器的处理能力往往就面临瓶颈。这个时候简单的处理就是将前端web服务功能，数据库和后端业务模块分开部署在不同的机器上，但是可能过随着站点规模的逐渐庞大，单个服务器也无法支撑前端web服务，数据库服务或者后端离线业务功能。

分布式计算平台Hadoop 发展现状乱而稳定的解读

雅虎开发者Doug Cutting六年前创建了一个用于管理，存储和分析大量数据的分布式计算平台hadoop，现在大家也称云计算平台，用他儿子的玩具大象命名，并把它交给阿帕奇软件基金会。鉴于围绕Hadoop建立的整个行业的迅速，这会使某些人觉得非常惊讶，那就是阿帕奇软件基金会最近才推出了Apache Hadoop 1.0——被认为是足够稳定而成为“企业就绪”的第一个版本。

MySQL Cluster 与 MongoDB 复制及分片设计及原理

分布式数据库计算涉及到分布式事务、数据分布、数据收敛计算等等要求分布式数据库能实现高安全、高性能、高可用等特征，当然也带来了高成本（固定成本及运营成本），我们通过MongoDB及MySQL Cluster从实现上来分析其中的设计思路，用以抽象我们在设计数据库时，可以引用的部分设计方法，应用于我们的生产系统.......

MySQL数据库分布式事务XA优缺点与改进方案

MySQL数据库外部XA可以用在分布式数据库代理层，实现对MySQL数据库的分布式事务支持，例如开源的代理工具：ameoba[4]，网易的DDB，淘宝的TDDL，B2B的Cobar等等。

MySQL数据库分布式事务XA的实现原理分析

MySQL XA分为两类，内部XA与外部XA；内部XA用于同一实例下跨多个引擎的事务，由大家熟悉的Binlog作为协调者；外部XA用于跨多MySQL实例的分布式事务，需要应用层介入作为协调者(崩溃时的悬挂事务，全局提交还是回滚，需要由应用层决定，对应用层的实现要求较高).

Riak Core说明

riak_core是一个单独的OTP应用，提供了所有必须的服务，以完成一个现代化的、表现良好的分布式应用。riak_core开始于Riak的一部分。当代码在建立各种分布式应用普遍有用时，我们决定重构并且分离出来核心部分，使其便于使用。分布式系统是复杂的，riak_core可以满足这些大量复杂的需求。在深入代码之前，我将分离这些需求为明显的分类，且给出每项的概况。注：如果你是急性子，想跳过后面的直接读代码，你可以通过hg或者git检出riak_core的代码。节点存活 & 节点关系 riak_core_node_watcher是负责反馈riak_core_cluster内部节点状态的进程。它使用net_kernel有效地监控了许多节点。riak_core_node_watcher也有能力将一个节点按程序预定踢出clus

ZooKeeper典型使用场景一览

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用方法。因此，也非常欢迎你分享你在ZK...

Zookeeper工作原理

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zookeeper的目的就在于此。本文简单分...

关于自动分裂的思考

自动分裂是分布式系统中的一项重要技术，通常与自动迁移和负载均衡一起考虑，提供了系统的可扩展性和良好的性能。例如 Google 的 BigTable 和 Yahoo 的 PNUTS 都实现了类似的功能，我之前也认为这应该是一个好的分布式系统标配。

MogileFS 的客户端和API(MogileFS 系列4)

在 MogileFS 最重要的一个部分是客户端的应用，如下，可以支持的语言非常多，也支持 FUSE 所以下面，我来以 MogileFS 的 Perl 客户端和 MogileFS 的 FUSE 的 API 连接来讲讲.

MogileFS 的设置和管理(MogileFS 系列3)

接下来，我们在这次，要讲基本的怎么管理这个分布存储系统，比如第一次使用，要做些什么，有新的设备来了，要怎么做。要扩容要怎么样操作。在我们管理 MogileFS 前，我们看看管理的存储节点的关系，什么是存储主机，什么是设备。下面讲的内容，基本就是前面提到的二个工具的使用。

MogileFS 的安装(MogileFS 系列2)

我们在安装前，需要安装 cpanm 来安装模块，这是我现在最推荐使用的，用来安装 CPAN 上模块的方法。超级容易。当然，系统上最少开发环境还是有必要的，比如 Gcc 最少要有吧。这些都准备好...

MogileFS 的介绍(MogileFS 系列1)

MogileFS 是一个开源的分布式文件系统，用于组建分布式文件集群，由 LiveJournal 旗下 Danga Interactive 公司开发，Danga 团队开发了包括 Memcached、MogileFS、Perlbal 等不错的开源项目：(注：Perlbal 是一个强大的 Perl 写的反向代理服务器)。

分布式文件系统Ceph调研1

Ceph是加州大学Santa Cruz分校的Sage Weil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。2010年3 月，Linus Torvalds将Ceph client合并到内核2.6.34中。 Ceph中有很多在分布式系统领域非常新颖的技术点，对解决分布式文件系...

一致性哈希算法及其在分布式系统中的应用

本文将会从实际应用场景出发，介绍一致性哈希算法(Consistent Hashing)及其在分布式系统中的应用。首先本文会描述一个在日常开发中经常会遇到的问题场景，借此介绍一致性哈希算法以及这个算法如何解决此问题；接下来会对这个算法进行相对详细的描述，并讨论一些如虚拟节点等与此算法应用相关的话题。

MapR初体验

MapR是什么？ MapR是MapR Technologies, Inc的一个产品，号称下一代Hadoop，使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布式计算服务和存储平台，同时性能也不断提高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区的许多流行的工具和功能，例如Hbase、Hive。它还100%和Apache Hadoop的API兼容。它能够为客户节约一半的硬件资源消耗，使更多的组织能够利用海量数据分析的力量提高竞争...

分布式事务性能分析

这两年来，随着NoSQL系统、CAP理论和Eventual Consistency的大热，关于分布式操作要保证强一致还是弱一致性的讨论络驿不绝。双方各执一词，倾向实现强一致性的一方认为弱一致性满足不了应用开发的需要，倾向实现弱一致性的一方则认为保证强一致性将导致系统性能与可伸缩性难以接受。弱一致性能否满足应用开发的需求这一点由应用特征决定，难以一概而论，但强一致性对系统性能、可伸缩性和可用性的影响则是可以作技术分析的。奇怪的...

分布式哈希和一致性哈希

分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了。介绍的论文很多，这里做一个入门性质的介绍。

分布式数据访问调研

1 背景当前，使用业务和逻辑隔离的部署已经成为主流，但是对具体存储部署和接口的依赖，一直成为存储对业务逻辑完全透明的一个障碍。为达到达到业务逻辑不必真正关心具体的存储逻辑，方便快速开发，便于日常维护，简化迁移等目的。对数据存储需要有一下的问题需要解决： 1. 抽象数据模型，统一数据访问接口，屏蔽业务层对数据层的逻辑依赖。同时提高业务的可维护性。 2. 解决当机房内的分布式数据相关问题，屏蔽业务层对数...

日本的 Perl 项目 CloudForecast 分布样式监控系统

又一日本的项目，日本的 Perl 水平真不错，共享精神更加是好。相关的服气他们的这些啊。下面介绍的这个项目是很久以前见到的，不错的东西。介绍给大家。