你的数据库过度 Sharding 了吗
数据库 Sharding 目前已经是数据层架构的家常便饭了,随着越来越多的人不断的通过 Sharding 技术来提升数据层的扩展能力,Sharding 本身所带来的各种弊端也开始不断的显露出来了。最近和朋友聊天的时候针对 Sharding 带来的问题做了一些交流,记录之:
Sharding 本身是一个需要慎重对待的事情,尤其是分区键的选择。好的分区键会让整个系统基本上对应用没有影响,但是如果选择了一个不合适的分区键,就可能给应用程序带来巨大的麻烦,甚至让有些功能变得几乎不可实现。因为不合适的分区键可能会让本来需要 分组/排序/连接 的数据被拆分分到不同的物理节点,迫使很多原本在一个 Instance 内部的简单处理都无法完成,不得不让应用程序进行大批量IO运算,反而增大的处理成本。应用程序的开发成本上升了,开发效率下降了,业务发展可能就受阻了。
从与一些 DBA 朋友们的交流中了解到,过度 Sharding 也是现在非常常见的一个问题。由于 MySQL 的免费,大家就觉得节点的增加成本较低,扩充节点的性价比非常高,因为不用像 Oracle 那样需要按照 CPU 个数来付 Licence 费用嘛。
但事实真的如此吗?可能并不是这么简单。首先,在很多人的意识中,扩展成本只是一个节点的购买成本,而忽略了该节点所占用的IDC资源(机架/电力/布线…)。如果从 IDC 资源角度来考虑,单机性能越高,成本也越低。也就是说节点数越少,IDC 资源消耗也越少(曾今就由朋友说笑:我们使用一台大型机搞定所有业务,成本一定是最低的)。那这就和我们的 Sharding 方向相违背了不是?毕竟单节点的扩展能力一定是有限的嘛,咱也不可能真整一台大型机是吧 。
除了显性的财务支持成本, Sharding 同时也给运维工作带来了维护成本的增加。节点数多了,需要维护的机器也就增多了,一个节点发生故障的概率也增加了。维护变更的重复工作量增大了,操作失误的可能性也就增大了。所以我们又不得不考虑平衡节点数和单机性能。
这时候我们就不得不考虑,到底我们该 Sharding 到何种程度,才能既有效的提升了Scale Out能力,又能控制总体成本尽可能低。既能让维护成本可控,又能分散可用性故障点。
“Sharding 如此流行,要事咱的数据层不做 Sharding,都不好意思见人了”,很多架构师/DBA可能都有此想法。在还没有弄清楚 Sharding 的好处与弊端的时候,在系统都还没有一点压力的时候,甚至都还不清楚为何要 Sharding 的时候就开始做 Sharding 了,最终很可能就将自己埋葬在 Sharding 中了。
建议继续学习:
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:朝阳 来源: Sky.Jian 朝阳的天空
- 标签: Sharding
- 发布时间:2011-05-25 13:43:12
- [54] IOS安全–浅谈关于IOS加固的几种方法
- [52] android 开发入门
- [52] 如何拿下简短的域名
- [51] 图书馆的世界纪录
- [49] Oracle MTS模式下 进程地址与会话信
- [49] Go Reflect 性能
- [47] 【社会化设计】自我(self)部分――欢迎区
- [46] 读书笔记-壹百度:百度十年千倍的29条法则
- [35] 程序员技术练级攻略
- [29] 视觉调整-设计师 vs. 逻辑