MySQL也能并发导入数据
浏览:2986次 出处信息
对MySQL的用户而言,备受诟病的一个问题就是导入SQL备份文件时不能并发,使得导入的效率很低。
今天,我们就来改变下思路,尝试一下并发导入的方法,供大家参考。
1、问题分析
想要实现并发导入,其实没那么难,最简单的思路就是:将完整的文件切分成多份,然后并发导入即可。
在这里,我自己的做法是这样的:
1) 首先,假设只有一个库;多个库的情况也是类似,无非就是循环 2) 计算SQL文件总行数 3) 计算SQL文件总大小 4) 设定每个切分文件最大尺寸 5) 初始化表结构 6) 循环处理SQL,按照切分文件最大尺寸切分成多个小文件 7) 并发导入多个小文件
上述方法中,如果数据表是 MyISAM 表,则并发导入没有问题,但如果是 InnoDB 表,则会有表级锁 AUOT-INC 导致并发效率不高的麻烦,尽管如此,那也比单个文件串行导入来的快一些。想要避免这个麻烦,就得采用 MySQL 5.1 版本了,因为在 5.1 中,改进了 AUTO-INC 的处理方式,规避了表级锁,很大程度提高了并发效率。
2、实际测试
事先设定:最大并大导入线程是16个。
2.1 MySQL 5.0.67 版本
innodb_flush_log_at_trx_commit = 1 串行导入:01:51:34 并行导入:01:25:05 innodb_flush_log_at_trx_commit = 0 串行导入:01:49:36 并行导入:01:11:29
2.2 MySQL 5.1版本
innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 0 串行导入:01:52:28 并行导入:01:38:13 innodb_flush_log_at_trx_commit = 1, innodb_autoinc_lock_mode = 1 串行导入:01:54:55 并行导入:01:26:24 innodb_autoinc_lock_mode = 0 并行导入:01:38:13 innodb_autoinc_lock_mode = 1 并行导入:01:05:51
更加详细的测试就不再做了。
3、小结
从上面的测试结果可以看到,MySQL 5.1在AUTO-INC锁方面的改进还是非常大的,对于想要提升并发性能,同时应用相对不是太复杂,并且不担心会碰到bug的童鞋可以多多尝试下。
由于众所周知的缘故,相关的脚本就不发布了,有需要的童鞋请加入MSN群讨论。
建议继续学习:
- 一种常见的并发编程场景的处理 (阅读:22618)
- Rolling cURL: PHP并发最佳实践 (阅读:10343)
- 查看 Apache并发请求数及其TCP连接状态 (阅读:8481)
- 大型高并发高负载网站的系统架构分析 (阅读:7729)
- 大并发下的高性能编程 – 改进的(用户态)自旋锁 (阅读:7165)
- 并发编程系列之一:锁的意义 (阅读:5906)
- 并发框架Disruptor译文 (阅读:5113)
- 学习:一个并发的Cache (阅读:4986)
- C++多进程并发框架 (阅读:4764)
- PHP 持久连接于并发 (阅读:4331)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:php获取网卡MAC地址类
后一篇:数据库设计范式的理解 >>
文章信息
- 作者:yejr 来源: MySQL 中文网
- 标签: 并发
- 发布时间:2010-03-28 15:24:17
建议继续学习
近3天十大热文
- [56] Oracle MTS模式下 进程地址与会话信
- [56] IOS安全–浅谈关于IOS加固的几种方法
- [55] 如何拿下简短的域名
- [54] 图书馆的世界纪录
- [53] android 开发入门
- [53] Go Reflect 性能
- [50] 读书笔记-壹百度:百度十年千倍的29条法则
- [49] 【社会化设计】自我(self)部分――欢迎区
- [38] 程序员技术练级攻略
- [33] 视觉调整-设计师 vs. 逻辑