sqlite3导入到mysql
浏览:869次 出处信息
背景
使用magenetico抓取磁力链接,由于它使用的是sqlite3, 文件会越来越大,而且不支持分布式;所以需要将其改造成MySQL,在迁移之前需要将已经抓取的15G数据导入到MySQL
从sqlite3文件dump出sql
sqlite3 database.sqlite3sqlite3> .output /path/to/dump.sqlsqlite3> .dumpsqlite3> .exit
切分文件
文件比较大的时候,很有导入到一半的时候失败,这个时候需要从失败的行开始切分出一个新的sql文件来
awk'{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql
mysql参数修改
[mysqld]max_allowed_packet = 100M
sql兼容, 符号替换
# 1. 删除不包含 INSERT INTO 的行# 2. 替换表名 wrap# 3. 替换 hexsed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql
导入到MySQL
# 加上 force 参数, 防止部分有问题的sql阻止导入mysql -uroot -p -f magnet < dump.sql
引用
How To Use The SQLite Dump Command
建议继续学习:
- MySQL数据库在实际应用一些方面的介绍 (阅读:35187)
- 我对技术方向的一些反思 (阅读:9687)
- Using MySQL as a NoSQL (阅读:5532)
- 在perl中连接和使用sqlite做数据存储 (阅读:4919)
- MySQL协议分析 (阅读:4460)
- 从Mysql到Sqlite的迁移 (阅读:4063)
- 基于MySQL的高可用可扩展架构探讨 (阅读:3590)
- MySQL和MongoDB设计实例对比 (阅读:3507)
- Oracle or MySQL ? (阅读:3265)
- cacti 增加 Mysql 监控 (阅读:3228)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:SQL里是否可以使用JOIN
后一篇:分表优化:千万级数据的插入方法 >>
文章信息
- 作者:小子 来源: 也就这样,
- 标签: mysql sqlite
- 发布时间:2017-10-15 09:41:14
建议继续学习
近3天十大热文
- [84] Go Reflect 性能
- [15] 我的git笔记
- [12] 公钥私钥加密解密数字证书数字签名详解
- [12] osx平台上lol英雄联盟launcher启
- [11] 正态分布的前世今生(一)
- [11] 基于HTTP缓存轻松实现客户端应用的离线支持
- [11] iOS可视化编程 Tips 之“无需代码设置
- [11] iTerm2 (Mac Terminal)
- [11] 系统工程师的自我修养- sed篇
- [11] 浅谈Web安全验证码