sqlite3导入到mysql
浏览:872次 出处信息
背景
使用magenetico抓取磁力链接,由于它使用的是sqlite3, 文件会越来越大,而且不支持分布式;所以需要将其改造成MySQL,在迁移之前需要将已经抓取的15G数据导入到MySQL
从sqlite3文件dump出sql
sqlite3 database.sqlite3sqlite3> .output /path/to/dump.sqlsqlite3> .dumpsqlite3> .exit
切分文件
文件比较大的时候,很有导入到一半的时候失败,这个时候需要从失败的行开始切分出一个新的sql文件来
awk'{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql
mysql参数修改
[mysqld]max_allowed_packet = 100M
sql兼容, 符号替换
# 1. 删除不包含 INSERT INTO 的行# 2. 替换表名 wrap# 3. 替换 hexsed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql
导入到MySQL
# 加上 force 参数, 防止部分有问题的sql阻止导入mysql -uroot -p -f magnet < dump.sql
引用
How To Use The SQLite Dump Command
建议继续学习:
- MySQL数据库在实际应用一些方面的介绍 (阅读:35187)
- 我对技术方向的一些反思 (阅读:9687)
- Using MySQL as a NoSQL (阅读:5532)
- 在perl中连接和使用sqlite做数据存储 (阅读:4919)
- MySQL协议分析 (阅读:4461)
- 从Mysql到Sqlite的迁移 (阅读:4064)
- 基于MySQL的高可用可扩展架构探讨 (阅读:3591)
- MySQL和MongoDB设计实例对比 (阅读:3509)
- Oracle or MySQL ? (阅读:3265)
- cacti 增加 Mysql 监控 (阅读:3228)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:SQL里是否可以使用JOIN
后一篇:分表优化:千万级数据的插入方法 >>
文章信息
- 作者:小子 来源: 也就这样,
- 标签: mysql sqlite
- 发布时间:2017-10-15 09:41:14
建议继续学习
近3天十大热文
- [14] 界面设计速成
- [14] 浏览器的工作原理:新式网络浏览器幕后揭秘
- [14] Go Reflect 性能
- [13] iOS可视化编程 Tips 之“无需代码设置
- [13] iOS下自己动手造无限循环图片轮播
- [13] Spark性能优化——和shuffle搏斗
- [12] Android设计中的.9.png
- [12] 最萌域名.cat背后的故事:加泰与西班牙政府
- [11] sns视觉设计分享
- [11] iOS并发编程(Concurrency Pr