sqlite3导入到mysql
浏览:864次 出处信息
背景
使用magenetico抓取磁力链接,由于它使用的是sqlite3, 文件会越来越大,而且不支持分布式;所以需要将其改造成MySQL,在迁移之前需要将已经抓取的15G数据导入到MySQL
从sqlite3文件dump出sql
sqlite3 database.sqlite3sqlite3> .output /path/to/dump.sqlsqlite3> .dumpsqlite3> .exit
切分文件
文件比较大的时候,很有导入到一半的时候失败,这个时候需要从失败的行开始切分出一个新的sql文件来
awk'{if (NR>=6240863) print $0>"dump_part.sql"}' dump.sql
mysql参数修改
[mysqld]max_allowed_packet = 100M
sql兼容, 符号替换
# 1. 删除不包含 INSERT INTO 的行# 2. 替换表名 wrap# 3. 替换 hexsed '/INSERT INTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/' dump.sql
导入到MySQL
# 加上 force 参数, 防止部分有问题的sql阻止导入mysql -uroot -p -f magnet < dump.sql
引用
How To Use The SQLite Dump Command
建议继续学习:
- MySQL数据库在实际应用一些方面的介绍 (阅读:35182)
- 我对技术方向的一些反思 (阅读:9684)
- Using MySQL as a NoSQL (阅读:5530)
- 在perl中连接和使用sqlite做数据存储 (阅读:4918)
- MySQL协议分析 (阅读:4458)
- 从Mysql到Sqlite的迁移 (阅读:4057)
- 基于MySQL的高可用可扩展架构探讨 (阅读:3590)
- MySQL和MongoDB设计实例对比 (阅读:3506)
- Oracle or MySQL ? (阅读:3264)
- cacti 增加 Mysql 监控 (阅读:3225)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:SQL里是否可以使用JOIN
后一篇:分表优化:千万级数据的插入方法 >>
文章信息
- 作者:小子 来源: 也就这样,
- 标签: mysql sqlite
- 发布时间:2017-10-15 09:41:14
建议继续学习
近3天十大热文
- [632] Go Reflect 性能
- [28] 正态分布的前世今生(一)
- [18] Linux Used内存到底哪里去了?
- [16] rsync同步的艺术
- [16] 基于HTTP缓存轻松实现客户端应用的离线支持
- [14] 在JavaScript中什么时候使用==是正
- [14] Linux内存中的Cache真的能被回收么?
- [13] Cuckoo Filter:设计与实现
- [13] 我的git笔记
- [12] Joomla反序列化漏洞的查漏补缺