BR 技术头条 技术链接、资讯与社区分享流
ty type.so / 2017-02-06 22:57 / by @技术头条

消费生产模式扫表

有一批数据需要导入到ElasticSearch中,但是写ElasticSearch的速度比较慢,需要采用多线程的方式,但是在每个线程中都扫表,会产生重复的数据段,所以采用生产消费的模型来解决该问题 (为什么不直接选择线程池?线程池提交是异步的,一般table中的数据量都比较大,很容易塞爆内存)

赞过的人

@技术头条

发表评论