震惊了!原来这才是kafka! (mp.weixin.qq.com)

【简介】

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。

点击查看全文 >>

@zhisheng_tian 2019-01-26 14:14分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ (mp.weixin.qq.com)
之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去,当然我们常用的消息队列可不止这一种,还有 RocketMQ、RabbitMQ 等,刚好 Flink 也支持将数据写入到 RabbitMQ,所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。
by @zhisheng_tian 2019-04-01 21:54 分享 查看详情
消息中间件Kafka与其他的相比之下谁更diao? (mp.weixin.qq.com)
在 IM 这种讲究高并发、高消息吞吐的互联网场景下,MQ 消息中间件是个很重要的基础设施,它在 IM 系统的服务端架构中担当消息中转、消息削峰、消息交换异步化等角色。
by @zhisheng_tian 2019-03-20 12:28 分享 查看详情
史上最全Kafka面试题全套整理 (mp.weixin.qq.com)
之前发了几篇 Kafka 的文章,发现大家还是挺喜欢的,今天干脆再发一篇厮大整理的!之前错过的 Kafka 相关文章请看这里:
by @zhisheng_tian 2019-03-16 20:18 分享 查看详情
面试|图解 kafka 的高可用机制 (mp.weixin.qq.com)
对于一个复杂的分布式系统,如果没有丰富的经验和牛逼的架构能力,很难把系统做得简单易维护,我们都知道,一个软件的生命周期中,后期维护占了70%,所以系统的可维护性是极其重要的, kafka 能成为大数据领域的事实标准,很大原因是因为运维起来很方便简单,今天我们来看下 kafka 是怎么来简化运维操作的。
by @zhisheng_tian 2019-03-13 23:06 分享 查看详情
分享一波Kafka面试题&答案 (mp.weixin.qq.com)
之前已经分享了好几篇关于 Kafka 的文章,从基本概念和使用到高可用机制解析到最佳实践。今天分享几个 Kafka 的面试题,这些面试题是大数据工程师在面试中经常问到的一些问题,在此整理一下,分享给大家。
by @zhisheng_tian 2019-03-11 22:58 分享 查看详情
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL (www.54tianzhisheng.cn)
之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星球里有朋友叫我: 写个从 kafka 中读取数据,经过 Flink 做个预聚合,然后创建数据库连接池将数据批量写入到 mysql 的例子。
by @zhisheng_tian 2019-03-03 11:27 分享 查看详情
生产环境 Kafka 消费速度巨慢该咋办? (mp.weixin.qq.com)
随着业务的发展,项目组有大量的任务需要处理。

这些任务需要主要分为两种类型:

通过接口调用, 后台执行任务

通过调度系统定时执行
by @zhisheng_tian 2019-02-20 20:13 分享 查看详情
《从0到1学习Flink》—— Flink 写入数据到 Kafka (www.54tianzhisheng.cn)
之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中,里面其实就已经用到了 Flink 自带的 Kafka source connector(FlinkKafkaConsumer)。存入到 ES 只是其中一种情况,那么如果我们有多个地方需要这份通过 Flink 转换后的数据,是不是又要我们继续写个 sink 的插件呢?确实,所以 Flink 里面就默认支持了不少 sink,比如也支持 Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就讲讲如何将数据写入到 Kafka
by @zhisheng_tian 2019-01-11 00:11 分享 查看详情
震惊!这玩意居然能给前台妹子打颜值分! (mp.weixin.qq.com)
最近公司项目比较空,花了点时间写了个人脸识别的app,可以查看你的性别、年龄、颜值、情绪等信息,利用的是 Face++ 的人脸识别API。本项目采用了 MVP 的架构,使用了 Retrofit、RxJava、Dagger、EventBus 等框架进行开发和解耦,利用 MaterialDesign 进行UI上的布局设计。
by @依恋丶怜星 2018-11-09 14:06 分享 查看详情