震惊了!原来这才是kafka! (mp.weixin.qq.com)

【简介】

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。

kafka对外使用topic的概念,生产者往topic里写消息,消费者从读消息。为了做到水平扩展,一个topic实际是由多个partition组成的,遇到瓶颈时,可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。

点击查看原文 >>

@zhisheng_blog 2019-01-26 14:14 / 0个评论
赞过的人: @技术头条 @zhisheng_blog
要不要再学学下面的文章?
Kafka 常见面试题 (www.diguage.com)
Kafka 是由 LinkedIn 开发的一个分布式的消息系统,使用 Scala 编写,它以可水平扩展和高吞吐率而被广泛使用。Kafka 本身设计也非常精巧,有很多关键的知识点需要注意。在面试中,也常常被问到。整理篇文章,梳理一下自己的知识点。
by @技术头条 2023-07-02 23:41 查看详情
Kafka在美团数据平台的实践 (tech.meituan.com)
Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能给从事相关开发工作的同学带来帮助或启发。
by @技术头条 2022-08-31 23:25 查看详情
震惊,高中少年与 CDN 的不解之缘 (zhuanlan.zhihu.com)
冰棍可以比作动态资源,动态资源对实效性要求较高,不会在边缘节点停留多长时间,但二狗子想卖冰棍也是可以的,去超市的路线熟悉,自己又精明能干,比同学自己直接去买还是有点优势的。在 CDN 中也是如此,动态资源经过边缘节点的传递,加速效果不及静态资源直接边缘节点返回来的明显……
by @又拍云 2021-04-26 14:34 查看详情
网易云音乐基于 Flink + Kafka 的实时数仓建设实践 (developer.aliyun.com)
本文由网易云音乐实时计算平台研发工程师岳猛分享,主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战: 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。
by @可耐芊小仙女 2020-11-06 09:53 查看详情
震惊!我在4年前就开始体验雾游戏了! (zhuanlan.zhihu.com)
这里也可以简单解释下,为什么世嘉研发的是“雾游戏”,而不是云游戏。云游戏是将游戏内容的运行都放到了云端服务器,用户只需要用屏幕来接受游戏画面及进行游戏操作即可。但是这会产生一个问题,那就是数据传输之间的延迟……
by @又拍云 2020-06-23 11:02 查看详情
Apache Kafka内核深度剖析 (insights.thoughtworks.cn)
目前来说市面上可以选择的消息队列非常多,像activemq,rabbitmq,zeromq已经被大多数人耳熟能详,特别像activemq早期应用在企业中的总线通信,基本作为企业级IT设施解决方案中不可或缺的一部分。目前来说Kafka已经非常稳定,并且逐步应用更加广泛,已经算不得新生事物,但是不可否认Kafka一枝独秀如同雨后春笋,非常耀眼,今天我们仔细分解一下Kafka,了解一下它的内幕。以下的内容版本基于当前最新的Kafka稳定版本2.4.0。文章主要包含以下内容:

Kafka为什么快
Kafka为什么稳
Kafka该怎么用
该文章为开篇引导之做,后续会有对应的HBase,Spark,Kylin,Pulsar等相关组件的剖析。
by @Thoughtworks 2020-04-01 12:25 查看详情
震惊!让程序员崩溃的瞬间(非程序员勿入) (mp.weixin.qq.com)
不过瘾,还有

程序员的两大困惑

据说程序员是这样写代码的

当程序员在 Debug 时会发生什么?
by @code小生 2019-12-25 12:56 查看详情
震惊!让程序员崩溃的瞬间(非程序员勿入) (mp.weixin.qq.com)
程序员的两大困惑

据说程序员是这样写代码的

当程序员在 Debug 时会发生什么?
by @code小生 2019-12-12 18:41 查看详情
Kafka数据如何同步至MaxCompute实践讲解 (yq.aliyun.com)
本次分享主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。
by @可耐芊小仙女 2019-11-18 15:31 查看详情
Knative 实战:基于 Kafka 实现消息推送 (yq.aliyun.com)
当前在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何基于 Kafka 实现消息推送呢?本文作者将以阿里云 Kafka 产品为例,给大家解锁这一新的姿势。消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。
by @可耐芊小仙女 2019-10-31 16:12 查看详情