《从0到1学习Flink》—— Flink 写入数据到 Kafka (www.54tianzhisheng.cn)

【简介】

之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中,里面其实就已经用到了 Flink 自带的 Kafka source connector(FlinkKafkaConsumer)。存入到 ES 只是其中一种情况,那么如果我们有多个地方需要这份通过 Flink 转换后的数据,是不是又要我们继续写个 sink 的插件呢?确实,所以 Flink 里面就默认支持了不少 sink,比如也支持 Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就讲讲如何将数据写入到 Kafka

点击查看全文 >>

@zhisheng_tian 2019-01-11 00:11分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
DRDS 数据恢复重磅发布,全方位保障您的数据安全 (yq.aliyun.com)
数据库存储着企业的核心数据,在企业中占据非常重要的位置,一旦出现SQL注入,数据误删的情况,影响的不仅仅是业务,还会泄露用户的个人信息。因此,数据库的数据安全问题十分重要。当数据库迁移到云端,其安全问题又被进一步放大,云数据库能否高效、便捷地备份数据库,当发生故障或者数据误删时,及时高效地恢复数据,成为企业用户关心的重要问题,影响着他们迁移数据库上云的信心。
by @可耐芊小仙女 1小时前 分享 查看详情
Flink 中这样管理配置,你知道? (mp.weixin.qq.com)
如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。
by @zhisheng_tian 19小时前 分享 查看详情
Flink 不可以连续 Split(分流)? (mp.weixin.qq.com)
今天上午被 Flink 的一个算子困惑了下,具体问题是什么呢?

我有这么个需求:有不同种类型的告警数据流(包含恢复数据),然后我要将这些数据流做一个拆分,拆分后的话,每种告警里面的数据又想将告警数据和恢复数据拆分出来。

结果,这个需求用 Flink 的 Split 运算符出现了问题。
by @zhisheng_tian 19小时前 分享 查看详情
Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文 (mp.weixin.qq.com)
之前也分享了不少自己的文章,但是对于 Flink 来说,还是有不少新入门的朋友,这里给大家分享点 Flink 相关的资料(国外数据 pdf 和流处理相关的 Paper),期望可以帮你更好的理解 Flink。
by @zhisheng_tian 19小时前 分享 查看详情
360深度实践:Flink与Storm协议级对比 (mp.weixin.qq.com)
本文从数据传输和数据可靠性的角度出发,对比测试了Storm与Flink在流处理上的性能,并对测试结果进行分析,给出在使用Flink时提高性能的建议。
by @zhisheng_tian 20小时前 分享 查看详情
优酷背后的大数据秘密 (yq.aliyun.com)
大家好,我是门德亮,现在在优酷数据中台做数据相关的事情。很荣幸,我正好见证了优酷从没有MaxCompute到有的这样一个历程,因为刚刚好我就是入职优酷差不多5年的时间,我们正好是在快到5年的时候,去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程,上面是计算资源,下面是储存资源。大家可以看到整个用户数,还有表的数据,实际上是在呈一个指数式增长的。但是在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了一个非常大的收益。
by @可耐芊小仙女 2019-06-13 15:39 分享 查看详情
一条数据的漫游 -- X-Engine SIGMOD Paper Introduction (yq.aliyun.com)
X-Engine是阿里数据库产品事业部自研的OLTP数据库存储引擎,作为自研数据库POLARDB X的存储引擎,已经广泛应用在阿里集团内部诸多业务系统中,其中包括交易历史库,钉钉历史库等核心应用,为业务大幅缩减了成本,同时也作为双十一大促的关键数据库技术,挺过了数百倍平时流量的冲击。
by @可耐芊小仙女 2019-06-12 15:59 分享 查看详情
Lambda plus: 云上大数据解决方案 (yq.aliyun.com)
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。
by @可耐芊小仙女 2019-06-05 17:09 分享 查看详情
基于大数据的舆情分析系统架构 - 架构篇 (yq.aliyun.com)
互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博,朋友圈或者点评网站上发表状态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象。可以在短短数分钟内,有数万计转发,数百万的阅读。如此海量的信息可以得到爆炸式的传播,如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代,除了媒体信息以外,商品在各类电商平台的订单量,用户的购买评论也都对后续的消费者产生很大的影响。
by @可耐芊小仙女 2019-06-05 17:07 分享 查看详情
Kafka数据迁移MaxCompute最佳实践 (yq.aliyun.com)
Kafka是一款分布式发布与订阅的消息中间件,具有高性能、高吞量的特点被广泛使用,每秒能处理上百万的消息。Kafka适用于流式数据处理,主要应用于用户行为跟踪、日志收集等场景。一个典型的Kafka集群包含若干个生产者(Producer)、Broker、消费者(Consumer)以及一个Zookeeper集群。Kafka集群通过Zookeeper管理自身集群的配置并进行服务协同。
by @可耐芊小仙女 2019-06-04 15:07 分享 查看详情