《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ (mp.weixin.qq.com)

【简介】

之前有文章 《从0到1学习Flink》—— Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去,当然我们常用的消息队列可不止这一种,还有 RocketMQ、RabbitMQ 等,刚好 Flink 也支持将数据写入到 RabbitMQ,所以今天我们就来写篇文章讲讲如何将 Flink 处理后的数据写入到 RabbitMQ。

点击查看全文 >>

@zhisheng_blog 2019-04-01 21:54分享 / 0个评论
赞过的人: 技术头条 zhisheng_blog
要不要再学学下面的文章?
数据一致性检测的应用场景与最佳实践 (yq.aliyun.com)
随着业务规模的扩张,企业系统变得越来越复杂,在这种复杂的分布式系统架构下,难免会出现远程调用失败,消息发送失败,并发 bug 等等问题,这些问题最终会导致系统间的数据不一致,导致用户体验受损,用户利益受损,对平台来说就是产生资损。因此如何持续保障系统的业务稳定性对于企业来说是一个很重要的课题,本文旨在介绍一些常见业务应用场景下的业务数据一致性保障最佳实践。
by @可耐芊小仙女 2019-11-19 15:56 分享 查看详情
Kafka数据如何同步至MaxCompute实践讲解 (yq.aliyun.com)
本次分享主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。
by @可耐芊小仙女 2019-11-18 15:31 分享 查看详情
MySQL/RDS数据如何同步到MaxCompute之实践讲解 (yq.aliyun.com)
大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程。
by @可耐芊小仙女 2019-11-18 15:29 分享 查看详情
Apache Flink 进阶(六):Flink 作业执行深度解析 (yq.aliyun.com)
本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。
by @可耐芊小仙女 2019-11-15 15:24 分享 查看详情
咱们从头到尾讲一次 Flink 网络流控和反压剖析 (yq.aliyun.com)
首先我们可以看下这张最精简的网络流控的图,Producer 的吞吐率是 2MB/s,Consumer 是 1MB/s,这个时候我们就会发现在网络通信的时候我们的 Producer 的速度是比 Consumer 要快的,有 1MB/s 的这样的速度差,假定我们两端都有一个 Buffer,Producer 端有一个发送用的 Send Buffer,Consumer 端有一个接收用的 Receive Buffer,在网络端的吞吐率是 2MB/s,过了 5s 后我们的 Receive Buffer 可能就撑不住了,这时候会面临两种情况:
by @可耐芊小仙女 2019-11-15 15:23 分享 查看详情
Apache Flink 为什么能够成为新一代大数据计算引擎? (yq.aliyun.com)
众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会。如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速度与灵活性。大数据时代对人类的数据驾驭能力提出了新的挑战,Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎,Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选?
by @可耐芊小仙女 2019-11-15 15:21 分享 查看详情
趣头条基于 Flink 的实时平台建设实践 (yq.aliyun.com)
首先是平台的架构,2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的。目前,基本已经把 Spark Streaming 和 Storm 淘汰了,主要都是 Flink SQL 来做的。起初还比较传统,一般是接需求然后开发类似于 Flink SQL 的任务,基本是手工作坊操作模式。
by @可耐芊小仙女 2019-11-15 15:19 分享 查看详情
Apache Flink 的迁移之路,2 年处理效果提升 5 倍 (yq.aliyun.com)
我们最开始是以 standalone cluster 的模式部署。从 2017 年上半年开始,我们逐步把 Game Analytics 中一些小流量的 etl-job 迁移到 Flink,到 4 月份时,已经将产品接收各版本 SDK 数据的 etl-job 完全迁移至 Flink,并整合成了一个 job。形成了如下的数据流和 stream graph:
by @可耐芊小仙女 2019-11-15 15:18 分享 查看详情
确保数据零丢失!阿里云数据库RDS for MySQL 三节点企业版正式商用 (yq.aliyun.com)
2019年10月23号,阿里云数据库RDS for MySQL 三节点企业版正式商用,RDS for MySQL三节点企业版基于Paxos协议实现数据库复制,每个事务日志确保至少同步两个节点,实现任意节点宕机后数据零丢失,数据库整体RPO为0。RDS for MySQL三节点企业版适用于数据敏感性业务,如金融行业,电商行业订单业务等。
by @可耐芊小仙女 2019-11-11 16:00 分享 查看详情
Ververica Platform-阿里巴巴全新Flink企业版揭秘 (yq.aliyun.com)
2019云栖大会大数据 & AI专场,阿里巴巴资深技术专家王峰带来“Ververica Platform-阿里巴巴全新Flink企业版揭秘”的演讲。本文主要从Ververica由来开始谈起,着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini,以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。
by @可耐芊小仙女 2019-11-08 16:02 分享 查看详情