在 Cloudera Data Flow 上运行你的第一个 Flink 例子 (yq.aliyun.com)

【简介】

Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块

点击查看全文 >>

@可耐芊小仙女 2019-12-19 16:46分享 / 0个评论
要不要再学学下面的文章?
在 Flink 算子中使用多线程如何保证不丢数据? (yq.aliyun.com)
笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 api,因此第一次请求响应以后才会发起第二次请求。
by @可耐芊小仙女 2019-12-30 15:48 分享 查看详情
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践 (yq.aliyun.com)
当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿,接入上百种合规数据源。
by @可耐芊小仙女 2019-12-30 15:47 分享 查看详情
State Processor API:如何读取,写入和修改 Flink 应用程序的状态 (yq.aliyun.com)
过去无论您是在生产中使用,还是调研Apache Flink,估计您总是会问这样一个问题:我该如何访问和更新Flink保存点中保存的state?不用再询问了,Apache Flink 1.9.0引入了状态处理器API,它是基于DataSet API的强大扩展,允许读取,写入和修改Flink的保存点和检查点中的状态。
by @可耐芊小仙女 2019-12-24 15:25 分享 查看详情
Flink SQL 如何实现数据流的 Join? (yq.aliyun.com)
无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。
by @可耐芊小仙女 2019-12-24 15:23 分享 查看详情
仅 1 年 GitHub Star 数翻倍,Flink 做了什么? (yq.aliyun.com)
Apache Flink 是公认的新一代开源大数据计算引擎,其流水线运行系统既可以执行批处理程序也可以执行流处理程序。目前,Flink 已成为 Apache 基金会和 GitHub 社区最为活跃的项目之一。在 Flink Forward Asia 2019 上,阿里巴巴资深技术专家,实时计算负责人王峰 (莫问)总结了 2019 年 Flink 在中国的发展和演进,阿里对 Flink 社区的贡献以及未来 Flink 的最新发展方向。
by @可耐芊小仙女 2019-12-23 16:16 分享 查看详情
Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频) (yq.aliyun.com)
如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。
by @可耐芊小仙女 2019-12-23 16:11 分享 查看详情
Apache Flink CEP 实战 (yq.aliyun.com)
本文根据Apache Flink 实战&进阶篇系列直播课程整理而成,由哈啰出行大数据实时平台资深开发刘博分享。通过一些简单的实际例子,从概念原理,到如何使用,再到功能的扩展,希望能够给打算使用或者已经使用的同学一些帮助。
by @可耐芊小仙女 2019-12-18 15:31 分享 查看详情
Flink Batch SQL 1.10 实践 (yq.aliyun.com)
Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。
by @可耐芊小仙女 2019-12-18 15:29 分享 查看详情
Flink Forward Asia 2019 - 总结和展望(附PPT下载链接) (yq.aliyun.com)
Flink Forward 是由 Apache 官方授权举办的会议,每年在欧洲、北美洲、亚洲各举办一场。通过参会不仅可以了解到 Flink 社区的最新动态和发展计划,还可以了解到业界围绕 Flink 生态的生产实践经验,是 Flink 开发者和使用者的盛会。去年 12 月 Flink Forward 首次在中国举办,是规模最大、参与人数最多的 Flink Forward 大会。今年 Flink Forward China 正式升级为 Flink Forward Asia,吸引到更多的关注,并于 11 月 28 日在北京开幕。
by @可耐芊小仙女 2019-12-09 15:27 分享 查看详情
阿里重磅开源全球首个批流一体机器学习平台Alink,Blink功能已全部贡献至Flink (yq.aliyun.com)
11月28日,Flink Forward Asia 2019 在北京国家会议中心召开,阿里在会上发布Flink 1.10版本功能前瞻,同时宣布基于Flink的机器学习算法平台Alink正式开源,这也是全球首个批流一体的算法平台,旨在降低算法开发门槛,帮助开发者掌握机器学习的生命全周期。在去年的Flink Forward China峰会上,阿里宣布将开源Flink的内部分支Blink,把阿里内部对Flink的优化工作全部开放给开源社区,在业内引发热烈讨论,其中有期待也有怀疑。一年后的今天,阿里是否兑现了去年所作的承诺?Blink的合并工作进展如何?刚刚开源的Alink算法平台有哪些独特之处?AI前线在会上对阿里巴巴资深技术专家、实时计算负责人王峰(花名莫问)进行了独家专访,让我们一起来看看Flink的最新变化,以及阿里基于Flink又有哪些新的工作成果。
by @可耐芊小仙女 2019-12-09 15:26 分享 查看详情