《从0到1学习Flink》—— Flink Data transformation(转换) (www.54tianzhisheng.cn)

【简介】

Flink 应用程序结构就是如上图所示：

1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。

2、Transformation：数据转换的各种操作，有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window / WindowAll / Union / Window join / Split / Select / Project 等，操作很多，可以将数据转换计算成你想要的数据。

点击查看原文 >>

由 @zhisheng_blog 2019-01-10 23:54 / 0个评论
赞过的人： @技术头条 @zhisheng_blog
要不要再学学下面的文章？
四种字符串和bytes互相转换方式的性能比较 (colobu.com)
在 Go 中，字符串和字节数组的互转性能是很多开发者关注的问题。本文详细对比了四种转换方式，包括新型 unsafe 方法和 Kubernetes 实现，并通过 Benchmark 测试揭示了它们的性能差异。想要优化你的 Go 项目性能？不妨看看这篇详细的实测分析！
by @技术头条 2024-09-08 23:34 查看详情
TransFLAC：将 FLAC 转换为有损格式 (linux.cn)
TransFLAC 是一款命令行应用，可将 FLAC 音频文件转换为指定质量级别的有损格式。它能使 FLAC 和存储有损格式的音乐库保持部分或完全同步。TransFLAC 还能同步目录结构中存储的专辑封面、专辑封底和文件夹文件。你可以在终端窗口中交互式运行 TransFLAC，也可以使用 cron 或 systemd 等应用安排其自动运行。
by @技术头条 2023-09-10 23:38 查看详情
与日俱进，在 Go 1.20 中这种高效转换的方式又变了 (colobu.com)
在 Go 1.19 的开发中, string.SliceHeader和string.StringHeader经历了一个生死存亡的争斗，这两个类型一度被标记为弃用(deprecated),但是这两个类型经常用在 slice of byte 和 string 高效互转的场景中，如果被标记为弃用，但是目前还没有可替代的方法，所以这两个类型又把弃用标记去掉了，如无意外，它们也会在 Go 1.20 再次被标记为弃用。
by @技术头条 2022-09-12 22:38 查看详情
图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)
Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据，它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。

窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。
by @技术头条 2022-08-19 00:16 查看详情
Data Mesh：除了技术，也关乎所有权与沟通力 (insights.thoughtworks.cn)
Data Mesh引入了新的组织视角，并且它与特定技术无关。 其关键思想是将领域驱动设计（DDD）和产品思维，应用到数据和分析领域的难题中。
by @Thoughtworks 2021-09-23 11:10 查看详情
Data Mesh的原则和逻辑架构 (insights.thoughtworks.cn)
本文通过列举Data Mesh的基本原则和这些原则驱动的高级逻辑架构，总结出了Data Mesh方法
by @Thoughtworks 2021-07-15 10:31 查看详情
Data Mesh的原则和逻辑架构 (insights.thoughtworks.cn)
本文通过列举Data Mesh的基本原则和这些原则驱动的高级逻辑架构，总结出了Data Mesh方法
by @Thoughtworks 2021-06-22 12:50 查看详情
Android R 如何访问 Android/data 目录？ (mp.weixin.qq.com)
Android R上分区存储的限制得到进一步加强，无论APP的targetsdkversion是多少，都将无法访问Android/data和Android/obb这二个应用私有目录。这无疑对会部分APP的业务场景及用户体验造成冲击，典型的如下
by @code小生 2021-04-11 13:52 查看详情
Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)
在选用 Flink 前，我们对日志批处理的整个业务需求分为三步：数据源采集、日志处理、结果的保存。我们的日志量在 100G/h，单机服务处理速度慢、扩容不方便，一些相似的需求都是以编码形式完成的。另外，数据处理流程复杂，需要在多个服务间流转，迫切需要一个方案来解决问题……
by @又拍云 2021-02-25 16:19 查看详情
Flink 双流 Join 的3种操作示例 (developer.aliyun.com)
在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。
by @可耐芊小仙女 2020-11-24 15:55 查看详情
使用微博登录，分享你的文章到本站