《从0到1学习Flink》—— Flink Data transformation(转换)--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

《从0到1学习Flink》—— Flink Data transformation(转换) (www.54tianzhisheng.cn)

【简介】

Flink 应用程序结构就是如上图所示：

1、Source: 数据源，Flink 在流处理和批处理上的 source 大概有 4 类：基于本地集合的 source、基于文件的 source、基于网络套接字的 source、自定义的 source。自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source。

2、Transformation：数据转换的各种操作，有 Map / FlatMap / Filter / KeyBy / Reduce / Fold / Aggregations / Window / WindowAll / Union / Window join / Split / Select / Project 等，操作很多，可以将数据转换计算成你想要的数据。

点击查看原文 >>

由 @zhisheng_blog 2019-01-10 23:54 / 0个评论

赞过的人： @技术头条 @zhisheng_blog

TransFLAC：将 FLAC 转换为有损格式 (linux.cn)

TransFLAC 是一款命令行应用，可将 FLAC 音频文件转换为指定质量级别的有损格式。它能使 FLAC 和存储有损格式的音乐库保持部分或完全同步。TransFLAC 还能同步目录结构中存储的专辑封面、专辑封底和文件夹文件。你可以在终端窗口中交互式运行 TransFLAC，也可以使用 cron 或 systemd 等应用安排其自动运行。

by @技术头条 2023-09-10 23:38 查看详情

与日俱进，在 Go 1.20 中这种高效转换的方式又变了 (colobu.com)

在 Go 1.19 的开发中, string.SliceHeader和string.StringHeader经历了一个生死存亡的争斗，这两个类型一度被标记为弃用(deprecated),但是这两个类型经常用在 slice of byte 和 string 高效互转的场景中，如果被标记为弃用，但是目前还没有可替代的方法，所以这两个类型又把弃用标记去掉了，如无意外，它们也会在 Go 1.20 再次被标记为弃用。

by @技术头条 2022-09-12 22:38 查看详情

图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)

Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据，它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。

窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。

by @技术头条 2022-08-19 00:16 查看详情

Data Mesh：除了技术，也关乎所有权与沟通力 (insights.thoughtworks.cn)

Data Mesh引入了新的组织视角，并且它与特定技术无关。其关键思想是将领域驱动设计（DDD）和产品思维，应用到数据和分析领域的难题中。

by @Thoughtworks 2021-09-23 11:10 查看详情

Data Mesh的原则和逻辑架构 (insights.thoughtworks.cn)

本文通过列举Data Mesh的基本原则和这些原则驱动的高级逻辑架构，总结出了Data Mesh方法

by @Thoughtworks 2021-07-15 10:31 查看详情

Data Mesh的原则和逻辑架构 (insights.thoughtworks.cn)

本文通过列举Data Mesh的基本原则和这些原则驱动的高级逻辑架构，总结出了Data Mesh方法

by @Thoughtworks 2021-06-22 12:50 查看详情

Android R 如何访问 Android/data 目录？ (mp.weixin.qq.com)

Android R上分区存储的限制得到进一步加强，无论APP的targetsdkversion是多少，都将无法访问Android/data和Android/obb这二个应用私有目录。这无疑对会部分APP的业务场景及用户体验造成冲击，典型的如下