《从0到1学习Flink》—— 介绍Flink中的Stream Windows (www.54tianzhisheng.cn)

【简介】

目前有许多数据分析的场景从批处理到流处理的演变, 虽然可以将批处理作为流处理的特殊情况来处理,但是分析无穷集的流数据通常需要思维方式的转变并且具有其自己的术语(例如,“windowing(窗口化)”、“at-least-once(至少一次)”、“exactly-once(只有一次)” )。

对于刚刚接触流处理的人来说,这种转变和新术语可能会非常混乱。 Apache Flink 是一个为生产环境而生的流处理器,具有易于使用的 API,可以用于定义高级流分析程序。

Flink 的 API 在数据流上具有非常灵活的窗口定义,使其在其他开源流处理框架中脱颖而出。

在这篇文章中,我们将讨论用于流处理的窗口的概念,介绍 Flink 的内置窗口,并解释它对自定义窗口语义的支持

点击查看原文 >>

@zhisheng_blog 2019-01-10 23:55 / 0个评论
赞过的人: @技术头条 @zhisheng_blog
要不要再学学下面的文章?
Lamport时钟介绍 (www.codedump.info)
在分布式系统中,由于有多个机器(进程)在一起协调工作,于是如何定义分布式系统中事件的先后顺序就成了难题,本文介绍论文 《Time, Clocks, and the Ordering of Events in a Distributed System》中提到的Lamport时钟。
by @技术头条 2024-03-21 23:24 查看详情
Windows Defender 数据库结构分析(下) (paper.seebug.org)
本节中,我们将进一步了解数据库中的一些其他签名类型,包括 SIGNATURE_TYPE_DELTA_BLOB、SIGNATURE_TYPE_FRIENDLYFILE_SHA256 和 SIGNATURE_TYPE_LUASTANDALONE。

by @技术头条 2023-10-25 00:00 查看详情
Windows Defender 数据库结构分析(上) (paper.seebug.org)
Windows Defender (WD) 是一款集成于 Windows 10 和 11 中的恶意软件防护产品。随着时间的推移,WD在与Windows在发展过程中展现出了其在检测和阻止个人计算机不同类型的恶意软件的有效性。在本文中,我们将探讨WD使用的数据库结构(CSDL),以提取其中的数据以更深入了解该CSDL的格式以及其中的一些识别标志类型。
by @技术头条 2023-10-25 00:00 查看详情
基于 Docker 的深度学习环境:Windows 篇 (soulteary.com)
本篇文章,我们聊聊如何在 Windows 环境下使用 Docker 作为深度学习环境,以及快速运行 SDXL 1.0 正式版,可能是目前网上比较简单的 Docker、WSL2 配置教程啦。
by @技术头条 2023-07-30 17:35 查看详情
Windows 命名管道客户端模拟和 PrintSpoofer 原理探究 (paper.seebug.org)
本文就通过命名管道客户端模拟(Name_pipe_client_Impersonation)的学习,初窥正活跃的potatoes家族中的成员,探究PrintSpoofer、BadPotato、pipePotato等"当代土豆"的原理,便于实际场景中更好的选择合适的土豆。

by @技术头条 2023-07-30 17:32 查看详情
Windows 的 PPL 安全机制和绕过 (paper.seebug.org)
Windows 从 vista 版本引入一种进程保护机制(Process Protection),用于更进一步的控制进程的访问级别,在此之前,用户只需要使用 SeDebugPrivilege 令牌权限即可获取任意进程的所有访问权限;随后 Windows8.1 在此进程保护的基础上,扩展引入了进程保护光机制(Protected Process Light),简称 PPL 机制,其能提供更加细粒度化的进程访问权限控制。

本文将介绍 Windows 的 PPL 安全机制,以及在实验环境下如何绕过该机制,从而实现对 PPL 的进程进行动态调试。
by @技术头条 2023-06-24 23:37 查看详情
海量文本中挖掘人物关联关系核心技术介绍 (www.52nlp.cn)
在大数据时代,通过对目标人物的轨迹、通信、社交、出行、网络等多模态行为进行挖掘并建立人物画像模型,并依托人物基础特征和高层特征,实例化人物画像,支撑有关部门分析人员全方位了解目标人物的行为、活动、状态、基本属性等信息,同时能够基于人物画像指导人物活动规律分析、人物能力分析、人物动向分析等应用。
by @技术头条 2022-12-24 23:30 查看详情
设备指纹技术介绍与综述(二) (blog.nsfocus.net)
繁荣的物联网生态构建于物联网设备的发展之上,然而广泛部署的海量设备却给设备识别与监管带来了挑战。本文对基于行为的设备指纹技术依照用途、目标设备、信息来源、评估技术进行介绍。
by @技术头条 2022-09-12 22:40 查看详情
Android DeepLink介绍与使用 (cloud.tencent.com)
前段时间公司让调研一下DeepLink,说以后会用到,之前看了很久,并做了个demo,现整理一下,方便以后查阅,如果有幸帮助到其他人就更好了。
by @shengting 2022-09-07 14:30 查看详情
图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)
Flink 作业中的窗口是指一种对无限数据流设置有限数据集,从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据,它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理。

窗口主要有两种,一种基于时间的时间窗口(TimeWindow),一种基于数量的计数窗口(CountWindow),计数窗口与时间无关,本文主要讨论时间窗口。
by @技术头条 2022-08-19 00:16 查看详情