yq yq.aliyun.com / 2019-11-28 16:48 / by @可耐芊小仙女

如何分析及处理 Flink 反压？

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。

赞过的人

@IT技术博客大学习

te tech.meituan.com / 2024-11-02 16:18

新一代实验分析引擎：驱动履约平台的数据决策

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

查看详情

无图

bl blog.wangmao.me / 2024-08-06 07:37

OpenCV 模糊处理图片中包含的二维码

之前在某电商 App 上浏览商品评论区时，发现一些晒单照片中包含的二维码被马赛克处理了，从马赛克的处理痕迹来看不像是用户手动处理的，更像是机器识别+处理的，对此我更好奇其实现原理了。

借助 ChatGPT，了解到主流的处理方式是通过 OpenCV 识别二维码的位置，并创建一个模糊图层对其覆盖。

查看详情

无图

co colobu.com / 2024-03-21 22:55

Go 中的高速数据包处理:从 net.Dial 到 AF_XDP

最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

查看详情

无图

pa paper.seebug.org / 2024-03-12 22:49

通过漫游交换进行隐蔽访问的新型后门 GTPDOOR 分析

GTPDOOR 是一种基于 Linux 的恶意软件，旨在部署在邻近 GRX（GPRS 交换网络）的电信网络系统中，具有通过GTP-C（GPRS 隧道协议- 控制平面）信令消息传递 C2 流量的功能。这使得 C2 流量能够与正常流量混合，并重新利用可能对 GRX 网络开放且暴露的已允许端口。

查看详情

无图

l1 l1n.wang / 2024-01-17 23:09

HTTPS通信过程分析

为什么需要HTTPS？HTTP缺点： 1. 明文传输； 2.C/S两端不存在验证机制，无法确认对方身份，可能存在中间人攻击。

查看详情

无图

co colobu.com / 2024-01-17 23:05

双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。

查看详情

无图

ix ixyzero.com / 2024-01-14 18:57

Nginx日志分析-MIME types

Nginx日志的分析，尤其是加白，在不是特别清楚功能和作用的情况下，还是应该细粒度的操作，比如先按照Content-Type加白，就比按照domain维度的加白粒度会更细一点，比按照uri来加白要更方便和准确一点。简单记录一下，方便后面有需要的时候参考。

查看详情

无图

bl blog.nsfocus.net / 2024-01-13 23:43

QUIC协议解析与DDoS攻击分析

QUIC（Quick UDP Internet Connections）协议是一种基于UDP的新型可靠传输协议，目前主要用于HTTP/3.0。近年来，现网中逐步发现了一些基于QUIC协议的DDoS攻击痕迹，并且友商也已经开始了关于QUIC协议的DDoS攻防相关研究。因此，ADS团队针对该协议进行了一系列的分析和实验，为相关的DDoS攻击防御技术研究打下基础。

查看详情

无图

pa paper.seebug.org / 2023-11-06 22:59

TinyInst 的插桩实现原理分析

TinyInst 是一个基于调试器原理的轻量级动态检测库，由 Google Project Zero 团队开源，支持 Windows、macOS、Linux 和 Android 平台。同 DynamoRIO、PIN 工具类似，解决二进制程序动态检测的需求，不过相比于前两者 TinyInst 更加轻量级，更加便于用户理解，更加便于程序员进行二次开发。

本文将通过分析 TinyInst 在 Windows 平台上的插桩源码，来理解 TinyInst 的基本运行原理；为后续调试 TinyInst 的衍生工具(如 Jackalope fuzzing 工具)或二次开发打下基础。

查看详情

无图

ma mazhuang.org / 2023-11-06 22:45

一个分布式锁「失效」的案例分析

在日常的开发过程中，如果涉及到并发和事务，一定要多留几个心眼，考虑周全，确认以下要点是否都正确实现：1、是否做了必要的并发控制？2、事务的传播行为是否符合预期？3、AOP 的执行顺序是否符合预期？4、对并发的场景是否做了充分的测试？5、对于比较关键的操作，是否打印了必要的日志？

查看详情

无图

如何分析及处理 Flink 反压？

赞过的人

发表评论

相关分享