深入了解 Flink 网络栈(二):监控、指标和处理背压 (yq.aliyun.com)

【简介】

在之前的文章中,我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章,本文将在第一篇的基础上更进一步,主要探讨如何监视与网络相关的指标,从而识别背压等因素带来的影响,或找出吞吐量和延迟的瓶颈所在。本文将简要介绍处理背压的手段,而之后的文章将进一步研究网络栈微调的话题。

点击查看原文 >>

@可耐芊小仙女 2019-11-08 15:56 / 0个评论
要不要再学学下面的文章?
Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)
最近编写了一个Go程序,向数百万个IP地址发送ICMP ping消息。显然,希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到,仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。
by @技术头条 2024-03-21 22:55 查看详情
网络空间指纹:新型网络犯罪研判的关键路径 (paper.seebug.org)
网络空间指纹是对涉案网络资产所表现的数字痕迹和服务特征的收集和分析,类似于传统刑事科学的指纹概念,每个网络犯罪活动站点都会在网络空间留下独特的特征。本文将重点介绍网络空间指纹的形成和采集方法,以及其在网络犯罪研判中的应用实践。同时,我们将通过实际案例分析,验证网络空间指纹在研判网络犯罪行为中的可行性和有效性。
by @技术头条 2024-03-12 22:52 查看详情
Linux上文件监控的踩坑分享 (www.cnxct.com)
在Linux主机安全产品HIDS中,文件监控是特别常见的需求,在实现方案上,Linux内核层提供了文件变动的通知机制fsnotify,然而,在高磁盘IO的主机上、不同版本的内核上以及海量监控目标中,将会面临哪些问题呢?业务性能与安全性如何做更好地取舍均衡?今天,我的小伙伴阿松给大家分享以下文件监控系统的建设历程。
by @技术头条 2024-01-17 23:09 查看详情
高效I/O并发处理:双缓冲和Exchanger (colobu.com)
双缓冲(double buffering)是高效处理I/O操作的一种并发技术,它使用两个buffer,一个goroutine使用其中一个buffer进行写,而另一个goroutine使用另一个buffer进行读,然后进行交换。这样两个goroutine可能并发的执行,减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语,它可以用来在两个goroutine之间交换数据,快速实现双缓冲的模式。 这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。
by @技术头条 2024-01-17 23:05 查看详情
xorbot–一个检出率趋近于零的新型僵尸网络家族 (blog.nsfocus.net)
xorbot是一个正在快速成长中的新型僵尸网络家族,当前版本涵盖了x86,MIPS,Renesas SH,ARM在内的多种CPU架构。
by @技术头条 2023-12-11 23:03 查看详情
系统性能指标:洞察系统运行的关键脉搏 (jokerbai.com)
在当今数字时代,软件系统在我们的生活和工作中发挥着越来越重要的作用。我们需要确保这些系统能够在高负载、高并发的情况下稳定运行,为用户提供良好的体验。为了实现这一目标,我们需要关注系统性能监控指标,洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识,帮助你更好地理解和应用这些关键数据。
by @技术头条 2023-11-30 23:34 查看详情
升级到 Pulsar3.0 后深入了解 JWT 鉴权 (crossoverjie.top)
最近在测试将 Pulsar 2.11.2 升级到 3.0.1的过程中碰到一个鉴权问题,正好借着这个问题充分了解下 Pulsar 的鉴权机制是如何运转的。

Pulsar 支持 Namespace/Topic 级别的鉴权,在生产环境中往往会使用 topic 级别的鉴权,从而防止消息泄露或者其他因为权限管控不严格而导致的问题。
by @技术头条 2023-11-29 23:45 查看详情
定位面向未来的汽车网络安全 (blog.nsfocus.net)
软件定义汽车开启了无限可能,即使汽车型号已经过时,终端客户仍然可以通过软件更新享受到市场上最新的安全、舒适和便利功能。在整个部署和操作过程中保护该软件至关重要。

结构合理的网络安全管理必须与软件定义汽车的开发齐头并进。开发人员必须兼顾各个层次的安全性,不对特定应用程序或任何支持软件的安全性做出任何假设。

简而言之,开发人员必须管理风险,从其他行业吸取教训,推进全面的网络安全管理体系,以提供应对任何未来风险的框架。安波福公司(Aptiv)通过行业组织与客户、供应商和同行合作,积极帮助提高标准。
by @技术头条 2023-11-29 23:42 查看详情
网络侦察建模及防御概述 (blog.nsfocus.net)
通过梳理已有网络侦察模型,利用博弈论对网络侦察进行形式化建模,提出一个基于置信度更新的网络侦察模型,并对网络侦察防御相关技术进行概述。
by @技术头条 2023-11-29 23:41 查看详情
如何利用「深度上下文兴趣网络」提升点击率? (tech.meituan.com)
美团到店广告平台在用户行为序列建模算法的迭代落地中,基于对业务实际场景中用户决策心智的观察,创新性地提出了深度上下文兴趣网络,精确建模了用户的兴趣,提升了CTR等线上业务指标。本文介绍了相应算法背后的动机、建模方法以及工程优化,希望能为从事相关工作的同学带来一些启发或帮助。
by @技术头条 2023-11-29 23:40 查看详情