Apache Flink 是如何管理好内存的? (www.54tianzhisheng.cn)

【简介】

如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据(包括缓存和高效处理)。合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来。

在这篇文章中,我们将讨论 Apache Flink 如何管理内存,讨论其自定义序列化与反序列化机制,以及它是如何操作二进制数据的。

点击查看原文 >>

@zhisheng_blog 2019-06-03 16:48 / 0个评论
赞过的人: @技术头条 @zhisheng_blog
要不要再学学下面的文章?
JVM内存问题排查流程 (l1n.wang)
首先确认问题现象,可以通过服务状态,监控面板、日志信息、监控工具(VisualVM)等,确认问题类型:
1、内存使用率居高不下、内存缓慢增加、OOM等;
2、频繁GC:Full GC等;
发现问题不建议重启,留存状态。
by @技术头条 2024-03-12 22:26 查看详情
应用程序的内存是大还是小? (www.diguage.com)
应该在内存容量大的少量实例(即机器)上运行应用程序,还是在内存容量小的大量实例上运行应用程序?哪种策略是最佳的?这个问题可能会经常遇到。在开发应用程序长达 20 年,且构建了 JVM 性能工程/故障排除工具( GCeasy、 FastThread,、 HeapHero)之后,我仍然不知道这个问题的正确答案。同时,我相信这个问题也没有非黑即白的答案。在本文中,我想与大家分享一下我对这个问题的看法和经验。
by @技术头条 2024-01-13 23:50 查看详情
AIOps在美团的探索与实践——事件管理篇 (tech.meituan.com)
美团服务运维团队从事前防御、事中处理、事后运营多个阶段探索AIOps在事件管理领域的应用。本文介绍了在各个运维领域中AIOps的赋能场景,详细阐述了每一个运维场景的业务价值以及算法的具体的落地效果。
by @技术头条 2023-12-26 22:00 查看详情
优雅地管理内网集群 (wasteland.touko.moe)
本文主要介绍了我在对内网集群进行管理的时候遇上的和解决的问题,包括统一控制,装机脚本,堡垒机,内网穿透等一系列问题。
by @技术头条 2023-11-30 23:37 查看详情
团队管理过程的信息不对称 (hiwannz.com)
聊聊那些在工作中常见的“信息不对称”。虽然这个名词几乎每个人都听到过,但实际上我觉得还是可以按照“人员,角色,岗位”三个维度拆分成 5 种不同的信息不对称区别。
by @技术头条 2023-11-29 23:49 查看详情
32 位的操作系统也能使用超过4G的内存-PAE 技术简介 (www.addesp.com)
阅读本文章前请确认对X86下的分页机制有最基本的了解,否则将难以理解本文中提到的内容。本文介绍的内容均位X86架构下的PAE技术,而不是ARM架构下的LPAE技术,虽然两者从本质来说是一样的。
by @技术头条 2023-11-06 23:32 查看详情
从登录会话看AD域分层管理模型 (blog.nsfocus.net)
AD(Active Directory)域中高权限用户的凭据泄露是最常见和严重的风险之一,实战中被攻击者利用会迅速导致域控失陷。本文介绍了现阶段可以从技术层面和管理层面遏制这类风险的技术方法和管理模型。
by @技术头条 2023-11-06 22:54 查看详情
从登录会话看AD域分层管理模型 (blog.nsfocus.net)
AD(Active Directory)域中高权限用户的凭据泄露是最常见和严重的风险之一,实战中被攻击者利用会迅速导致域控失陷。本文介绍了现阶段可以从技术层面和管理层面遏制这类风险的技术方法和管理模型。
by @技术头条 2023-11-06 22:54 查看详情
分布式锁之 Apache Curator InterProcessReadWriteLock (www.diguage.com)
在上一篇文章 分布式锁之 Apache Curator InterProcessMutex 中介绍了基于 ZooKeeper 实现的互斥锁。除此之外,还可以实现读写锁。这篇文章就来简要介绍一下 InterProcessReadWriteLock 的实现原理。
by @技术头条 2023-07-04 23:26 查看详情
分布式锁之 Apache Curator InterProcessMutex (www.diguage.com)
对分布式锁耳熟能详。不过,一直关注的是基于 Redis 实现的分布式锁。知道 ZooKeeper 也可以实现分布式锁。但是,原来的想法是把 Redis 那个思路切换到 ZooKeeper 上来实现就好。今天了解到 Apache Curator 内置了分布式锁的实现: InterProcessMutex。查看了一下源码实现,发现跟基于 Redis 实现的源码相比,在思路上还是有很大不同的。所以,特别作文记录一下。
by @技术头条 2023-07-04 23:25 查看详情