Apache Flink 是如何管理好内存的？--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

Apache Flink 是如何管理好内存的？ (www.54tianzhisheng.cn)

【简介】

如今，许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop，还有较新的框架，如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据（包括缓存和高效处理）。合理的管理好 JVM 内存可以将难以配置且不可预测的系统与少量配置且稳定运行的系统区分开来。

在这篇文章中，我们将讨论 Apache Flink 如何管理内存，讨论其自定义序列化与反序列化机制，以及它是如何操作二进制数据的。

点击查看原文 >>

由 @zhisheng_blog 2019-06-03 16:48 / 0个评论

赞过的人： @技术头条 @zhisheng_blog

突破内存限制：Mac Mini M2 服务器化实践指南 (soulteary.com)

文章介绍了如何将 Mac Mini M2 转变为高性价比的服务器，突破内存限制。作者通过安装 Ubuntu 系统，利用持久化 KV 系统替代传统 Redis，优化内存与硬盘的数据交换，提升性能。适合对家庭服务器搭建、Mac Mini 改造、Linux 系统部署感兴趣的技术爱好者和开发者。

by @技术头条 2025-01-12 12:02 查看详情

如何使用JS获取系统内存、CPU/GPU、电量等信息 (www.zhangxinxu.com)

这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息，详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析，展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员，提供了实用的开发参考。

by @技术头条 2025-01-03 00:13 查看详情

重新思考如何管理我的服务器 (xuexb.com)

如何高效管理云服务器？文章详细分享了 ECS 的选型策略、常见配置优化方法以及运维管理中容易忽视的关键细节，还提供了安全设置和成本控制的实用经验。通过这些深入解析与实际案例，帮助你全面提升管理效率，优化服务器性能，值得一试！

by @技术头条 2025-01-02 23:57 查看详情

Linux 文件管理之特殊权限 (frytea.com)

本文介绍了 Linux 中的特殊权限设置，包括 SUID、SGID 和 Sticky Bit。SUID 允许普通用户执行特定程序时以程序属主的权限运行；SGID 使目录中文件继承目录属组，便于共享；Sticky Bit 则限制用户删除或重命名共享目录中的文件。通过这些权限设置，用户可实现更灵活的文件与目录管理。

by @技术头条 2024-11-02 16:46 查看详情

Linux 文件管理之默认权限 umask (frytea.com)

本文介绍了 Linux 中的 `umask` 命令，用于设置文件和目录的默认权限。通过修改 `umask` 掩码值，可控制新建文件的权限，如将 `0022` 改为 `0002` 以调整用户组权限。文章演示了如何查看和更改 `umask`，以及如何使修改永久生效。

by @技术头条 2024-11-02 16:41 查看详情

如何根据LLM的参数估算内存（显存）使用量 (it.deepinmind.com)

理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此，因为它会影响到硬件的选择和整体成本。

by @技术头条 2024-04-03 01:54 查看详情

JVM内存问题排查流程 (l1n.wang)

首先确认问题现象，可以通过服务状态，监控面板、日志信息、监控工具（VisualVM）等，确认问题类型：
1、内存使用率居高不下、内存缓慢增加、OOM等；
2、频繁GC：Full GC等；
发现问题不建议重启，留存状态。

by @技术头条 2024-03-12 22:26 查看详情

应用程序的内存是大还是小？ (www.diguage.com)

应该在内存容量大的少量实例（即机器）上运行应用程序，还是在内存容量小的大量实例上运行应用程序？哪种策略是最佳的？这个问题可能会经常遇到。在开发应用程序长达 20 年，且构建了 JVM 性能工程/故障排除工具（ GCeasy、 FastThread,、 HeapHero）之后，我仍然不知道这个问题的正确答案。同时，我相信这个问题也没有非黑即白的答案。在本文中，我想与大家分享一下我对这个问题的看法和经验。

by @技术头条 2024-01-13 23:50 查看详情

AIOps在美团的探索与实践——事件管理篇 (tech.meituan.com)

美团服务运维团队从事前防御、事中处理、事后运营多个阶段探索AIOps在事件管理领域的应用。本文介绍了在各个运维领域中AIOps的赋能场景，详细阐述了每一个运维场景的业务价值以及算法的具体的落地效果。

by @技术头条 2023-12-26 22:00 查看详情

优雅地管理内网集群 (wasteland.touko.moe)

本文主要介绍了我在对内网集群进行管理的时候遇上的和解决的问题，包括统一控制，装机脚本，堡垒机，内网穿透等一系列问题。

by @技术头条 2023-11-30 23:37 查看详情