Flink on YARN（下）：常见问题与排查思路 (yq.aliyun.com)

【简介】

Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式，其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章，分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程，本文将根据社区大群反馈，解答客户端和 Flink Cluster 的常见问题，分享相关问题的排查思路。

点击查看原文 >>

由 @技术小编443 2019-10-14 17:09 / 0个评论
赞过的人： @IT技术博客大学习
要不要再学学下面的文章？
UTF-8 Overlong Encoding导致的安全问题 (www.leavesongs.com)
Overlong Encoding是将1个字节的字符，按照UTF-8编码方式强行编码成2位以上UTF-8字符的方法。

0xC0AE并不是一个合法的UTF-8字符，但我们按照UTF-8编码方式将其转换出来的，这就是UTF-8设计中的一个缺陷。

按照UTF-8的规范来说，我们应该使用字符可以对应的最小字节数来表示这个字符。那么对于点号来说，就应该是0x2e。但UTF-8编码转换的过程中，并没有限制往前补0，导致转换出了非法的UTF-8字符。

这种攻击方式就叫“Overlong Encoding”。
by @技术头条 2024-03-13 13:26 查看详情
重复视频检测的价值和常见方法 (ixyzero.com)
全网范围内的主要精品视频主要来自MCN机构，一些公司为了更快更好地去覆盖全网内容，会选择和内容代理合作，而代理手上会有很多重复版权的内容，导致重复内容出现。另外，搬运视频也会导致重复内容出现，这些重复内容会造成极差的用户体验。

再者，大量内容相似的视频对于短视频平台存储、网络带宽等资源也是一个极大的挑战，为了不必要的资源浪费，对视频内容进行去重是非常有必要的。
by @技术头条 2024-03-13 13:24 查看详情
Nginx proxy_pass到AWS ALB的504问题 (www.iots.vip)
我们的部分后端服务正在经历容器化的改造， 由于历史包袱，现网的网关等设施无法一次性迁移到 k8s 集群中， 因此使用 Nginx proxy_pass 转发到 AWS ALB 这样一个曲线救国的临时方案。

但是在使用时，我们发现一段时间后 Nginx 出现了 504 的错误，检查后端服务均是正常的，而单独访问 ALB 也是正常响应的，因此便有了此文。
by @技术头条 2024-03-13 13:22 查看详情
Nginx proxy_pass到AWS ALB的504问题 (www.iots.vip)
我们的部分后端服务正在经历容器化的改造， 由于历史包袱，现网的网关等设施无法一次性迁移到 k8s 集群中， 因此使用 Nginx proxy_pass 转发到 AWS ALB 这样一个曲线救国的临时方案。

但是在使用时，我们发现一段时间后 Nginx 出现了 504 的错误，检查后端服务均是正常的，而单独访问 ALB 也是正常响应的，因此便有了此文。
by @技术头条 2024-03-13 13:22 查看详情
一道面试题: Top K 问题 (colobu.com)
最近在招一个Go开发工程师，面试中时候我会问一个Top K的问题，这个问题是一个经典的面试题。
有时候我不会要求面试者写出答案，首先我听一下他的思想，如果写代码困难的话我都允许可以上网查标准库的文档，看看heap的用法。
相对来说比Redis的作者antirez的面试要轻松些了，他的面试题是要求面试者写出一个二叉搜索树。

这道题既然是经典题，很很多教科书或者算法网站上都有，比如leetcode也有，收录在Leetcode 算法题解精选一书中。
by @技术头条 2024-03-12 22:47 查看详情
JVM内存问题排查流程 (l1n.wang)
首先确认问题现象，可以通过服务状态，监控面板、日志信息、监控工具（VisualVM）等，确认问题类型：
1、内存使用率居高不下、内存缓慢增加、OOM等；
2、频繁GC：Full GC等；
发现问题不建议重启，留存状态。
by @技术头条 2024-03-12 22:26 查看详情
ChCore 构建系统实现思路 (stdrc.cc)
读研期间的一个工作是为实验室的 ChCore 操作系统重写了新的构建系统——ChBuild，主要包括各级 CMake 脚本、配置系统和构建入口脚本。目前构建系统已经跟随 第二版 ChCore Lab 开源，所以现在可以尝试分享一下思路。如果你不了解 ChCore Lab，也没有关系，这里主要是想粗浅地介绍一些 CMake 很有趣且有用的特性和技巧，可以只看关于这些的内容。

下面的讨论基于 ChCore Lab v2 的 lab5 分支，因为这里包含了比较完整的操作系统代码结构。在阅读之前，建议你首先理解 Modern CMake By Example 中的绝大部分内容。
by @技术头条 2023-12-11 23:07 查看详情
Go单线程运行也会有并发问题 (colobu.com)
一个Go大佬群中严肃的讨论了一个问题：Go程序单线程多goroutine访问一个map会遇到并发读写panic么？

答案是肯定的，因为出现了这个问题所以大家才在群中讨论。

为什么呢？因为单线程意味着并行单元只有一个(多线程也可能并行单元只有一个)，但是多goroutine意味着并发单元有多个，如果并发单元同时执行，即使是单线程，可能就会产生数据竞争的问题，除非这些goroutine是顺序执行的。
by @技术头条 2023-12-11 23:04 查看详情
解决Vite打包产生的hash缓存失效问题 (www.iszy.cc)
最近发现无论改多少内容，打包出来的所有文件的 hash 都会发生变化，这样就导致了浏览器缓存失效，每次都要重新加载所有文件，这样就导致了加载速度变慢，而且也浪费我服务器流量，姑且来看看能不能解决。
by @技术头条 2023-11-29 23:46 查看详情
五大常见的渗透工具分析 (paper.seebug.org)
在威胁事件响应中，黑客们越来越频繁地使用数据传输工具（包括用于将数据传输到SFTP服务器或直接传输到云端的工具），这些工具被攻击者广泛用于数据外泄，而数据泄露问题是勒索事件中很常见的问题。本文立足于常见的应用工具，对其进行详细的检测分析。
by @技术头条 2023-10-25 00:00 查看详情
使用微博登录，分享你的文章到本站