Spark in action on Kubernetes - Spark Operator的原理解析--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

Spark in action on Kubernetes - Spark Operator的原理解析 (yq.aliyun.com)

【简介】

在上篇文章中，向大家介绍了如何使用Spark Operator在kubernetes集群上面提交一个计算作业。今天我们会继续使用上篇文章中搭建的Playground进行调试与解析，帮助大家更深入的理解Spark Operator的工作原理。所以如果没有浏览过上篇文章的同学，可以通过传送门直达，先配置好Playground的环境。

点击查看原文 >>

由 @可耐芊小仙女 2019-04-03 15:31 / 0个评论

赞过的人： @技术头条

在 kubernetes 环境下如何优雅扩缩容 Pulsar (crossoverjie.top)

在整个大环境的降本增效的熏陶下，我们也不得不做好应对方案。

根据对线上流量、存储以及系统资源的占用，发现我们的 Pulsar 集群有许多的冗余，所以考虑进行缩容从而减少资源浪费，最终也能省一些费用。

不过在缩容之前很有必要先聊聊扩容，Pulsar 一开始就是存算分离的架构（更多关于 Pulsar 架构的内容本文不做过多介绍，感兴趣的可以自行搜索），天然就非常适合 kubernetes 环境，也可以利用 kubernetes 的能力进行快速扩容。

by @技术头条 2024-03-31 21:12 查看详情

Memcached的存储原理解析 (www.codedump.info)

最近工作上的需要，需要做一个LRU形式管理内存的分配器，首先想到的就是Memcached这个项目。早些年粗略的看过一些，有个大体的了解，这一次看下来发现其LRU算法做了不少的改动。

by @技术头条 2024-03-21 23:21 查看详情

B树、B+树索引算法原理（下） (www.codedump.info)

在上一篇文章中，介绍了数据库索引的简单概念，以及B树的结构及核心算法，这一篇将继续介绍B树的变形B+树。

by @技术头条 2024-03-21 23:02 查看详情

B树、B+树索引算法原理（上） (www.codedump.info)

这一段时间由于在阅读boltdb代码的缘故，找机会学习了B树及B+树的算法原理，这个系列会花两个篇幅分别介绍这两种数据结构的实现，其用于数据库索引中的基本原理。

by @技术头条 2024-03-21 23:01 查看详情

Redis高可用原理 (www.codedump.info)

Redis中为了实现高可用（High Availability，简称HA），采用了如下两个方式：
1、主从复制数据。
2、采用哨兵监控数据节点的运行情况，一旦主节点出现问题由从节点顶上继续进行服务。

by @技术头条 2024-03-13 13:29 查看详情

解析Java动态代理机制的实现 (l1n.wang)

代理模式主要是Proxy对原始方法做了一层包装，用以增加一些新的统一处理逻辑，来增强目标对象的功能。静态代理是传统设计模式中一种传统的实现方案，动态代理能将代理对象的创建延迟到程序运行阶段。

by @技术头条 2024-01-17 23:16 查看详情

QUIC协议解析与DDoS攻击分析 (blog.nsfocus.net)

QUIC（Quick UDP Internet Connections）协议是一种基于UDP的新型可靠传输协议，目前主要用于HTTP/3.0。近年来，现网中逐步发现了一些基于QUIC协议的DDoS攻击痕迹，并且友商也已经开始了关于QUIC协议的DDoS攻防相关研究。因此，ADS团队针对该协议进行了一系列的分析和实验，为相关的DDoS攻击防御技术研究打下基础。

by @技术头条 2024-01-13 23:43 查看详情

SQL优化(3)-索引与优化原理(上) (example.com)

这一篇我们回归现实中的MySQL数据库，初步学习具体的SQL优化原则，并尝试从索引底层原理出发，分析为什么会有那么多的“规则”。

by @技术头条 2024-01-13 23:28 查看详情

细说Kubernetes Pod的驱逐 (jokerbai.com)

Kubernetes Pods被驱逐是什么意思？它们被终止了，通常是由于没有足够的资源，但是为什么会发生这种情况呢？

驱逐是一个过程，分配给一个节点的Pod被要求终止。Kubernetes中最常见的情况之一是抢占，为了在资源有限的节点上安排一个新的Pod，通常需要终止另外一个Pod。

另外，Kubernetes会不断检查资源使用情况，当节点压力过大的时候，会触发节点压力驱逐。

每天，数以千计的Pod被驱逐出他们的家园。搁浅和迷茫，他们不得不放弃以前的生活方式。他们中的一些人甚至会无家可归。当前的社会，对CPU和内存的要求会越来越高。

by @技术头条 2023-12-11 23:04 查看详情

apt 软件源格式解析 (www.addesp.com)

每次安装完 Ubuntu 的第一件事情就是给 apt 换源，而换源过程基本就是复制粘贴，今天突然发现自己复制粘贴这么久也不知道粘贴了什么，于是了解了一下并分享出来。总之就是一篇看了也没什么用的文章，了解一下而已。

by @技术头条 2023-12-11 22:55 查看详情