yq yq.aliyun.com / 2019-04-03 15:31 / by @可耐芊小仙女

Spark in action on Kubernetes - Spark Operator的原理解析

在上篇文章中，向大家介绍了如何使用Spark Operator在kubernetes集群上面提交一个计算作业。今天我们会继续使用上篇文章中搭建的Playground进行调试与解析，帮助大家更深入的理解Spark Operator的工作原理。所以如果没有浏览过上篇文章的同学，可以通过传送门直达，先配置好Playground的环境。

赞过的人

@技术头条

zh www.zhengwenfeng.com / 2025-11-12 00:32

Go协程池深度解析：原理、实现与最佳实践

文章系统解析 Go 协程池的实现原理和实践，包括为何需要协程池、基本实现方式、协程数设置依据及性能对比测试。示例代码演示如何手动构建协程池，并推荐三种高性能第三方库（如 ants、tunny）。适合进行高并发控制和资源管理优化的场景。

查看详情

无图

bj bjt.name / 2025-11-12 00:27

合成控制法的原理和扩展实现

本文介绍了合成控制法（Synthetic Control Method，SCM）原理及其扩展：首先通过选择多个未受干预单位并加权构建一个“合成对照组”，以模拟受干预单位在无干预情况下的表现；然后详细推导了权重 W 与协变量权重矩阵 V 的嵌套最优化过程；最后介绍了“合并损失函数 + 正则化（Lasso/ElasticNet）”的扩展方案，以增强模型稳健性。适用于政策或市场活动影响评估。

查看详情

无图

cr crossoverjie.top / 2024-11-23 21:44

StarRocks 物化视图刷新流程和原理

物化视图通过预计算显著提升查询性能，其刷新方式分为全量刷新和增量刷新。全量刷新适合一致性要求高的场景，增量刷新则高效应对数据变更。StarRocks独特的分布式引擎和自动优化策略，让数据处理更高效。你更倾向用哪种刷新方式？

查看详情

无图

bl blog.devtang.com / 2024-11-02 16:25

第一性原理思考：解决问题的通用框架(续)

本文深入探讨了几种思维框架，包括28原理、谬误推导和终局思维等，帮助在决策中聚焦关键因素，判断信息真伪。文章还列举了常见误区，如误把相关性当因果、从众心理和情绪化决策等，提醒在信息泛滥中保持清晰的逻辑思维。通过案例分析，这些思维模式能有效提升问题解决和决策的效率。

查看详情

无图

bl blog.devtang.com / 2024-11-02 16:20

第一性原理思考：解决问题的通用框架

本文介绍了解决问题的通用框架，基于“第一性原理”思考，分为信息收集、建模、判断和策略迭代四步。通过广泛收集经验与原始数据，建立问题模型，量化核心指标并不断优化策略，可以逐步解决复杂问题。框架虽无法保证执行到位，但帮助接近真实问题，为复杂决策提供可靠支持。

查看详情

无图

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

查看详情

无图

co colobu.com / 2024-08-06 07:53

使用Rust捕获和解析网络包

这篇文章介绍了如何使用Rust编程语言捕获和解析网络包，以提取TCP时间戳并计算网络延迟。作者利用pcap库捕获网络包，并使用pdu库解析TCP选项中的时间戳信息，结合哈希映射存储五元组信息以计算往返时间。文中提供了代码示例，展示了在Mac系统上实现这一过程的步骤。

查看详情

无图

jo jokerbai.com / 2024-05-05 23:22

Kubernetes中的事件收集以及监控告警

随着微服务以及云原生的发展，越来越多的企业都将业务部署运行到Kubernetes中，主要是想依托Kubernetes的可扩展、可伸缩、自动化以及高稳定性来保障业务的稳定性。
然而，Kubernetes本身是一个复杂的管理系统，它既然是作为企业业务的基础设施，其本身以及运行在集群内部的业务系统对于企业来说都变得非常重要。

查看详情

无图

cr crossoverjie.top / 2024-03-31 21:12

在 kubernetes 环境下如何优雅扩缩容 Pulsar

在整个大环境的降本增效的熏陶下，我们也不得不做好应对方案。

根据对线上流量、存储以及系统资源的占用，发现我们的 Pulsar 集群有许多的冗余，所以考虑进行缩容从而减少资源浪费，最终也能省一些费用。

不过在缩容之前很有必要先聊聊扩容，Pulsar 一开始就是存算分离的架构（更多关于 Pulsar 架构的内容本文不做过多介绍，感兴趣的可以自行搜索），天然就非常适合 kubernetes 环境，也可以利用 kubernetes 的能力进行快速扩容。

查看详情

无图

co www.codedump.info / 2024-03-21 23:21

Memcached的存储原理解析

最近工作上的需要，需要做一个LRU形式管理内存的分配器，首先想到的就是Memcached这个项目。早些年粗略的看过一些，有个大体的了解，这一次看下来发现其LRU算法做了不少的改动。

查看详情

无图

Spark in action on Kubernetes - Spark Operator的原理解析

赞过的人

发表评论

相关分享