Spark在MaxCompute的运行方式 (yq.aliyun.com)

【简介】

左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。

点击查看原文 >>

@可耐芊小仙女 2019-12-05 17:07 / 0个评论
要不要再学学下面的文章?
WSL运行时遇到未知异常错误无法使用 (lisenhui.cn)
遇到 WSL 提示“发生未知错误”无法启动的问题?可能是系统更新、配置冲突或文件损坏导致。可通过重启服务、检查日志、重装 WSL 或升级内核来排查解决。保持系统与 WSL 的版本更新至关重要!
by @技术头条 2024-11-23 21:49 查看详情
多方式防止网站被镜像 (dusays.com)
本文提供了多种方法来防止网站被镜像,包括使用 JavaScript 检查域名有效性、设置 `X-Frame-Options` 和 `Content-Security-Policy` 防止嵌入、限制访问频率、过滤爬虫请求,以及强制 HTTPS 加密。通过分析访问日志识别异常流量,这些措施可有效降低网站被恶意镜像的风险,提升资源的安全性和访问控制。
by @技术头条 2024-11-02 16:54 查看详情
Spark向量化计算在美团生产环境的实践 (tech.meituan.com)
美团在 Spark 生产环境中引入了向量化计算,使用 Gluten 和 Velox 框架,实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战,适合关注大数据优化的技术人员。
by @技术头条 2024-09-09 23:41 查看详情
四种字符串和bytes互相转换方式的性能比较 (colobu.com)
在 Go 中,字符串和字节数组的互转性能是很多开发者关注的问题。本文详细对比了四种转换方式,包括新型 unsafe 方法和 Kubernetes 实现,并通过 Benchmark 测试揭示了它们的性能差异。想要优化你的 Go 项目性能?不妨看看这篇详细的实测分析!
by @技术头条 2024-09-08 23:34 查看详情
一种适用于 Zustand 和 React Query 的前端数据管理方式 (innei.in)
本文介绍了一种结合Zustand和React Query进行前端数据管理的方法。作者指出,直接使用React Query进行复杂数据的乐观更新可能会导致性能和维护问题。通过使用Zustand创建数据映射表和自定义hook,可以简化状态管理和数据同步,提升效率和可维护性。文章还提供了在开发RSS信息流浏览器“Follow”中的应用示例。
by @技术头条 2024-08-06 08:19 查看详情
以非阻塞方式执行一个函数 (blog.codingnow.com)
用过 skynet 的应该都碰到过:当我们在服务中不小心调用了一个长时间运行而不返回的 C 函数,会独占一个工作线程。同时,这个被阻塞的服务也无法处理新的消息。一旦这种情况发生,看似是无解的。我们通常认为,是设计问题导致了这种情况发生。skynet 的框架在监测到这种情况发生时,会输出 maybe in an endless loop 。

如果是 Lua 函数产生的死循环,可以通过发送 signal 打断正在运行运行的 Lua 虚拟机,但如果是陷入 C 函数中,只能事后追查 bug 了。

那么,如果我原本就预期一段 C 代码会运行很长时间,有没有可能从底层支持以非阻塞方式运行这段代码呢?即,在这段代码运行期间,该服务还可以接收并处理新的消息?
by @技术头条 2024-03-13 13:20 查看详情
Go运行时的并发原语 (colobu.com)
这篇文章我们来了解一下隐藏在Go运行时中的一些并发原语, 因为运行时是底座和包循环依赖等原因,运行时中很少使用标准库中的并发原语,它有自己的并发原语。
by @技术头条 2024-01-14 19:07 查看详情
Go单线程运行也会有并发问题 (colobu.com)
一个Go大佬群中严肃的讨论了一个问题:Go程序单线程多goroutine访问一个map会遇到并发读写panic么?

答案是肯定的,因为出现了这个问题所以大家才在群中讨论。

为什么呢?因为单线程意味着并行单元只有一个(多线程也可能并行单元只有一个),但是多goroutine意味着并发单元有多个,如果并发单元同时执行,即使是单线程,可能就会产生数据竞争的问题,除非这些goroutine是顺序执行的。
by @技术头条 2023-12-11 23:04 查看详情
系统性能指标:洞察系统运行的关键脉搏 (jokerbai.com)
在当今数字时代,软件系统在我们的生活和工作中发挥着越来越重要的作用。我们需要确保这些系统能够在高负载、高并发的情况下稳定运行,为用户提供良好的体验。为了实现这一目标,我们需要关注系统性能监控指标,洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识,帮助你更好地理解和应用这些关键数据。
by @技术头条 2023-11-30 23:34 查看详情
使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)
为了让业务团队可以更好的跟踪自己消息的生产和消费状态,需要一个类似于表格视图的消息列表,用户可以直观的看到发送的消息;同时点击详情后也能查到消息的整个轨迹。
by @技术头条 2023-09-10 23:23 查看详情