MaxCompute JOIN优化小结--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

Join是MaxCompute中最基本的语法，但由于数据量和倾斜问题，非常容易出现性能问题。一般情况下，join产生的问题有两大类：数据倾斜问题：join会将key相同的数据分发到同一个instance上处理，如果某个key上的数据量特别多则会导致该instance处理时间比其他instance...

原文地址：http://click.aliyun.com/m/43804/

点击查看原文 >>

由 @幸运的猫耳 2018-03-15 13:22 / 0个评论

赞过的人： @技术头条

图解Blink-Tree：B+Tree的一种并发优化结构和算法 (www.codedump.info)

本文介绍了 Blink-Tree，这是一种 B+Tree 的并发优化结构。通过引入 high key 和 link 指针，解决了并发访问时的性能问题，特别适用于高并发环境的存储引擎优化。如果你对数据库存储引擎感兴趣，这篇文章不容错过！

by @技术头条 2024-09-09 23:46 查看详情

使用 OpenRewrite 优化代码 (www.diguage.com)

本文介绍了如何使用OpenRewrite工具优化Java代码。OpenRewrite可以通过自动化脚本进行代码重构，减少技术债务，提升代码质量。作者详细讲解了如何配置Maven插件，并使用多种重构“处方”，例如排序import语句、升级到Java 21、替换Base64实现，以及迁移到Spring Boot 3.2和JUnit 5。通过这些工具和方法，开发者可以简化代码维护和升级流程。

by @技术头条 2024-08-06 08:04 查看详情

大批量动画模型的优化 (blog.codingnow.com)

最近和公司一个开发团队探讨了一下他们正在开发的游戏中遇到的性能问题，看看应该如何优化。这个游戏的战斗场景想模仿亿万僵尸(They are billions）的场景。在亿万僵尸中，场景中描绘了上万的僵尸潮，但我们这个游戏，超过 500 个僵尸就遇到了性能问题。固然，手机的硬件性能比不上 PC ，但 500 这个数量级还是略低于预期。

对于游戏中大量类似的动画物体，肯定有方法可以优化。

by @技术头条 2024-05-05 23:26 查看详情

大众点评内容搜索算法优化的探索与实践 (tech.meituan.com)

本文整理自美团技术沙龙第80期《美团内容智能分发的算法实践》，分享内容主要包括三部分。第一部分介绍了大众点评内容搜索的场景特点以及面临的挑战；第二部分介绍了为应对这些困难和挑战，技术团队在链路各环节上做的实践优化，包括内容消费和搜索满意度的优化等等；第三部分是总结和对未来的展望。

by @技术头条 2024-03-31 21:14 查看详情

ikbc C87 机械键盘有线改蓝牙小结 (mazhuang.org)

前一阵把家里的 Filco 圣手二代机械键盘单模改三模后，体验挺不错，想着改装的工具买了只用一回也比较浪费，顺手把放公司用的 ikbc C87 也改了吧。

by @技术头条 2024-03-12 22:42 查看详情

SQL优化(3)-索引与优化原理(上) (example.com)

这一篇我们回归现实中的MySQL数据库，初步学习具体的SQL优化原则，并尝试从索引底层原理出发，分析为什么会有那么多的“规则”。

by @技术头条 2024-01-13 23:28 查看详情

SQL优化(2)-索引与B+树 (example.com)

对于60%的程序员而言，Java的三层架构Controller、Service、Dao可以说是“越往后走天越黑”，特别是到了Dao层，提着灯笼也只能看到脚边一米开外的河边小石子，只闻对岸风啸马嘶却不知到底是人是鬼，只能借着MyBatis或JPA这些ORM框架隔着宽宽的河举行一场又一场的刺刀战，你砍我一刀，我刺你一剑。

诚然，很多人对MySQL数据库的印象就是一个模糊的大铁柜，闭上眼睛深吸一口气仿佛还能嗅到一股铁锈味。只知柜子里藏着很多张表，表里面存着很多行数据，再详细一点的呢？不知道。

MySQL有太多太多细节，根本无法用四、五篇文章说透，但我仍希望这个系列的文章能成为非常好的入门教程，让从来没接触过SQL优化的同学也能快速建立较为系统的知识框架，方便日后学习其他专栏时进一步拓展。

by @技术头条 2024-01-13 23:28 查看详情

外卖场景下，用户“复购”属性强、下单频次高，既想下单老商家，也会想换换“新口味”。为更好平衡用户的复购、尝新体验，外卖推荐团队从2022年起开始持续投入，构建了外卖场景新颖性推荐的体系化解决方案。截止目前，外卖首页用户曝光新颖性累计提升19%+，新颖好评率累计提升7%+，用户新颖体验Case率累计降低18%+。本文将详细介绍外卖首页Feed用户新颖体验优化过程中面临的挑战、解决思路以及业务思考。

by @技术头条 2023-07-23 12:21 查看详情

有序数列的数据结构优化 (blog.codingnow.com)

在我们的 ecs 模块中，有一个重要的内部数据结构是 eid 的数组。它是 Component 结构的一部分，表示每个 Component 属于哪个 Entity 。目前，它是以一个有序的 id 数组实现的。

这个数据结构常见的操作分别是：遍历、随机访问、查找 id 所在的位置。一个有序数组可以很好的完成任务。O(1) 的随机访问时间，O(Log N) 的查找时间。

那么实际上呢？

by @技术头条 2023-07-23 11:38 查看详情

美团视觉GPU推理服务部署架构优化实践 (tech.meituan.com)

面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战，美团视觉研发团队决定通过模型结构拆分和微服务化进行优化，他们提出一种通用高效的部署架构，来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例，优化后的服务压测性能指标GPU利用率由40%提升至100%，QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践，希望对大家能有所帮助或启发。

by @技术头条 2023-02-12 14:37 查看详情