MaxCompute 费用暴涨之新增SQL分区裁剪失败 (yq.aliyun.com)

【简介】

现象:因业务需求新增了SQL任务,这SQL扫描的表为分区表,且SQL条件里表只指定了一个分区,按指定的分区来看数据量并不大,但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。分析:我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。变量主要是输入量和复杂度,但实际上复杂度最高也就为4,由复杂度引起的费用暴涨是比较罕见,我们不妨先把排查重点放在输入量上。

点击查看全文 >>

@可耐芊小仙女 2019-07-09 15:19分享 / 0个评论
赞过的人: 技术头条
要不要再学学下面的文章?
一条SQL在 MaxCompute 分布式系统中的旅程 (yq.aliyun.com)
2019杭州云栖大会大数据技术专场,由阿里云资深技术专家侯震宇、阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在 MaxCompute 分布式系统中的旅程 ”为题进行了演讲。本文首先介绍了 MaxCompute 计算平台及其特点、超大规模企业级SQL引擎和其功能。然后讲解了如何构建企业级分布式智能调度执行框架。最后介绍了新一代列式存储引擎AliOrc及优化方式。
by @可耐芊小仙女 2019-11-06 15:48 分享 查看详情
如何快速删除 Git 仓库新增修改 | 幽居空谷轩 (www.lovejade.cn)
在使用 Git 这款版本控制工具,来管理项目代码,蛮多的时候,会涉及到“删除 Git 仓库新增修改”这样的诉求;如果能快速优雅做到,将会促进开发效率;这篇文章即在于,从不同诉求角度,来逐一探讨:“如何快速删除 Git 仓库新增修改”。
by @杨琼璞 2019-11-04 00:08 分享 查看详情
MaxCompute问答整理之9月 (yq.aliyun.com)
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、如何查看information_schema的tables?在使用ODPS建表时,有可能会建出几千张表,那我们寻找需要的表时就需要知道表名称,可以在数据地图中查看表,也可以使用Pyodps批量获取表名称。
by @可耐芊小仙女 2019-10-23 17:30 分享 查看详情
高危预警| SQL数据库成主要攻击对象,或引发新一轮大规模勒索 (yq.aliyun.com)
近日,阿里云安全团队发现,目前互联网上的服务器,SQL数据库仍然有不少处于直接暴露在公网的状态,且数量有上升趋势。黑客可以利用数据库存在的漏洞或弱口令直接获取数据,并植入勒索和挖矿病毒寻求牟利。阿里云安全专家发现,近期云上用户的数据库因弱口令被勒索的事件也有明显增势,需要引起关注,该类事件或将引发大规模勒索爆发,企业需要尽快自查。
by @技术小编443 2019-10-18 14:42 分享 查看详情
高危预警| SQL数据库成主要攻击对象,或引发新一轮大规模勒索 (yq.aliyun.com)
近日,阿里云安全团队发现,目前互联网上的服务器,SQL数据库仍然有不少处于直接暴露在公网的状态,且数量有上升趋势。黑客可以利用数据库存在的漏洞或弱口令直接获取数据,并植入勒索和挖矿病毒寻求牟利。阿里云安全专家发现,近期云上用户的数据库因弱口令被勒索的事件也有明显增势,需要引起关注,该类事件或将引发大规模勒索爆发,企业需要尽快自查。
by @可耐芊小仙女 2019-10-17 17:26 分享 查看详情
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个? (yq.aliyun.com)
本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下:
by @可耐芊小仙女 2019-10-11 16:57 分享 查看详情
阿里云MaxCompute 2019-8月刊 (yq.aliyun.com)
MaxCompute存储计费于9月1日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整。计量计费方式不变,以项目为单位出账,小时级别采集每个项目空间下当前的存储使用情况,计算当天的存储平均值再乘以阶梯单价得出单项目账单。新的阶梯价,依然是存储量越高单价越低。当数据存放集中且数据量也较大的情况下,新价格统计的费用较之原价可下降达30%。
by @可耐芊小仙女 2019-09-12 17:55 分享 查看详情
MaxCompute问答整理之8月 (yq.aliyun.com)
本文是基于对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、通过数据源数据增量同步后,如何查看某一条数据具体被同步到MaxCompute中的时间?不支持,查看不了,可以看表元数据的LastModifiedTime时间,但具体某个记录看不到时间。
by @可耐芊小仙女 2019-09-06 16:11 分享 查看详情
Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL (yq.aliyun.com)
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》,会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣,迫不及待地想尝试下,所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。
by @可耐芊小仙女 2019-09-06 16:07 分享 查看详情
阿里云应用高可用服务 AHAS 流控降级实现 SQL 自动防护功能 (yq.aliyun.com)
在影响系统稳定性的各种因素中,慢 SQL 是相对比较致命的,可能会导致 CPU、LOAD 异常、系统资源耗尽。线上生产环境出现慢 SQL 往往有很多原因:
by @可耐芊小仙女 2019-08-28 15:41 分享 查看详情