MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大 (yq.aliyun.com)

【简介】

我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。变量主要是输入量和复杂度,如果SQL没有变更的情况下复杂度度也没有变化,那么费用上涨主要原因就是输入量增加,因此我们侧重从输入量去排查是什么环节导致来了输入量的增加。

点击查看全文 >>

@可耐芊小仙女 2019-07-08 15:39分享 / 0个评论
要不要再学学下面的文章?
一条SQL在 MaxCompute 分布式系统中的旅程 (yq.aliyun.com)
2019杭州云栖大会大数据技术专场,由阿里云资深技术专家侯震宇、阿里云高级技术专家陈颖达以及阿里云资深技术专家戴谢宁共同以“SQL在 MaxCompute 分布式系统中的旅程 ”为题进行了演讲。本文首先介绍了 MaxCompute 计算平台及其特点、超大规模企业级SQL引擎和其功能。然后讲解了如何构建企业级分布式智能调度执行框架。最后介绍了新一代列式存储引擎AliOrc及优化方式。
by @可耐芊小仙女 2019-11-06 15:48 分享 查看详情
如何有效降低大数据平台安全风险 (yq.aliyun.com)
在2019杭州云栖大会大数据企业级服务专场,由阿里云智能计算平台事业部资深技术专家李雪峰带来以“如何有效降低大数据平台安全风险”为题的演讲。本文首先概括了企业在大数据上云过程中会产生的安全顾虑。接着,在大数据平台中要处理的安全风险中,对数据中心物理安全与网络安全、大数据平台系统安全以及数据应用安全三部分做了详细的介绍。最后,描述了阿里云飞天大数据平台的安全体系。
by @可耐芊小仙女 2019-11-06 15:47 分享 查看详情
MaxCompute问答整理之9月 (yq.aliyun.com)
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。问题一、如何查看information_schema的tables?在使用ODPS建表时,有可能会建出几千张表,那我们寻找需要的表时就需要知道表名称,可以在数据地图中查看表,也可以使用Pyodps批量获取表名称。
by @可耐芊小仙女 2019-10-23 17:30 分享 查看详情
高危预警| SQL数据库成主要攻击对象,或引发新一轮大规模勒索 (yq.aliyun.com)
近日,阿里云安全团队发现,目前互联网上的服务器,SQL数据库仍然有不少处于直接暴露在公网的状态,且数量有上升趋势。黑客可以利用数据库存在的漏洞或弱口令直接获取数据,并植入勒索和挖矿病毒寻求牟利。阿里云安全专家发现,近期云上用户的数据库因弱口令被勒索的事件也有明显增势,需要引起关注,该类事件或将引发大规模勒索爆发,企业需要尽快自查。
by @技术小编443 2019-10-18 14:42 分享 查看详情
高危预警| SQL数据库成主要攻击对象,或引发新一轮大规模勒索 (yq.aliyun.com)
近日,阿里云安全团队发现,目前互联网上的服务器,SQL数据库仍然有不少处于直接暴露在公网的状态,且数量有上升趋势。黑客可以利用数据库存在的漏洞或弱口令直接获取数据,并植入勒索和挖矿病毒寻求牟利。阿里云安全专家发现,近期云上用户的数据库因弱口令被勒索的事件也有明显增势,需要引起关注,该类事件或将引发大规模勒索爆发,企业需要尽快自查。
by @可耐芊小仙女 2019-10-17 17:26 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @技术小编443 2019-10-16 16:19 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
介绍了 K8s Volume 的使用场景,以及本身局限性;
通过介绍 K8s 的 PVC 和 PV 体系,说明 K8s 通过 PVC 和 PV 体系增强了 K8s Volumes 在多 Pod 共享/迁移/存储扩展等场景下的能力的必要性以及设计思想;
通过介绍 PV(存储)的不同供给模式 (static and dynamic),学习了如何通过不同方式为集群中的 Pod 供给所需的存储;
通过 PVC&PV 在 K8s 中完整的处理流程,深入理解 PVC&PV 的工作原理 。
by @技术小编443 2019-10-16 11:36 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @可耐芊小仙女 2019-10-15 17:34 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
文内场景中,通过 Pod Volumes 很难准确地表达它的复用/共享语义,对它的扩展也比较困难。因此 K8s 中又引入了 Persistent Volumes 概念,它可以将存储和计算分离,通过不同的组件来管理存储资源和计算资源,然后解耦 pod 和 Volume 之间生命周期的关联。这样,当把 pod 删除之后,它使用的 PV 仍然存在,还可以被新建的 pod 复用。
by @可耐芊小仙女 2019-10-15 17:33 分享 查看详情
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个? (yq.aliyun.com)
本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下:
by @可耐芊小仙女 2019-10-11 16:57 分享 查看详情