MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大 (yq.aliyun.com)

【简介】

我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。变量主要是输入量和复杂度,如果SQL没有变更的情况下复杂度度也没有变化,那么费用上涨主要原因就是输入量增加,因此我们侧重从输入量去排查是什么环节导致来了输入量的增加。

点击查看全文 >>

@可耐芊小仙女 2019-07-08 15:39分享 / 0个评论
要不要再学学下面的文章?
PAI-STUDIO通过Tensorflow处理MaxCompute表数据 (yq.aliyun.com)
PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。
by @可耐芊小仙女 2019-08-15 15:51 分享 查看详情
利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计 (yq.aliyun.com)
很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。那么在一个规模比较大的公司,企业购买了MaxCompute服务,会支撑企业内部的不同部门、个人来使用MaxCompute来开展数据处理分析。为了更好地识别数据平台使用方的周期性花费成本,优化数据资源的使用,就有必要对作业的费用进行统计,从而确认不同人员或归属部门的作业数量、作业费用、作业时长、作业资源使用量等指标。基于这些指标进行成本分摊、作业优化等管理工作。
by @可耐芊小仙女 2019-08-14 16:40 分享 查看详情
DLedger —基于 raft 协议的 commitlog 存储库 (yq.aliyun.com)
在 RocketMQ 4.5 版本之前,RocketMQ 只有 Master/Slave 一种部署方式,一组 broker 中有一个 Master ,有零到多个 。Slave,Slave 通过同步复制或异步复制的方式去同步 Master 数据。Master/Slave 部署模式,提供了一定的高可用性。 但这样的部署模式,有一定缺陷。比如故障转移方面,如果主节点挂了,还需要人为手动进行重启或者切换,无法自动将一个从节点转换为主节点。因此,我们希望能有一个新的多副本架构,去解决这个问题。
by @可耐芊小仙女 2019-08-14 16:34 分享 查看详情
利用 Android Keystore 系统 加密存储和解密敏感信息 (mp.weixin.qq.com)
利用 Android Keystore 系统,您可以在容器中存储加密密钥,从而提高从设备中提取密钥的难度。在密钥进入 Keystore 后,可以将它们用于加密操作,而密钥材料仍不可导出。此外,它提供了密钥使用的时间和方式限制措施,例如要求进行用户身份验证才能使用密钥,或者限制为只能在某些加密模式中使用。
by @code小生 2019-08-11 21:28 分享 查看详情
又拍云叶靖:OpenResty 在又拍云存储中的应用 (zhuanlan.zhihu.com)
今天与大家分享 OpenResty 在又拍云存储系统中的应用,一方面介绍 OpenResty 的应用,另一方面会介绍又拍云存储系统的原理,又拍云使用 OpenResty 来实现云存储的网关层和 API 接入层。
by @又拍云 2019-08-08 14:41 分享 查看详情
MaxCompute问答整理之7月 (yq.aliyun.com)
公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间来调度运行,那么DataWorks就派上了用场。DataWorks提供简单模式和标准模式两种工作空间模式。简单模式指一个DataWorks工作空间对应一个MaxCompute项目,无法设置开发环境和生产环境,只能进行简单的数据开发。标准模式指一个DataWorks工作空间对应两个MaxCompute项目,可以设置开发和生产环境,提升代码开发规范。两个模式还存在项目、用户和权限的不同。大家可以通过学习官方文档或者是实操来加强认知。
by @可耐芊小仙女 2019-08-07 15:29 分享 查看详情
在MaxCompute中利用bitmap进行数据处理 (yq.aliyun.com)
很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxCompute MapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并应用在自己的场景下。
by @可耐芊小仙女 2019-08-07 15:26 分享 查看详情
阿里云MaxCompute 2019-7月刊 (yq.aliyun.com)
MaxCompute国际Region香港、德国、新加坡、印度、美西推出内建Spark服务。支持原生多版本Spark作业,社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。提供原生的Spark WebUI供用户查看。统一的计算资源,MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。
by @可耐芊小仙女 2019-08-07 15:25 分享 查看详情
强强联合 阿里云 RDS for SQL Server 与 金蝶 K/3 WISE 产品实现兼容适配 (yq.aliyun.com)
强强联合 阿里云 RDS for SQL Server 与 金蝶 K/3 WISE 产品实现兼容适配,原K/3 WISE用户通过简单配置就可以无缝搭配RDS SQL Server使用,不需再费时费力自建SQL Server数据库,RDS for SQL Server 为K/3 WISE的数据存储提供超捷的便利性、极其稳定的可靠性以及极高的安全性保障。据悉,此为业内首家云计算厂商的数据库服务支持 金蝶K/3 WISE。
by @可耐芊小仙女 2019-08-06 15:11 分享 查看详情
一站式数据采集存储的利器:阿里云InfluxDB®️数据采集服务 (yq.aliyun.com)
随着时序数据的飞速增长,时序数据库不仅需要解决系统的稳定性和性能问题,还需实现数据从采集到分析的链路打通,才能让时序数据真正产生价值。在时序数据采集领域,一直缺少自动化的采集工具。虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都需要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提高了数据采集的门槛。另一方面,现有的采集工具缺乏对多个采集源的自动化管理,用户难以统一管理多个不同的采集源,实时监控各个采集工具是否正常运行并采集数据。
by @可耐芊小仙女 2019-08-02 16:16 分享 查看详情