王坚十年前的坚持,才有了今天世界顶级大数据计算平台MaxCompute (yq.aliyun.com)

【简介】

数据是企业的核心资产,但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案,Hadoop生态已经比较成熟,而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径,决定自研一个大数据计算平台,也就是今天的MaxCompute。

点击查看全文 >>

@可耐芊小仙女 2019-04-16 16:15分享 / 0个评论
要不要再学学下面的文章?
阿里云MaxCompute 2019-6月刊 (yq.aliyun.com)
MaxCompute预付费资源组的监控数据已支持云监控,请开通云监控服务,配置MaxCompute监控指标,可实时看到各指标的变化趋势图,并支持设置报警阈值,当数据达到阈值,会通过邮件、钉钉、短信等多种渠道发送通知。
by @可耐芊小仙女 2019-07-16 16:07 分享 查看详情
RDS 5.7三节点企业版时代的数据一致性解决方案 (yq.aliyun.com)
上篇我们看到了在MySQL主备模式下,我们在数据一致性上做了不少事情,但解决方案都有一定的局限性,适合部分场景或者解决不彻底的问题。随着以Google Spanner以及Amazon Aruora 为代表的NewSQL的快速发展,为数据库的数据一致性给出了与以往不同的思路: 基于分布式一致性协议!我们也实现了一个独立的分布式协议库X-Paxos,并将这个特性继承到了RDS 5.7三节点企业版中。(RDS 5.7三节点在7月15日即将开始公测,敬请关注!)
by @可耐芊小仙女 2019-07-16 16:06 分享 查看详情
MySQL主备模式的数据一致性解决方案 (yq.aliyun.com)
根据阿里交易型业务的特点,以及在双十一这样业内罕有的需求推动下,我们在官方的MySQL基础上增加了非常多实用的功能、性能补丁。而在使用MySQL的过程中,数据一致性是绕不开的话题之一。本文主要从阿里巴巴“去IOE”的后时代讲起,向大家简单介绍下我们过去几年在MySQL数据一致性上的努力和实践,以及目前的解决方案。
by @可耐芊小仙女 2019-07-16 16:05 分享 查看详情
MaxCompute问答整理之6月 (yq.aliyun.com)
MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来说呢,就是数据要存到MaxCompute里面,需要的时候再取出来。
by @可耐芊小仙女 2019-07-16 16:04 分享 查看详情
如何在云上使用confd+ACM管理敏感数据 (yq.aliyun.com)
在前面的一些文章中,我们介绍了如何在云上安全的存放配置数据,但是上面的方法都是有代码侵入性的,也就是说需要修改应用程序,本文会讲解如何使用 confd+ACM 在不修改代码的情况下动态修改应用所需的配置,并且可以重新启动应用加载最新的配置。这样做可以在无代码侵入的情况下加强应用程序的安全性和运维效率:
by @可耐芊小仙女 2019-07-15 15:57 分享 查看详情
免费报名 | 汇聚HBase&大数据最前沿 Apache HBaseConAsia2019盛会火热来袭 (yq.aliyun.com)
Apache HBase是基于Apache Hadoop构建的一个高可靠性、高性能、可伸缩的分布式存储系统,它提供了大数据背景下的高性能的随机读写能力,HBase是Google Big table的开源实现,通过在廉价PC Server上搭建起大规模结构化存储集群,可为众多企业从软件系统、解决方案、稳定护航、发展支撑等全方位提供一站式大数据基础存储服务。
by @可耐芊小仙女 2019-07-12 16:06 分享 查看详情
阿里云发布敏感数据保护产品SDDP,数据贴身防护实现“外防内控” (yq.aliyun.com)
数据安全问题,尤其是个人信息保护问题,一直是所有企业和个人关注的重点问题,7月10日,阿里云针对云上企业正式发布一款敏感数据保护产品SDDP(Sensitive Data Detection and Protection),该产品参考Gartner提出的DCAP框架(Data-Centric Audit and Protection,以数据为中心的审计与保护),结合了阿里云多年大数据处理技术、人工智能分析技术和数据安全运营实践,帮助客户精准识别敏感数据存储位置、多种算法组合脱敏确保数据安全可用、智能检测数据访问异常行为,实现了“外部攻击守源端、内部窃取能发现”的双重防护能力,帮助企业有效防止来自外部攻击和内部窃取导致的数据泄露。
by @可耐芊小仙女 2019-07-11 15:32 分享 查看详情
MaxCompute 费用暴涨之新增SQL分区裁剪失败 (yq.aliyun.com)
现象:因业务需求新增了SQL任务,这SQL扫描的表为分区表,且SQL条件里表只指定了一个分区,按指定的分区来看数据量并不大,但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。分析:我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。变量主要是输入量和复杂度,但实际上复杂度最高也就为4,由复杂度引起的费用暴涨是比较罕见,我们不妨先把排查重点放在输入量上。
by @可耐芊小仙女 2019-07-09 15:19 分享 查看详情
PHP游戏交易平台源码 (www.sucaihuo.com)
此款源码带免签约到账支付接口 可二次开发APP如果不会的话可以找我们有偿开发APP软件 后台带8套模板风格+手机版 实名系统+认证系统+押金系统+保证金系统+手续费系统等等
by @好小灰灰 2019-07-09 09:33 分享 查看详情
MaxCompute 费用暴涨之存储压缩率降低导致SQL输入量变大 (yq.aliyun.com)
我们先明确MaxCompute SQL后付费的计费公式:一条SQL执行的费用=扫描输入量 ️ SQL复杂度 ️ 0.3(¥/GB)。变量主要是输入量和复杂度,如果SQL没有变更的情况下复杂度度也没有变化,那么费用上涨主要原因就是输入量增加,因此我们侧重从输入量去排查是什么环节导致来了输入量的增加。
by @可耐芊小仙女 2019-07-08 15:39 分享 查看详情