在MaxCompute中配置Policy策略遇到结果不一致的问题 (yq.aliyun.com)

【简介】

本文以如下场景为基准进行编写,如下:

用户通过DataWorks-简单模式使用MaxCompute;
用户具有DataWorks默认角色,如DataWorks开发者角色;
用户通过console提交policy配置精细化权限管控,

点击查看全文 >>

@可耐芊小仙女 2019-04-09 16:05分享 / 0个评论
赞过的人: 技术头条
要不要再学学下面的文章?
PAI-STUDIO通过Tensorflow处理MaxCompute表数据 (yq.aliyun.com)
PAI-STUDIO在支持OSS数据源的基础上,增加了对MaxCompute表的数据支持。用户可以直接使用PAI-STUDIO的Tensorflow组件读写MaxCompute数据,本教程将提供完整数据和代码供大家测试。
by @可耐芊小仙女 2019-08-15 15:51 分享 查看详情
利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计 (yq.aliyun.com)
很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。那么在一个规模比较大的公司,企业购买了MaxCompute服务,会支撑企业内部的不同部门、个人来使用MaxCompute来开展数据处理分析。为了更好地识别数据平台使用方的周期性花费成本,优化数据资源的使用,就有必要对作业的费用进行统计,从而确认不同人员或归属部门的作业数量、作业费用、作业时长、作业资源使用量等指标。基于这些指标进行成本分摊、作业优化等管理工作。
by @可耐芊小仙女 2019-08-14 16:40 分享 查看详情
结合场景谈一谈微服务配置 (jm.taobao.org)
除了文中三个场景,其实还有更多更大胆的应用场景,如“大数据实时计算算法调整”、“异地容灾多活”、“应用业务场景动态推送”等等,可以参看 Nacos 的阿里云产品 ACM 的使用场景 。Nacos 配置管理模块,将敏感配置收拢管控起来,极大降低数据泄露等风险,并且提供如“动态推送”、“版本控制”、“快速回滚”等功能,保障了敏感配置的变更安全平稳的执行。

在限流与降级的场景,通过一个示例,为大家演示了如何通过 Nacos + Sentinel 实现流量的动态控制,这也是 Nacos 配置管理的一个十分典型的应用场景。降级也一样,大促高峰期间将某个非关键的系统组件进行关闭,在过了高峰期后再开启,这个也是可以通过 Nacos 的“动态推送”的功能来实现。

总之,只要系统涉及到了“敏感的配置”、“动态的配置”,都应该考虑将配置放入到 Nacos 中,让 Nacos 管控起来。
by @技术头条 2019-08-10 22:30 分享 查看详情
MaxCompute问答整理之7月 (yq.aliyun.com)
公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间来调度运行,那么DataWorks就派上了用场。DataWorks提供简单模式和标准模式两种工作空间模式。简单模式指一个DataWorks工作空间对应一个MaxCompute项目,无法设置开发环境和生产环境,只能进行简单的数据开发。标准模式指一个DataWorks工作空间对应两个MaxCompute项目,可以设置开发和生产环境,提升代码开发规范。两个模式还存在项目、用户和权限的不同。大家可以通过学习官方文档或者是实操来加强认知。
by @可耐芊小仙女 2019-08-07 15:29 分享 查看详情
在MaxCompute中利用bitmap进行数据处理 (yq.aliyun.com)
很多数据开发者使用bitmap技术对用户数据进行编码和压缩,然后利用bitmap的与/或/非的极速处理速度,实现类似用户画像标签的人群筛选、运营分析的7日活跃等分析。本文给出了一个使用MaxCompute MapReduce开发一个对不同日期活跃用户ID进行bitmap编码和计算的样例。供感兴趣的用户进一步了解、分析,并应用在自己的场景下。
by @可耐芊小仙女 2019-08-07 15:26 分享 查看详情
阿里云MaxCompute 2019-7月刊 (yq.aliyun.com)
MaxCompute国际Region香港、德国、新加坡、印度、美西推出内建Spark服务。支持原生多版本Spark作业,社区原生Spark运行在MaxCompute里面,完全兼容Spark的API,支持多Spark版本同时运行。提供原生的Spark WebUI供用户查看。统一的计算资源,MaxCompute Spark像MaxCompute SQL/MR等任务类型一样,运行在MaxCompute项目开通的统一计算资源中。统一的数据和权限管理。完全遵循MaxCompute项目的权限体系,在访问用户权限范围内安全地查询数据。与开源系统相同的使用体验。MaxCompute Spark会和开源保持相同的体验和用户使用习惯,比如开源应用的UI,在线交互等。开源UI对于开源应用的调试至关重要,MaxCompute Spark提供原生的开源实时UI,并且能查询历史日志。某些开源应用提供交互式,也就是把后台引擎拉起后,进行实时交互。
by @可耐芊小仙女 2019-08-07 15:25 分享 查看详情
ANR 问题一般解决思路 (mp.weixin.qq.com)
本文案例主要源于项目上实际遇到的问题,希望通过梳理之后能够对ANR问题能够快速定位,减少排查时间,同时在遇到棘手问题,能够更加从容。
by @code小生 2019-08-04 23:51 分享 查看详情
MaxCompute 助力衣二三构建智能化运营工具 (yq.aliyun.com)
本文由衣二三CTO程异丁为大家讲解了如何基于MaxCompute构建智能化运营工具。
衣二三作为亚洲最大的共享时装平台,MaxCompute是如何帮助它解决数据提取速度慢、数据口径差异等问题呢?程异丁通过衣二三数据体系架构,从用户运营应用、商品运营应用以及算法推荐系统三方面给大家剖析了MaxCompute是如何助力衣二三构建智能化运营工具的。
by @可耐芊小仙女 2019-07-29 15:45 分享 查看详情
海胜专访--MaxCompute 与大数据查询引擎的技术和故事 (yq.aliyun.com)
在2019大数据技术公开课第一季《技术人生专访》中,阿里巴巴云计算平台高级技术专家苑海胜为大家分享了《MaxCompute 与大数据查询引擎的技术和故事》,主要介绍了MaxCompute与MPP Database的异同点,分布式系统上Join的实现,且详细讲解了MaxCompute针对Join和聚合引入的Hash Clustering Table和Range Clustering Table的优化。
by @可耐芊小仙女 2019-07-29 15:44 分享 查看详情
春蔚专访--MaxCompute 与 Calcite 的技术和故事 (yq.aliyun.com)
2019大数据技术公开课第一季《技术人生专访》,来自阿里云计算平台事业部高级开发工程师雷春蔚向大家讲述了MaxCompute 与 Calcite 的技术和故事。 具体内容包括: 1) 什么是查询优化器;2)MaxCompute查询优化器的具体实践;3)MaxCompute后续计划;4)从校招到阿里巴巴工程师到Calcite committer,他经历了怎样的个人成长。
by @可耐芊小仙女 2019-07-29 15:41 分享 查看详情