通过DataWorks数据集成归档日志服务数据至MaxCompute进行离线分析 (yq.aliyun.com)

【简介】

消费点位也可以按照自定义设置5分钟调度一次,从00:00到23:59,startTime=系统前分钟到[yyyymmddhh24miss-5/24/60]系统前5分钟时间(注意与上图消费数据定位不同),那么应该配置为ds=[yyyymmdd-5/24/60],hr=[hh24-5/24/60],min=[mi-5/24/60]。

点击查看全文 >>

@可耐芊小仙女 2019-04-09 15:57分享 / 0个评论
要不要再学学下面的文章?
Quick BI 3.0 - 强大的多维分析表格:交叉表 (yq.aliyun.com)
行和列:行一般是作为一个系列分类的概念,里面通常放置维度字段;列与行对应,是用于展示统计分析的数据,通常放置度量字段。钻取:钻取是改变维的层次,变换分析的粒度。它包括向上钻取和向下钻取。通过向导的方式,用户可以定义分析因素的汇总行,例如对于各地区各年度的销售情况,可以生成地区与年度的合计行,也可以生成地区或者年度的合计行。
by @可耐芊小仙女 2小时前 分享 查看详情
DRDS 数据恢复重磅发布,全方位保障您的数据安全 (yq.aliyun.com)
数据库存储着企业的核心数据,在企业中占据非常重要的位置,一旦出现SQL注入,数据误删的情况,影响的不仅仅是业务,还会泄露用户的个人信息。因此,数据库的数据安全问题十分重要。当数据库迁移到云端,其安全问题又被进一步放大,云数据库能否高效、便捷地备份数据库,当发生故障或者数据误删时,及时高效地恢复数据,成为企业用户关心的重要问题,影响着他们迁移数据库上云的信心。
by @可耐芊小仙女 2小时前 分享 查看详情
Istio on ACK集成生态(2): 扩展AlertManager集成钉钉助力可观测性监控能力 (yq.aliyun.com)
阿里云容器服务Kubernetes(简称ACK)支持一键部署Istio,可以参考文档在ACK上部署使用Isito。Istio on ACK提供了丰富的监控能力,为网格中的服务收集遥测数据,其中Mixer是负责提供策略控制和遥测收集的Istio组件。使用Prometheus进行监控是Istio提供的监控能力之一。
by @可耐芊小仙女 2小时前 分享 查看详情
从源码角度分析 Kotlin by lazy 的实现 (www.jianshu.com)
延迟属性(lazy properties) 是 Kotlin 标准库中的标准委托之一,可以通过 by lazy 来实现。本文从源码角度分析 Kotlin by lazy 的实现
by @Tony沈哲 2019-06-16 22:32 分享 查看详情
优酷背后的大数据秘密 (yq.aliyun.com)
大家好,我是门德亮,现在在优酷数据中台做数据相关的事情。很荣幸,我正好见证了优酷从没有MaxCompute到有的这样一个历程,因为刚刚好我就是入职优酷差不多5年的时间,我们正好是在快到5年的时候,去做了从Hadoop到MaxCompute的这样一个升级。这个是2016年5月到2019年现在的5月优酷的发展历程,上面是计算资源,下面是储存资源。大家可以看到整个用户数,还有表的数据,实际上是在呈一个指数式增长的。但是在2017年5月,当优酷完成了整个Hadoop迁移MaxCompute后,优酷的计算消耗,还有储存的消耗实际上是呈下降趋势的,整个迁移得到了一个非常大的收益。
by @可耐芊小仙女 2019-06-13 15:39 分享 查看详情
一条数据的漫游 -- X-Engine SIGMOD Paper Introduction (yq.aliyun.com)
X-Engine是阿里数据库产品事业部自研的OLTP数据库存储引擎,作为自研数据库POLARDB X的存储引擎,已经广泛应用在阿里集团内部诸多业务系统中,其中包括交易历史库,钉钉历史库等核心应用,为业务大幅缩减了成本,同时也作为双十一大促的关键数据库技术,挺过了数百倍平时流量的冲击。
by @可耐芊小仙女 2019-06-12 15:59 分享 查看详情
Lambda plus: 云上大数据解决方案 (yq.aliyun.com)
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景。
by @可耐芊小仙女 2019-06-05 17:09 分享 查看详情
基于大数据的舆情分析系统架构 - 架构篇 (yq.aliyun.com)
互联网的飞速发展促进了很多新媒体的发展,不论是知名的大V,明星还是围观群众都可以通过手机在微博,朋友圈或者点评网站上发表状态,分享自己的所见所想,使得“人人都有了麦克风”。不论是热点新闻还是娱乐八卦,传播速度远超我们的想象。可以在短短数分钟内,有数万计转发,数百万的阅读。如此海量的信息可以得到爆炸式的传播,如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代,除了媒体信息以外,商品在各类电商平台的订单量,用户的购买评论也都对后续的消费者产生很大的影响。
by @可耐芊小仙女 2019-06-05 17:07 分享 查看详情
以太坊交易流程及交易池 TXpool 分析 (learnblockchain.cn)
来了解下,以太坊底层处理交易流程,这篇文章来看看以太坊的交易流程及交易池 TXpool。
by @Tiny熊 2019-06-05 14:19 分享 查看详情
Kafka数据迁移MaxCompute最佳实践 (yq.aliyun.com)
Kafka是一款分布式发布与订阅的消息中间件,具有高性能、高吞量的特点被广泛使用,每秒能处理上百万的消息。Kafka适用于流式数据处理,主要应用于用户行为跟踪、日志收集等场景。一个典型的Kafka集群包含若干个生产者(Producer)、Broker、消费者(Consumer)以及一个Zookeeper集群。Kafka集群通过Zookeeper管理自身集群的配置并进行服务协同。
by @可耐芊小仙女 2019-06-04 15:07 分享 查看详情