美团点评基于 Flink 的实时数仓建设实践 (mp.weixin.qq.com)

【简介】

近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。

点击查看全文 >>

@zhisheng_blog 2019-07-25 09:52分享 / 0个评论
赞过的人: 技术头条 zhisheng_blog
要不要再学学下面的文章?
饿了么监控系统 EMonitor 与美团点评 CAT 的对比 (yq.aliyun.com)
饿了么监控系统EMonitor:是一款服务于饿了么所有技术部门的一站式监控系统,覆盖了系统监控、容器监控、网络监控、中间件监控、业务监控、接入层监控以及前端监控的数据存储与查询。每日处理总数据量近PB,每日写入指标数据量百T,每日指标查询量几千万,配置图表个数上万,看板个数上千。
by @可耐芊小仙女 2019-11-12 15:26 分享 查看详情
今日头条在消息服务平台和容灾体系建设方面的实践与思考 (yq.aliyun.com)
本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲,主要和大家分享一下,RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师,主要负责 RocketMQ 在头条的落地以及架构设计,参与消息系统的时间大概一年左右。
by @可耐芊小仙女 2019-11-12 15:25 分享 查看详情
最佳实践 | RDS & POLARDB归档到X-Pack Spark计算 (yq.aliyun.com)
X-Pack Spark服务通过外部计算资源的方式,为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力,从而更好的解决用户数据处理相关场景问题。
by @可耐芊小仙女 2019-11-12 15:23 分享 查看详情
Ververica Platform-阿里巴巴全新Flink企业版揭秘 (yq.aliyun.com)
2019云栖大会大数据 & AI专场,阿里巴巴资深技术专家王峰带来“Ververica Platform-阿里巴巴全新Flink企业版揭秘”的演讲。本文主要从Ververica由来开始谈起,着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini,以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。
by @可耐芊小仙女 2019-11-08 16:02 分享 查看详情
深入了解 Flink 网络栈(二):监控、指标和处理背压 (yq.aliyun.com)
在之前的文章中,我们从高级抽象到底层细节各个层面全面介绍了 Flink 网络栈的工作机制。作为这一系列的第二篇文章,本文将在第一篇的基础上更进一步,主要探讨如何监视与网络相关的指标,从而识别背压等因素带来的影响,或找出吞吐量和延迟的瓶颈所在。本文将简要介绍处理背压的手段,而之后的文章将进一步研究网络栈微调的话题。
by @可耐芊小仙女 2019-11-08 15:56 分享 查看详情
企业实践 | 如何更好地使用 Apache Flink 解决数据计算问题? (yq.aliyun.com)
业务数据的指数级扩张,数据处理的速度可不能跟不上业务发展的步伐。基于 Flink 的数据平台构建、运用 Flink 解决业务场景中的具体问题等随着 Flink 被更广泛的应用于广告、金融风控、实时 BI、实时数仓、实时推荐等多种业务场景,在生产实践中已有丰富的案例与优秀的经验。Flink Forward Asia 倒计时 28 天,企业实践专题大会邀请了字节跳动、滴滴出行、快手、Bilibili、网易、爱奇艺、中国农业银行、奇虎360、贝壳找房、奇安信等不同行业一线技术专家分享 Apache Flink 与大数据基础平台建设进展和实践,详细解读大数据相关技术在各行业的应用与落地,包括应用场景、业务痛点、面临挑战、如何破局等宝贵实践经验。
by @可耐芊小仙女 2019-11-08 15:56 分享 查看详情
Flink中资源管理机制解读与展望 (mp.weixin.qq.com)
本文来自2019年9月21日Flink Meetup北京站阿里巴巴的宋辛童的分享,关于Flink的资源管理机制的解读和展望。
by @zhisheng_blog 2019-11-05 21:17 分享 查看详情
大数据实时计算引擎 Flink 实战与性能优化 (www.54tianzhisheng.cn)
基于 Flink 1.9 讲解的专栏,涉及入门、概念、原理、实战、性能调优、系统案例的讲解。
by @zhisheng_blog 2019-11-05 20:56 分享 查看详情
Apache Flink 进阶(五):数据类型和序列化 (yq.aliyun.com)
本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。
by @可耐芊小仙女 2019-11-01 15:58 分享 查看详情
一文带你了解 Flink Forward 柏林站全部重点内容 (yq.aliyun.com)
2019.10.7~9号,随着70周年国庆活动的顺利闭幕,Flink Forward 也照例在他们的发源地柏林举办了第五届大会。虽然还没有拿到具体的数据,不过从培训门票已经在会前销售一空的这样的现象来看,Flink Forward 大会还是继续保持了一个良好的势头。本届大会不管是从参会人数上,提交的议题,以及参加的公司数量来看都继续创了一个新高。当然,这要去掉去年 Flink Forward 北京站的数据 ;-)。阿里巴巴这次共派出了包括笔者在内的3名讲师,总共参加了4场分享和2个问答环节。在这里,我会根据自己参与的议题给大家做一下这次会议整体的一个介绍和个人在这次参会过程里面的感受和思考,希望对感兴趣的同学有所帮助。
by @可耐芊小仙女 2019-11-01 15:57 分享 查看详情