Lyft 基于 Flink 的大规模准实时数据分析平台(附FFA大会视频) (yq.aliyun.com)

【简介】

如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基于 Apache Flink 的大规模准实时数据分析平台。

点击查看全文 >>

@可耐芊小仙女 2019-12-23 16:11分享 / 0个评论
要不要再学学下面的文章?
8 个 Python 高效数据分析的技巧 (mp.weixin.qq.com)
不管是参加Kaggle比赛,还是开发一个深度学习应用,第一步总是数据分析,这篇文章介绍了8个使用Python进行数据分析的方法,不仅能够提升运行效率,还能够使代码更加“优美”。
by @code小生 2020-06-28 21:57 分享 查看详情
记录一次Flink作业异常的排查过程 (club.perfma.com)
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题进行排查跟进。
by @PerfMa社区 2020-06-16 10:54 分享 查看详情
从此免费看 VIP 视频!用 Python 爬虫攻破 VIP 防线 (mp.weixin.qq.com)
但是这个网站只提供了在线解析视频的功能,没有提供下载接口,如果想把视频下载下来,我们就可以利用网络爬虫进行抓包,将视频下载下来。
by @code小生 2020-06-04 22:56 分享 查看详情
7大 Python 特殊技巧提升数据分析能力 (mp.weixin.qq.com)
本文列举了一些提升或加速日常数据分析工作的技巧,包括:

1. Pandas Profiling
2. 使用 Cufflinks 和 Plotly 绘制 Pandas 数据
3. IPython 魔术命令
4. Jupyter 中的格式编排
5. Jupyter 快捷键
6. 在 Jupyter(或 IPython)中使一个单元同时有多个输出
7. 为 Jupyter Notebook 即时创建幻灯片
by @code小生 2020-05-18 13:34 分享 查看详情
MP4 视频“只闻其声,不见其人”,是怎么回事呢? (zhuanlan.zhihu.com)
H.265 能在有限带宽下传输更高质量的网络视频,只需原先 H.264 编码的一半带宽即可传输相同质量的视频。同时,4K 视频的数据量是高清的 4-8 倍,需要更高效率的压缩编码算法,而 H.265 同时支持 4K(4096×2160)和 8K(8192×4320)像素的超高清视频,编码效率是 H.264 的两倍。
by @又拍云 2020-05-09 14:07 分享 查看详情
8 个 Python 高效数据分析的技巧 (mp.weixin.qq.com)
不管是参加Kaggle比赛,还是开发一个深度学习应用,第一步总是数据分析,这篇文章介绍了8个使用Python进行数据分析的方法,不仅能够提升运行效率,还能够使代码更加“优美”。

一行代码定义List

定义某种列表时,写For 循环过于麻烦,幸运的是,Python有一种内置的方法可以在一行代码中解决这个问题。
by @code小生 2020-04-26 20:09 分享 查看详情
仿抖音 APP 视频切换和点赞效果 (mp.weixin.qq.com)
网上很多仿抖音视频切换的很多都是使用自定义竖方向的ViewPager或者使用RecyclerView+PagerSnapHelper实现。但是这两种方式其实都有一定的缺陷:
by @code小生 2020-03-29 20:28 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情
阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。
by @zhisheng_blog 2020-02-23 09:06 分享 查看详情
Flink Forward Asia 2019 PPT 下载 (www.54tianzhisheng.cn)
Flink Forward Asia 2019 在北京召开的,有主会场和几个分会场(企业实践、Apache Flink 核心技术、开源大数据生态、实时数仓、人工智能),内容涉及很多,可以查看下面的 PPT。
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情