记录一次Flink作业异常的排查过程--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

记录一次Flink作业异常的排查过程 (club.perfma.com)

【简介】

最近2周开始接手apache flink全链路监控数据的作业，包括指标统计，业务规则匹配等逻辑，计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题，我负责对这个问题进行排查跟进。

点击查看全文 >>

由 @PerfMa社区 2020-06-16 10:54分享 / 0个评论

赞过的人：

Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)

在选用 Flink 前，我们对日志批处理的整个业务需求分为三步：数据源采集、日志处理、结果的保存。我们的日志量在 100G/h，单机服务处理速度慢、扩容不方便，一些相似的需求都是以编码形式完成的。另外，数据处理流程复杂，需要在多个服务间流转，迫切需要一个方案来解决问题……

by @又拍云 2021-02-25 16:19 分享查看详情

App Store 上架被拒，上架过程的辛酸~~~ (mp.weixin.qq.com)

因iOS14新增审核规则，要求对本地网络的使用增加具体描述
查看网上有伙伴说增加描述信息就可以，亲测还是被拒，提示描述信息审核"不通过"

by @code小生 2020-12-20 14:44 分享查看详情

深度 | 每秒1.4亿次！再度刷新TPS记录的PolarDB如何应对双11“尖峰时刻”？ (developer.aliyun.com)

2020年是云原生数据库PolarDB全面支撑天猫双十一的第二年，天猫交易、买家、卖家以及物流等系统在双十一期间基于PolarDB为亿万客户提供了顺滑的体验。同时，PolarDB还刷新了去年由自己创造的数据库处理峰值（TPS）纪录，今年TPS峰值高达1.4亿次/秒，较去年提升了60%。

by @可耐芊小仙女 2020-11-26 11:03 分享查看详情

Flink 双流 Join 的3种操作示例 (developer.aliyun.com)

在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。

by @可耐芊小仙女 2020-11-24 15:55 分享查看详情

快手基于 Apache Flink 的优化实践 (developer.aliyun.com)

本次内容主要分为三部分，首先介绍流式计算的基本概念，然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。

by @可耐芊小仙女 2020-11-24 13:31 分享查看详情

Flink 1.11 与 Hive 批流一体数仓实践 (developer.aliyun.com)

Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。

by @可耐芊小仙女 2020-11-18 14:00 分享查看详情

当 TiDB 与 Flink 相结合：高效、易用的实时数仓 (developer.aliyun.com)

利用实时数仓，企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。而得益于新版 Flink 对 SQL 的支持，以及 TiDB HTAP 的特性，我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。

by @可耐芊小仙女 2020-11-18 09:59 分享查看详情

深入解析 Flink 的算子链机制 (developer.aliyun.com)

“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”

by @可耐芊小仙女 2020-11-16 14:14 分享查看详情

如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为：推荐系统对于用户的请求产生推荐，用户对推荐结果作出反馈 (购买/点击/离开等等)，推荐系统再根据用户反馈作出新的推荐。

by @可耐芊小仙女 2020-11-13 17:48 分享查看详情

Dubbo-go 源码笔记（二）客户端调用过程 (developer.aliyun.com)

有了上一篇文章《Dubbo-go 源码笔记（一）Server 端开启服务过程》的铺垫，可以类比客户端启动于服务端的启动过程。其中最大的区别是服务端通过 zk 注册服务，发布自己的ivkURL并订阅事件开启监听；而客户应该是通过zk注册组件，拿到需要调用的serviceURL，更新invoker并重写用户的RPCService，从而实现对远程过程调用细节的封装。

by @可耐芊小仙女 2020-11-12 10:59 分享查看详情