Flink 中这样管理配置,你知道? (mp.weixin.qq.com)

【简介】

如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。

点击查看全文 >>

@zhisheng_blog 2019-06-18 20:41分享 / 0个评论
赞过的人: 技术头条 zhisheng_blog
要不要再学学下面的文章?
记录一次Flink作业异常的排查过程 (club.perfma.com)
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题进行排查跟进。
by @PerfMa社区 2020-06-16 10:54 分享 查看详情
每个程序员都必须知道的8种通用数据结构 (mp.weixin.qq.com)
数据结构是一种特殊的组织和存储数据的方式,可以使我们可以更高效地对存储的数据执行操作。数据结构在计算机科学和软件工程领域具有广泛而多样的用途。
by @code小生 2020-06-08 23:50 分享 查看详情
Windows配置VSCode+CMake+Ninja+Boost.Test的C++开发环境 (johnhany.net)
在Windows上配置VSCode+CMake+Ninja+Boost.Test的C++开发环境,支持编译、调试和单元测试
by @JohnHany 2020-05-11 15:32 分享 查看详情
都知道避免ANR,但该如何分析,定位,解决? (mp.weixin.qq.com)
application not responding 程序无响应。程序在规定的时间内没有响应。
超时时间的计数一般是从按键分发给app开始。超时的原因一般有两种:

1.当前的事件没有机会得到处理(即UI线程正在处理前一个事件,没有及时的完成或者looper被某种原因阻塞住了);
2.当前的事件正在处理,但没有及时完成。
by @DataFunBoy 2020-04-28 08:55 分享 查看详情
使用 YApi 管理 API 文档,测试, mock (juejin.im)
接口的维护管理非常耗时,大概占用了30%开发时间。后端程序员要维护对于他们冗余的文档,前端程序员又因为后端开发提供的文档不准确,导致浪费了大量的时间。
接口的正确性和稳定性很难保证,前端工程师为了处理各种数据异常情况,将会写大量异常处理逻辑。传统的接口自动化测试成本非常高,开发一个接口可能只需要一天,但写接口测试用例,需要花费好几天的时间。

对于前端程序员,在后端功能没有开发完成之前,他们需要接口返回数据 Mock ,以便不影响开发进度。传统的数据 mock 是把模拟数据写到项目代码里,这么做会带来更多新的问题,首先后端程序员定义的接口随着需求、架构涉及随时发生变化的,如果前端程序员完全按照最初的设计定义mock数据,将会和实际做出来的接口有很大的出入。

没有一个标准化的流程统一处理,这个过程是非常分散的,需要配合非常多的工具,效率比较低。
by @shengting 2020-04-20 14:53 分享 查看详情
谈谈《网络安全漏洞管理规定(征求意见稿)》释放的信息 (www.freebuf.com)
总结一下,规定中强调的一些重点:

1.本规定适用国内所有企业、组织和个人;

2.发现的漏洞,在限定时间内,相关厂商、第三方、运营方等必须做出修补,并公开漏洞细节和应对措施;

3.发现漏洞必须提交给相关企业、厂商或漏洞平台,不得自行发表;

4.各监管部门检查的重点可能会有所不同;

5.不允许夸大漏洞危害,不得私自发布漏洞验证工具和方法;

6.期限内不能整改的,要接受监管部门处罚。
by @shengting 2020-03-26 13:54 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情
阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。
by @zhisheng_blog 2020-02-23 09:06 分享 查看详情
Flink Forward Asia 2019 PPT 下载 (www.54tianzhisheng.cn)
Flink Forward Asia 2019 在北京召开的,有主会场和几个分会场(企业实践、Apache Flink 核心技术、开源大数据生态、实时数仓、人工智能),内容涉及很多,可以查看下面的 PPT。
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情
基于 Apache Flink 的监控告警系统 (www.54tianzhisheng.cn)
本人在 Flink 社区钉钉群直播的视频,对实时监控告警的可以查看
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情