Flink 中这样管理配置,你知道? (mp.weixin.qq.com)

【简介】

如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。

点击查看全文 >>

@zhisheng_tian 2019-06-18 20:41分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
利用InformationSchema与阿里云交易和账单管理API实现MaxCompute费用对账分摊统计 (yq.aliyun.com)
很多的企业用户选择MaxCompute按量付费模式构建自己的数据平台,利用MaxCompute按作业付费的计费模型,在获得高性能的同时避免"IDLE"状态的不必要资源费用支出,仅为实际使用付费。那么在一个规模比较大的公司,企业购买了MaxCompute服务,会支撑企业内部的不同部门、个人来使用MaxCompute来开展数据处理分析。为了更好地识别数据平台使用方的周期性花费成本,优化数据资源的使用,就有必要对作业的费用进行统计,从而确认不同人员或归属部门的作业数量、作业费用、作业时长、作业资源使用量等指标。基于这些指标进行成本分摊、作业优化等管理工作。
by @可耐芊小仙女 2019-08-14 16:40 分享 查看详情
结合场景谈一谈微服务配置 (jm.taobao.org)
除了文中三个场景,其实还有更多更大胆的应用场景,如“大数据实时计算算法调整”、“异地容灾多活”、“应用业务场景动态推送”等等,可以参看 Nacos 的阿里云产品 ACM 的使用场景 。Nacos 配置管理模块,将敏感配置收拢管控起来,极大降低数据泄露等风险,并且提供如“动态推送”、“版本控制”、“快速回滚”等功能,保障了敏感配置的变更安全平稳的执行。

在限流与降级的场景,通过一个示例,为大家演示了如何通过 Nacos + Sentinel 实现流量的动态控制,这也是 Nacos 配置管理的一个十分典型的应用场景。降级也一样,大促高峰期间将某个非关键的系统组件进行关闭,在过了高峰期后再开启,这个也是可以通过 Nacos 的“动态推送”的功能来实现。

总之,只要系统涉及到了“敏感的配置”、“动态的配置”,都应该考虑将配置放入到 Nacos 中,让 Nacos 管控起来。
by @技术头条 2019-08-10 22:30 分享 查看详情
你知道 OOM 常见原因吗?有什么好的解决方法? (mp.weixin.qq.com)
当 JVM 内存严重不足时,就会抛出 java.lang.OutOfMemoryError 错误。本文总结了常见的 OOM 原因及其解决方法,如下图所示。如有遗漏或错误,欢迎补充指正。
by @zhisheng_tian 2019-08-06 23:05 分享 查看详情
你知道 Java 类是如何被加载的吗? (yq.aliyun.com)
最近给一个非Java方向的朋友讲了下双亲委派模型,朋友让我写篇文章深度研究下JVM的ClassLoader,我确实也好久没写JVM相关的文章了,有点手痒痒,涂了皮炎平也抑制不住。我在向朋友解释的时候是这么说的:双亲委派模型中,ClassLoader在加载类的时候,会先交由它的父ClassLoader加载,只有当父ClassLoader加载失败的情况下,才会尝试自己去加载。这样可以实现部分类的复用,又可以实现部分类的隔离,因为不同ClassLoader加载的类是互相隔离的。
by @可耐芊小仙女 2019-08-05 15:42 分享 查看详情
多云混合云之多集群统一管理:基于阿里云ACK统一纳管多个不同Kubernetes集群 (yq.aliyun.com)
目前阿里云云原生产品家族已经支持多集群管理功能,允许使用阿里云容器服务Kubernetes(简称ACK)控制台或kubectl命令接入、统一纳管其他公有云、客户IDC自建K8s集群,集中管理部署K8s工作负载;并可以针对工作负载流量统一管理,支持服务就近访问、故障转移能力。本文重点介绍如何使用ACK控制台来接入一个外部Kubernetes集群,无论这个集群是否提供公网访问能力,或者该集群是来自其他公有云提供商,亦或是用户IDC自定义集群。
by @可耐芊小仙女 2019-07-30 15:14 分享 查看详情
美团点评基于 Flink 的实时数仓建设实践 (mp.weixin.qq.com)
近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。
by @zhisheng_tian 2019-07-25 09:52 分享 查看详情
Flink 灵魂两百问,这谁顶得住? (mp.weixin.qq.com)
两百问一点都不夸张,这才光知识星球从创建到现在的问题总数,另外还有多个微信群的答疑解惑。有时候忍不住想给自己点个赞,咋能这么
by @zhisheng_tian 2019-07-25 09:49 分享 查看详情
Knative 基本功能深入剖析:Knative Serving 的流量灰度和版本管理 (yq.aliyun.com)
测试之前我们需要写一段 rest-api 的代码,并且还要能够区分不同的版本。下面我基于官方的例子进行了修改,为了使用方便去掉了 github.com/gorilla/mux 依赖,直接使用 Golang 系统包 net/http 替代。这段代码可以通过 RESOURCE 环境变量来区分不同的版本。
by @可耐芊小仙女 2019-07-22 15:41 分享 查看详情
Nacos 1.1.1 发布,支持灰度配置和地址服务器模式 (yq.aliyun.com)
Nacos 是阿里巴巴开源的配置中心和服务发现产品,开源距今已经超过一年的时间。本次1.1.0的发布,带来了许多重量级的特性更新,包括灰度配置等社区呼声很高的特性,下面会介绍1.1.0版本发布的新特性和每个特性的使用方式。
by @可耐芊小仙女 2019-07-15 15:59 分享 查看详情
如何在云上使用confd+ACM管理敏感数据 (yq.aliyun.com)
在前面的一些文章中,我们介绍了如何在云上安全的存放配置数据,但是上面的方法都是有代码侵入性的,也就是说需要修改应用程序,本文会讲解如何使用 confd+ACM 在不修改代码的情况下动态修改应用所需的配置,并且可以重新启动应用加载最新的配置。这样做可以在无代码侵入的情况下加强应用程序的安全性和运维效率:
by @可耐芊小仙女 2019-07-15 15:57 分享 查看详情