大数据“重磅炸弹”——实时计算框架 Flink (mp.weixin.qq.com)

【简介】

Flink 多篇博客和问题以及资料分享,《从1到100深入学习Flink》源码学习这个系列文章,《从0到1学习Flink》的案例文章也会优先在知识星球更新,让大家先通过一些 demo 学习 Flink,再去深入源码学习

点击查看全文 >>

@zhisheng_blog 2019-04-03 19:38分享 / 0个评论
赞过的人: 技术头条 zhisheng_blog
要不要再学学下面的文章?
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @技术小编443 2019-10-16 16:19 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
介绍了 K8s Volume 的使用场景,以及本身局限性;
通过介绍 K8s 的 PVC 和 PV 体系,说明 K8s 通过 PVC 和 PV 体系增强了 K8s Volumes 在多 Pod 共享/迁移/存储扩展等场景下的能力的必要性以及设计思想;
通过介绍 PV(存储)的不同供给模式 (static and dynamic),学习了如何通过不同方式为集群中的 Pod 供给所需的存储;
通过 PVC&PV 在 K8s 中完整的处理流程,深入理解 PVC&PV 的工作原理 。
by @技术小编443 2019-10-16 11:36 分享 查看详情
【专访】又拍云朱黎明:又拍云加速布局边缘计算领域,边缘计算将与云计算平分秋色 (zhuanlan.zhihu.com)
在5G应用场景出现的时候,单纯依靠5G网络上的能力可能无法满足低延时、大连接的需求,需要通过边缘计算去补足。边缘计算的节点既可以是更下沉的节点,也可以是目前的CDN节点,这对于CDN企业而言是一个天然的延展过程。
by @又拍云 2019-10-16 11:02 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @可耐芊小仙女 2019-10-15 17:34 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
文内场景中,通过 Pod Volumes 很难准确地表达它的复用/共享语义,对它的扩展也比较困难。因此 K8s 中又引入了 Persistent Volumes 概念,它可以将存储和计算分离,通过不同的组件来管理存储资源和计算资源,然后解耦 pod 和 Volume 之间生命周期的关联。这样,当把 pod 删除之后,它使用的 PV 仍然存在,还可以被新建的 pod 复用。
by @可耐芊小仙女 2019-10-15 17:33 分享 查看详情
如何构建批流一体数据融合平台的一致性语义保证? (yq.aliyun.com)
本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。
by @技术小编443 2019-10-15 10:29 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @技术小编443 2019-10-14 17:09 分享 查看详情
阿里张磊:云计算生态价值点正迅速聚焦到“应用”上 (yq.aliyun.com)
云原生的理念如今正如火如荼。它不仅仅是一种技术,更是社区基于对云的思考,逐渐提炼出的一系列技术、最佳实践与方法论的集合。不过,到目前为止云原生的讨论较多局限在基础设施的开发和运维人员群体中。相比之下,更关注业务本身的应用开发同学,与云原生技术带来的资源利用率提升、分布式系统的弹性扩展与可靠性等能力之间,始终存在着一定的隔阂。对这部分同学来说,云原生技术更多时候还停留在“知其然”的阶段。
by @可耐芊小仙女 2019-10-14 17:02 分享 查看详情
阿里巴巴高级技术专家章剑锋:大数据发展的 8 个要点 (yq.aliyun.com)
笔者从 2008 年开始工作到现在也有 11 个年头了,一路走来都在和数据打交道,做过大数据底层框架内核的开发(Hadoop,Pig,Tez,Spark,Livy),也做过上层大数据应用开发(写 MapReduce Job 做 ETL ,用 Hive 做 Ad hocquery,用 Tableau 做数据可视化,用 R 做数据分析)。今天我想借此机会和大家聊聊我所理解的大数据现状和未来。
by @技术小编443 2019-10-14 13:42 分享 查看详情
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个? (yq.aliyun.com)
本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下:
by @可耐芊小仙女 2019-10-11 16:57 分享 查看详情