Flink 实战:如何解决生产环境中的技术难题? (yq.aliyun.com)

【简介】

Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。

点击查看全文 >>

@可耐芊小仙女 2019-11-28 16:51分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
今日头条技术架构分析 (mp.weixin.qq.com)
今日头条创立于2012年3月,到目前仅4年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。
by @code小生 2020-01-05 21:32 分享 查看详情
给 Retrofit 嵌套动态代理,高效处理运营打点难题 (mp.weixin.qq.com)
相信大部分朋友都经历过,运营突然来要求,要给某部分接口带上某个参数(这个参数可能是from,表示当前在哪个页面;或者是duration,表示当前界面停留了多久)。这个时候,最直接的做法就是,直接加呗~ 有些接口还被多个界面调用,要改代码的界面可能是十多个,也可能是大几十个。
by @code小生 2020-01-05 21:31 分享 查看详情
Go 开发关键技术指南 | 为什么你要选择 GO?(内含超全知识大图) (yq.aliyun.com)
从问题本身出发,不局限于 Go 语言,探讨服务器中常常遇到的问题,最后回到 Go 如何解决这些问题,为大家提供 Go 开发的关键技术指南。我们将以系列文章的形式推出《Go 开发的关键技术指南》,共有 4 篇文章,本文为第 1 篇。
by @可耐芊小仙女 2019-12-31 15:56 分享 查看详情
PouchContainer 容器技术演进助力阿里云原生升级 (yq.aliyun.com)
我们从 2016 年开始在集团推广全面的镜像化容器化,今年是集团全面镜像化容器化后的第 4 个 双11,PouchContainer 容器技术已经成为集团所有在线应用运行的运行时底座和运维载体,每年 双11 都有超过百万的 PouchContainer 容器同时在线,提供电商和所有相关的在线应用平稳运行的载体,保障大促购物体验的顺滑。
by @可耐芊小仙女 2019-12-31 15:55 分享 查看详情
在 Flink 算子中使用多线程如何保证不丢数据? (yq.aliyun.com)
笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 api,因此第一次请求响应以后才会发起第二次请求。
by @可耐芊小仙女 2019-12-30 15:48 分享 查看详情
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践 (yq.aliyun.com)
当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿,接入上百种合规数据源。
by @可耐芊小仙女 2019-12-30 15:47 分享 查看详情
Serverless 实战——使用 Rendertron 搭建 Headless Chrome 渲染解决方案 (yq.aliyun.com)
传统的 Web 页面,通常是服务端渲染的,而随着 SPA(Single-Page Application) 尤其是 React、Vue、Angular 为代表的前端框架的流行,越来越多的 Web App 使用的是客户端渲染。使用客户端渲染有着诸多优势,比如节省后端资源、局部刷新、前后端分离等等,但也带来了一些挑战,比如本文要解决的 SEO 问题。
by @可耐芊小仙女 2019-12-24 15:27 分享 查看详情
State Processor API:如何读取,写入和修改 Flink 应用程序的状态 (yq.aliyun.com)
过去无论您是在生产中使用,还是调研Apache Flink,估计您总是会问这样一个问题:我该如何访问和更新Flink保存点中保存的state?不用再询问了,Apache Flink 1.9.0引入了状态处理器API,它是基于DataSet API的强大扩展,允许读取,写入和修改Flink的保存点和检查点中的状态。
by @可耐芊小仙女 2019-12-24 15:25 分享 查看详情
阿里云叔同:以容器为代表的云原生技术,已成为释放云价值的最短路径 (yq.aliyun.com)
2019 年阿里巴巴 双11 核心系统 100% 以云原生的方式上云,完美支撑了 54.4w 峰值流量以及 2684 亿的成交量。随着阿里巴巴经济体云原生技术的全面升级,容器性能、稳定性及在线率也得到了全面提升。本文作者将从云计算时代容器的发展路径为出发点,剖析阿里云的容器技术演进历程,借此探析整个行业的发展趋势。
by @可耐芊小仙女 2019-12-24 15:24 分享 查看详情
Flink SQL 如何实现数据流的 Join? (yq.aliyun.com)
无论在 OLAP 还是 OLTP 领域,Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言,经过数据库领域多年的积累,Join 语义以及实现已经十分成熟,然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。其中最为关键的问题在于 Join 的实现依赖于缓存整个数据集,而 Streaming SQL Join 的对象却是无限的数据流,内存压力和计算效率在长期运行来说都是不可避免的问题。
by @可耐芊小仙女 2019-12-24 15:23 分享 查看详情