如何构建批流一体数据融合平台的一致性语义保证? (yq.aliyun.com)

【简介】

本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。

点击查看全文 >>

@可耐芊小仙女 2019-10-10 16:38分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
3.83亿开房记录被泄露后,这家酒店竟然又又又被爆泄露用户数据了 (mp.weixin.qq.com)
不到两年,万豪酒店再次发生数据泄露。本周二,万豪酒店表示,公司有近 520 万房客的个人信息被泄露。上一次万豪有 3.83 亿人次详细个人信息被泄露。
by @code小生 2020-06-21 22:35 分享 查看详情
容器化技术在数据中心的实践 (www.upyun.com)
运维急需从传统模式转变到高级运维和智能运维。他还把运维转型的心路历程分享给大家,对比传统运维,高级运维和智能运维在机器数量、性能优化、架构、运维能力、人效比等方面都有着质的飞跃。

而这种趋势的改变,主要得益于DevOps(开发运维一体化)的发展。DevOps这个词本身来源于“开发”和“运维”,其意义是消除开发人员和运维工程师之间的障碍,让着两者之间能更好的配合。
by @又拍云 2020-06-12 16:08 分享 查看详情
OrderedDict 是如何保证 Key 的插入顺序的 (old-panda.com)
从源码的层面分析 Python 的 OrderedDict 类是如何保持 Key 的插入顺序的
by @OldPanda 2020-03-03 14:19 分享 查看详情
JVM源码分析之不保证顺序的Class.getMethods (club.perfma.com)
本文要说的内容是今天公司有个线上系统踩了一个坑,并且貌似还造成了一定的影响,后来系统相关的人定位到了是java.lang.Class.getMethods返回的顺序可能不同机器不一样,有问题的机器和没问题的机器这个返回的方法列表是不一样的,后面他们就来找到我求证是否jdk里有这潜规则。
by @PerfMa社区 2020-03-03 12:53 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情
美团点评基于 Flink 的实时数仓平台实践 (www.54tianzhisheng.cn)
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
by @zhisheng_blog 2020-02-23 09:04 分享 查看详情
嗖的一下!只要一条命令,K8s监控数据一键写入时序数据库 (yq.aliyun.com)
这里的“快速”有多快呢?一条命令就能搞定!本文就介绍如何使用helm一键完成k8s监控数据到阿里云InfluxDB®的存储链路。对于helm的安装和使用,网上有很多资料,这里不赘述。有一点需要注意,虽然近期helm 3已经发布,但短期内不是所有的helm chart都兼容helm 3,比如社区的这个issue。本文依然使用helm 2来安装。
by @可耐芊小仙女 2019-12-30 15:50 分享 查看详情
在 Flink 算子中使用多线程如何保证不丢数据? (yq.aliyun.com)
笔者线上有一个 Flink 任务消费 Kafka 数据,将数据转换后,在 Flink 的 Sink 算子内部调用第三方 api 将数据上报到第三方的数据分析平台。这里使用批量同步 api,即:每 50 条数据请求一次第三方接口,可以通过批量 api 来提高请求效率。由于调用的外网接口,所以每次调用 api 比较耗时。假如批次大小为 50,且请求接口的平均响应时间为 50ms,使用同步 api,因此第一次请求响应以后才会发起第二次请求。
by @可耐芊小仙女 2019-12-30 15:48 分享 查看详情
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践 (yq.aliyun.com)
当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿,接入上百种合规数据源。
by @可耐芊小仙女 2019-12-30 15:47 分享 查看详情
明厨亮灶上云 | 看阿里云智能视觉平台如何保护舌尖上的安全? (yq.aliyun.com)
中国有句古话:“民以食为天”,人们对饮食的看重始终贯穿于中国文明发展的历史长河。但近年来,食品安全事件频发,餐饮业“后厨重地”合规性问题逐渐走上公众舆论的焦点,成为政府重点监管的所在。那么,面对“食品安全大过天”这一社会诉求,云计算、大数据、人工智能技术又能发挥怎样的作用呢?
by @可耐芊小仙女 2019-12-26 16:47 分享 查看详情