如何构建批流一体数据融合平台的一致性语义保证? (yq.aliyun.com)

【简介】

本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。

点击查看全文 >>

@可耐芊小仙女 2019-10-10 16:38分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
数据一致性检测的应用场景与最佳实践 (yq.aliyun.com)
随着业务规模的扩张,企业系统变得越来越复杂,在这种复杂的分布式系统架构下,难免会出现远程调用失败,消息发送失败,并发 bug 等等问题,这些问题最终会导致系统间的数据不一致,导致用户体验受损,用户利益受损,对平台来说就是产生资损。因此如何持续保障系统的业务稳定性对于企业来说是一个很重要的课题,本文旨在介绍一些常见业务应用场景下的业务数据一致性保障最佳实践。
by @可耐芊小仙女 2019-11-19 15:56 分享 查看详情
2019 GNTC 阿里云参会分享:开放、弹性的阿里云网络NFV平台 (yq.aliyun.com)
作为全球规模最大的网络技术盛会之一,GNTC全球网络技术大会是网络技术发展的重要风向标,包含战略规划、产业方向、技术趋势、应用创新等皆汇集于此。而作为云服务商代表,阿里云再度受邀以顶级钻石合作伙伴之名全面参与此次盛会。本次10/22-24 南京2019 GNTC大会上,阿里云网络资深技术专家 宗志刚先生发表了阿里云网络NFV平台的技术演进及能力,以下就为大家做深度解读。
by @可耐芊小仙女 2019-11-18 15:33 分享 查看详情
Kafka数据如何同步至MaxCompute实践讲解 (yq.aliyun.com)
本次分享主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。
by @可耐芊小仙女 2019-11-18 15:31 分享 查看详情
MySQL/RDS数据如何同步到MaxCompute之实践讲解 (yq.aliyun.com)
大数据计算服务(MaxCompute,原名ODPS)是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute,帮助用户大体了解MaxCompute产品以及其数据同步过程。
by @可耐芊小仙女 2019-11-18 15:29 分享 查看详情
Apache Flink 为什么能够成为新一代大数据计算引擎? (yq.aliyun.com)
众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会。如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速度与灵活性。大数据时代对人类的数据驾驭能力提出了新的挑战,Flink 的诞生为企业用户获得更为快速、准确的计算能力提供了前所未有的空间与潜力。作为公认的新一代大数据计算引擎,Flink 究竟以何魅力成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设流计算平台的首选?
by @可耐芊小仙女 2019-11-15 15:21 分享 查看详情
趣头条基于 Flink 的实时平台建设实践 (yq.aliyun.com)
首先是平台的架构,2018 年 3 月之前基本都是基于 Storm 和 Spark Streaming 来做的。目前,基本已经把 Spark Streaming 和 Storm 淘汰了,主要都是 Flink SQL 来做的。起初还比较传统,一般是接需求然后开发类似于 Flink SQL 的任务,基本是手工作坊操作模式。
by @可耐芊小仙女 2019-11-15 15:19 分享 查看详情
开放融合 | “引擎级”深度对接!POLARDB与SuperMap联合构建首个云原生时空平台 (yq.aliyun.com)
阿里巴巴新一代自研云数据库POLARDB与超图软件SuperMap GIS实现 “引擎级”深度对接,构建了自治、弹性、高可用的云原生时空数据管理平台联合解决方案,推出了业界首个“云原生数据库+云原生GIS”的全国产化平台。
by @可耐芊小仙女 2019-11-13 15:29 分享 查看详情
今日头条在消息服务平台和容灾体系建设方面的实践与思考 (yq.aliyun.com)
本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲,主要和大家分享一下,RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师,主要负责 RocketMQ 在头条的落地以及架构设计,参与消息系统的时间大概一年左右。
by @可耐芊小仙女 2019-11-12 15:25 分享 查看详情
确保数据零丢失!阿里云数据库RDS for MySQL 三节点企业版正式商用 (yq.aliyun.com)
2019年10月23号,阿里云数据库RDS for MySQL 三节点企业版正式商用,RDS for MySQL三节点企业版基于Paxos协议实现数据库复制,每个事务日志确保至少同步两个节点,实现任意节点宕机后数据零丢失,数据库整体RPO为0。RDS for MySQL三节点企业版适用于数据敏感性业务,如金融行业,电商行业订单业务等。
by @可耐芊小仙女 2019-11-11 16:00 分享 查看详情
Windows 平台做 Python 开发的最佳组合 (mp.weixin.qq.com)
在 Windows 上怎样做 Python 开发?是像大神那样使用纯文本编辑器,还是用更加完善的 IDE?到底是用自带的命令行工具,还是需要装新的 Terminal?本文将带你了解如何利用微软官方维护的 MS Terminal 与 VS Code,来为 Python 开发保驾护航。
by @code小生 2019-11-11 09:53 分享 查看详情