息息相关的两大体系:数据中台与业务系统 (yq.aliyun.com)

【简介】

作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。
数据中台的BI呈现

数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。其数据服务理念根植于心,强调业务模式。

商业智慧BI是数据分析结果的最重要的一个表现形式,其与数据中台有非常紧密的关系,使用数据中台的数据处理能力和技术对数据进行分析,大部分情况都需要通过数据可视化的方式实现,但数据可视化有漫长的开发链路、从采集、存储、加工到呈现各种形态需要很多前后端的开发人员介入,而商业化BI可以大大缩短这个交付和开发周期,实现商业价值,数据中台可以视为一系列的商业业务行为的数据收集与信息加工,通过技术与算法模型实现最终的能够对综合营运、策略的定量化分析数据,通过BI可以量化的实现对关键性的指标进行评估。是协助企业制定出最佳的策略与目标的决策性支持工具。
image

图:BI大屏范例
因此数据中台与BI商业智能是相互相成,在现有体系下,BI市场呈现百花齐放的生态,国内有阿里云的QuickBI,帆软BI工具和永洪BI工具,国外已Tableau(最近被Salesforce收购),QlikView, PowerBI等工具。几乎在所有的数据中台中均需要引入BI工具:
l 促进企业的决策流程:通过BI工具可以把数据快速的实现可视化,实现企业信息的集成和信息分析,把企业经营的和外部数据集成到一个蓝图中使得决策者能答复晶晶决策效率与改善决策质量。
l 降低整体运营成本:BI工具能改善企业的信息获取能力,大幅度的降低IT人员在数据整理,撰写程序和制作报表的时间和人力投入,将数据交由业务人员来是实现。
l 体统组织目标与行动:通过BI的数据分析和数据中台的技术支持,使得BI可以为从一线人员到业务决策人员共同使用,可以消除一线营销人员,业务人员决策人员信息需求与IT人员的认知差距,让一线业务人员能获得更直接的信息,全面改善企业运营,使得组织内的每个人目标一致。
image

图1:人群圈选应用范例

商业智慧BI报表输出是数据中台最重要的表现形式,但不是唯一的表现形式,数据中台还有很多其他数据应用服务提供数据结果,通过人群圈选、企业参谋、企业数据App应用等可以方便实现企业对数据需求。

数据中台与业务中台的协同

业务中台和数据中台都是阿里巴巴首先推出中台理念的代表性产品,业务中台打破了传统的烟囱式的业务系统开发框架,”采用阿里巴巴的数据中台+业务中台双中台设计,采用企业级的业务协同,阿里内部25个事业部300+业务单元,把烟囱架构到统一微服务平台,从1000+系统到数十个商业能力敏捷创新,实际检验阿里在4周搭建盒马业务框架,实现了秒级数据智能,数据从采集、建构、展现只要2.5秒”, 行颠在2019年阿里云上海峰会的诠释非常精准的说明了数据中台与业务中台的关系。

业务中台是阿里巴巴中间件团队的经过集团内多年久经沙场的使用经验沉淀下来由多款分布式基础组件产品作为核心构建的企业云计算解决方案,包括EDAS(企业级分布式应用服务 Enterprise Distributed Application Service), 分布式数据库DRDS,消息组件MQ,应用监控系统(ARMS),云服务总线(Cloud service Bus),分布式事物中间件。其充分利用阿里云 IaaS 资源,引入整套成熟的分布式计算框架(包括分布式服务化框架、统一的会话框架,链路 追踪和稳定性组件等),以应用为中心,帮助企业级客户轻松构建大型分布式应 用服务。体现到包括服务治理、基础监控、应用监控和应用诊断在内的一系列配套管理服务,极大的提升企业客户对大型分布式应用的管理能力利用弹性伸缩轻松应对各种流量高峰。
image

图2:业务中台产品矩阵

业务中台的主战场是业务系统,满足业务系统开发需求,其核心是分布式系统和多中心分布式业务计算架构,满足的业务系统所要求的快速查询,业务交易。数据中台所面临的是海量数据计算问题,通过大数据计算实现对数据进行建模和分析,挖掘出有价值的信息,对业务中台有数据回刷和业务反辅,因此二者是相辅相成,是一个互补关系。
在众多业务交集中,千人千面的推荐应该是双中台联合的最佳典范,数据中台通过采集系统收集用户的行为,交易,个人基本属性等数据通过离线分析对用户进行标签处理,个人推荐算法模型根据历史数据计算出用户所感兴趣的点,根据用户间的细小差异结合商品或内容给出推荐信息,在用户再次登录时候,业务中台根据数据中台的推荐信息结合用户实时行为数据给出千人千面的实时推荐,这一业务模式有力的推动了新零售的业务的发展。
image

图3:业务中台与数据中台

商业智能报表是双中台合作另一个普遍结合点,数据中台擅长离线大数据计算,通过数据模型可以产生商业智能分析,对业务人员有商业决策的帮助,而业务系统往往有数据分析和报表呈现的要求,而这块会占用大量业务中台的计算能力从而影响正常的业务计算,因此二者结合既可以节省有限的计算资源又可以满足用户的商业智慧的要求。

数据中台与传统业务相比较,更偏向数仓业务,是完全替代数仓系统的业务系统,但与传统数仓不同,数据中台可以很好的与传统的业务系统可以形成互辅互成的关系。

数据中台通过在业务系统中数据中台可以通过数据回刷,应用嵌入,API数据服务方式实现对业务系统的补充。
数据回刷类型:很多业务系统都会用到统计数据,需要根据统计数据做业务触发,比如会员的升降级业务会触发权益的影响,这些统计任务由数据中台定时计算无论从效率上还是逻辑处理上都要更优一些,通过计算后回刷业务系统数据库触发业务系统。

应用内嵌型:商业智慧BI报表输出是数据中台一大产出物,通过OLAP计算效率更高、速度更快,而且对传统的业务系统的影响较小,传统的报表统计对业务系统的性能影响较大,如果报表统计需要追溯以月、年为计时间跨度计算会导致系统长时间高负荷运行影响业务订单的时效性,因此通过数据中台的OLAP离线计算方式以应用嵌入方式实现,比如阿里云很多业务采用数据中台BI实现统计报表功能,业务系统通过网页嵌入方式实现图表功能。

数据服务:在互联网企业有很多离散的数据查询业务,有些数据服务需要数据中台完成,数据中台通过多个数据服务提供这些服务,有些以API方式提供,有些以主题服务方式,有些以SDK内嵌方式,比如oneID用户查询,个人标签查询、业务统计数据查询等。在阿里云数据构建与管理Dataphin平台中以oneservice模块方式实现数据服务。

实时数字大屏:很多业务系统通过数字大屏实时反应业务现有状况和历史变化,通过实时流计算与业务系统相关联和OLAP的历史数据的统计实现业务中台与数据中台的完美结合,最典型的例子是阿里双十一的大屏。

数据搜索和推荐:搜索业务是一个特别的服务,搜索服务会实时接入业务系统的数据,同时搜索会提供一些高度相似的内容推荐服务,数据中台在其中扮演这重要的角色, 通过离线计算和多业务驱动数据形成独特的商品和个人特质化的推荐,给用户以良好的体验,最典型的例子是电商行业的千人千面商品推荐和影视产品的推荐。

在企业的IT服务中,数据中台弥补了业务系统的短板,形成了一套与业务合作机制,创新性的驱动业务流程和业务形态的变化:
业务监测:新一代大数据设计之初一个重要方向是通过数据中台的全局性的统计和监测,叠加算法预测实时发现业务系统的问题,现有业界IDC自主管理和运营通过大数据技术采集硬件系统,业务系统,数据库等日志实现对业务系统的监测和预测。另一方面,很多企业通过决策分析系统全面掌握业务的发展动向,适时对业务做调整,决策分析系统主要是由数据中台来完成的。

业务洞察:现代企业对企业的精细化运营提出更高的要求,对数据化运营的能力和效率提升的需求也日益迫切。因此需要对行业分析方法做沉淀和升级,实现以多视角,智能化业务判断,标准化运营和决策的要求,因此需要数据中台的统计和分析功能形成产品对业务系统形成业务洞察。

业务优化:通过对业务流程的优化可以实现效益的倍增效益,比如智能补货一直是供应链优化的一大热点,也是著名的历史难题。在经济大环境形势不太好(创收难)商家供应链专业程度低(供应链成本高)经营渠道多链路复杂(协同难度大)的大背景下,新型的数据中台汇集各路商家和供应链数据,使得数据赋能,流程优化成为可能。

业务数据变现:在当前数据安全规则下,通过智能推荐,流量经营可以增大业务盘子,实现对业务多样化的构想,实现业务的推动,而智能推荐和相关的标签均由数据中台产生。

时至今日,数据中台与业务中台的关联越来越紧密,逐步会变成一个整体,给企业以业务永动机的作用。

结尾: [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
· Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!

点击查看原文 >>

@技术小编443 2019-10-30 15:32 / 0个评论
要不要再学学下面的文章?
Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
新一代实验分析引擎:驱动履约平台的数据决策 (tech.meituan.com)
本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。
by @技术头条 2024-11-02 16:18 查看详情
防止数据泄露的高效策略-翻译整理 (ixyzero.com)
简单来说,就是数据安全左移,在每一个阶段都做卡点和检测,提高入侵/获取敏感数据的成本,减少后续阶段的日志告警量,提高告警检测准确率,利用自动化工具/平台提高响应的速度和效率。
未授权不可访问;有账号凭证要检测是否正常(常用设备、常用网络、常见时间、常见操作行为、……);有账号也仅知其所需最小权限;梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地,大部分操作在线即可完成,系统埋点要全面和准确;对于数据下载和外发格外关注,下载设备的DLP的健康状态和策略的有效性需要及时检查。
by @技术头条 2024-03-12 22:56 查看详情
基于接口数据变异的App健壮性测试实践 (tech.meituan.com)
本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念;第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路;第三部分主要解读了变异数据的构造和异常检测方案设计;第四部分介绍了精简变异数据的探索方案。
by @技术头条 2024-03-12 22:45 查看详情
个人数据安全不完全指南 (thiscute.world)
这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案,它需要你需要你有一定的技术背景跟时间投入,是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案,可能反而会降低你的数据安全性,由此产生的任何损失与风险皆由你自己承担。
by @技术头条 2024-03-12 22:32 查看详情
简要说明 HTTPS 是如何保证数据安全 (www.addesp.com)
本文简要介绍HTTPS协议是如何保证数据在传输过程中的安全的。
由于是以介绍为主,所以不会涉及细节,而且肯定会有一些错误。如果想要详细了解可自行查阅资料。
by @技术头条 2023-11-06 23:31 查看详情
数据安全是什么? (ixyzero.com)
说来也怪,做了很久的安全/数据安全,有些时候当其他人问你数据安全是什么,以及你做的是哪一部分,涉及到什么具体工作/产品/项目,为什么要做这些,怎么做好这些的问题时,还是会一愣,然后大概率从自己正在干的事情说起,好一点的可能还要加上以后的规划——这些事情很重要,如果讲不清楚很可能是基础不行或是没做过(又或者是近期务虚的工作多了,以前干的工作又没有及时深入总结,导致一时想不起来);但在准备晋升答辩时,(这种自下而上的介绍方式/顺序)对于高阶的评委或者管理者来说,又不重要,他们想看的是全局、整体的思考,需要的是自上而下的视角;不过平时大部分实际干活的人,习惯于用自下而上的视角去看待自己的日常工作,这么做久了之后,可能就会光顾埋头赶路,忘了抬头看天,对于有一些想法和追求的人,建议每隔一段时间给自己安排一个从具体事务中抽离出来的机会,用自上而下的视角来观察一下自己的工作甚至是岗位(对公司/团队的价值在哪?),看看能不能有一些不一样的发现。
by @技术头条 2023-10-24 23:44 查看详情
使用 SQL 的方式查询消息队列数据以及踩坑指南 (crossoverjie.top)
为了让业务团队可以更好的跟踪自己消息的生产和消费状态,需要一个类似于表格视图的消息列表,用户可以直观的看到发送的消息;同时点击详情后也能查到消息的整个轨迹。
by @技术头条 2023-09-10 23:23 查看详情
廉价的家用工作站方案:ThinkPad 存储升级及数据迁移 (soulteary.com)
最近,给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移,对硬盘也做了额外的散热处理。本篇文章里,我们分享下相关的经验和思考,希望能够帮助到有同样诉求的你。
by @技术头条 2023-09-10 23:14 查看详情
聊一聊:我眼中的数据中台 (yance.wiki)
数据中台的触发点是美好的,作为数据密集型系统,数据的统一管理带来的收益更是巨大的。然而数据中台在企业中落地,实际上是难度很大,打破业务之间的壁垒、去除各部门对业务数据的垄断,如果没有自上而下的利益驱动,困难重重。
by @技术头条 2023-08-06 19:04 查看详情