从求生存到修体系,我在阿里找到了技术人的成长模式 (yq.aliyun.com)

【简介】

成长即意味着改变,而改变本身是一件很痛苦的事情。改变会有连锁反应,一次改变之后,你的心态和认知可能会和以前大有不同。平凡的人总是相似,不凡的人各有各的不凡,技术人的成长道路依然很长!本文由阿里巴巴前端技术专家悟寻将他在阿里的成长思考进行分享,希望能够给正在业务中深耕细作的你带来一些思考和方向。

点击查看全文 >>

@可耐芊小仙女 2019-08-30 16:09分享 / 0个评论
赞过的人: 技术头条
要不要再学学下面的文章?
今日头条在消息服务平台和容灾体系建设方面的实践与思考 (yq.aliyun.com)
本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲,主要和大家分享一下,RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师,主要负责 RocketMQ 在头条的落地以及架构设计,参与消息系统的时间大概一年左右。
by @可耐芊小仙女 2019-11-12 15:25 分享 查看详情
揭秘阿里云WAF背后神秘的AI智能防御体系 (yq.aliyun.com)
应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在,也正是这些针对Web应用的安全威胁促使了WAF这个产品的不断发展和进化。同时,各种机器学习算法和模型也被不断提出和应用在WAF等安全产品中,以期望解决这些风险。
by @可耐芊小仙女 2019-11-11 16:04 分享 查看详情
14 张思维导图构建 Python 核心知识体系 (mp.weixin.qq.com)
本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库)。
按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程;
结合这些思维导图主要参考的资料,分享一下我的学习体验,一方面可供初学者参考,另一方面,也便于大家结合思维导图深入学习、理解、思考;
by @code小生 2019-11-11 09:49 分享 查看详情
物联网安全技术提高区块链应用数据的可信度 (yq.aliyun.com)
密钥全生命周期管理和安全计算,支持企业级区块链(HyperLedger Fabric和Enterprise Ethereum)账号和密钥在IoT设备本地安全模块(Link TEE等)中的全生命周期管理以及安全计算(国密和其他区块链相关默认算法)。
by @可耐芊小仙女 2019-11-08 15:58 分享 查看详情
AI加持的阿里云飞天大数据平台技术揭秘 (yq.aliyun.com)
2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛、资深专家徐晟来为我们分享《AI加持的阿里云飞天大数据平台技术揭秘》。本文主要讲了三大部分,一是原创技术优化+系统融合,打破了数据增长和成本增长的线性关系,二是从云原生大数据平台到全域云数仓,阿里开始从原生系统走入到全域系统模式,三是大数据与AI双生系统,讲如何更好的支撑AI系统以及通过AI系统来优化大数据系统。
by @可耐芊小仙女 2019-11-06 15:49 分享 查看详情
阿里巴巴大数据技术关键进展及展望 (yq.aliyun.com)
2019杭州云栖大会大数据技术专场,由阿里云通用计算平台负责人关涛带来以 “阿里巴巴大数据技术关键进展及展望” 为主题的演讲。本文首先讲解了从阿里巴巴的角度看待大数据领域的客户价值迁移,概览了核心技术的发展点,最后针对如何构建智能化大数据平台的相关工作进行了介绍,从引擎优化到 “自动驾驶”,并列举了几个典型案例。
by @可耐芊小仙女 2019-11-06 15:48 分享 查看详情
云栖大会SaaS加速器专场 | 阿里云资深技术专家黄省江:让天下没有难做的SaaS (yq.aliyun.com)
本文中,阿里云资深技术专家郑刚将聚焦SaaS上云工具包如何帮助企业上云,包括产品上云、商品上市、服务上心,讲述了SaaS上云工具包为客户和伙伴提供的价值。在SaaS上云工具包整体解决方案的帮助下,SaaS能够实现一周内产品上云,一周内商品上云。
by @技术小编443 2019-11-04 17:05 分享 查看详情
息息相关的两大体系:数据中台与业务系统 (yq.aliyun.com)
作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。
数据中台的BI呈现

数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。其数据服务理念根植于心,强调业务模式。

商业智慧BI是数据分析结果的最重要的一个表现形式,其与数据中台有非常紧密的关系,使用数据中台的数据处理能力和技术对数据进行分析,大部分情况都需要通过数据可视化的方式实现,但数据可视化有漫长的开发链路、从采集、存储、加工到呈现各种形态需要很多前后端的开发人员介入,而商业化BI可以大大缩短这个交付和开发周期,实现商业价值,数据中台可以视为一系列的商业业务行为的数据收集与信息加工,通过技术与算法模型实现最终的能够对综合营运、策略的定量化分析数据,通过BI可以量化的实现对关键性的指标进行评估。是协助企业制定出最佳的策略与目标的决策性支持工具。
image

图:BI大屏范例
因此数据中台与BI商业智能是相互相成,在现有体系下,BI市场呈现百花齐放的生态,国内有阿里云的QuickBI,帆软BI工具和永洪BI工具,国外已Tableau(最近被Salesforce收购),QlikView, PowerBI等工具。几乎在所有的数据中台中均需要引入BI工具:
l 促进企业的决策流程:通过BI工具可以把数据快速的实现可视化,实现企业信息的集成和信息分析,把企业经营的和外部数据集成到一个蓝图中使得决策者能答复晶晶决策效率与改善决策质量。
l 降低整体运营成本:BI工具能改善企业的信息获取能力,大幅度的降低IT人员在数据整理,撰写程序和制作报表的时间和人力投入,将数据交由业务人员来是实现。
l 体统组织目标与行动:通过BI的数据分析和数据中台的技术支持,使得BI可以为从一线人员到业务决策人员共同使用,可以消除一线营销人员,业务人员决策人员信息需求与IT人员的认知差距,让一线业务人员能获得更直接的信息,全面改善企业运营,使得组织内的每个人目标一致。
image

图1:人群圈选应用范例

商业智慧BI报表输出是数据中台最重要的表现形式,但不是唯一的表现形式,数据中台还有很多其他数据应用服务提供数据结果,通过人群圈选、企业参谋、企业数据App应用等可以方便实现企业对数据需求。

数据中台与业务中台的协同

业务中台和数据中台都是阿里巴巴首先推出中台理念的代表性产品,业务中台打破了传统的烟囱式的业务系统开发框架,”采用阿里巴巴的数据中台+业务中台双中台设计,采用企业级的业务协同,阿里内部25个事业部300+业务单元,把烟囱架构到统一微服务平台,从1000+系统到数十个商业能力敏捷创新,实际检验阿里在4周搭建盒马业务框架,实现了秒级数据智能,数据从采集、建构、展现只要2.5秒”, 行颠在2019年阿里云上海峰会的诠释非常精准的说明了数据中台与业务中台的关系。

业务中台是阿里巴巴中间件团队的经过集团内多年久经沙场的使用经验沉淀下来由多款分布式基础组件产品作为核心构建的企业云计算解决方案,包括EDAS(企业级分布式应用服务 Enterprise Distributed Application Service), 分布式数据库DRDS,消息组件MQ,应用监控系统(ARMS),云服务总线(Cloud service Bus),分布式事物中间件。其充分利用阿里云 IaaS 资源,引入整套成熟的分布式计算框架(包括分布式服务化框架、统一的会话框架,链路 追踪和稳定性组件等),以应用为中心,帮助企业级客户轻松构建大型分布式应 用服务。体现到包括服务治理、基础监控、应用监控和应用诊断在内的一系列配套管理服务,极大的提升企业客户对大型分布式应用的管理能力利用弹性伸缩轻松应对各种流量高峰。
image

图2:业务中台产品矩阵

业务中台的主战场是业务系统,满足业务系统开发需求,其核心是分布式系统和多中心分布式业务计算架构,满足的业务系统所要求的快速查询,业务交易。数据中台所面临的是海量数据计算问题,通过大数据计算实现对数据进行建模和分析,挖掘出有价值的信息,对业务中台有数据回刷和业务反辅,因此二者是相辅相成,是一个互补关系。
在众多业务交集中,千人千面的推荐应该是双中台联合的最佳典范,数据中台通过采集系统收集用户的行为,交易,个人基本属性等数据通过离线分析对用户进行标签处理,个人推荐算法模型根据历史数据计算出用户所感兴趣的点,根据用户间的细小差异结合商品或内容给出推荐信息,在用户再次登录时候,业务中台根据数据中台的推荐信息结合用户实时行为数据给出千人千面的实时推荐,这一业务模式有力的推动了新零售的业务的发展。
image

图3:业务中台与数据中台

商业智能报表是双中台合作另一个普遍结合点,数据中台擅长离线大数据计算,通过数据模型可以产生商业智能分析,对业务人员有商业决策的帮助,而业务系统往往有数据分析和报表呈现的要求,而这块会占用大量业务中台的计算能力从而影响正常的业务计算,因此二者结合既可以节省有限的计算资源又可以满足用户的商业智慧的要求。

数据中台与传统业务相比较,更偏向数仓业务,是完全替代数仓系统的业务系统,但与传统数仓不同,数据中台可以很好的与传统的业务系统可以形成互辅互成的关系。

数据中台通过在业务系统中数据中台可以通过数据回刷,应用嵌入,API数据服务方式实现对业务系统的补充。
数据回刷类型:很多业务系统都会用到统计数据,需要根据统计数据做业务触发,比如会员的升降级业务会触发权益的影响,这些统计任务由数据中台定时计算无论从效率上还是逻辑处理上都要更优一些,通过计算后回刷业务系统数据库触发业务系统。

应用内嵌型:商业智慧BI报表输出是数据中台一大产出物,通过OLAP计算效率更高、速度更快,而且对传统的业务系统的影响较小,传统的报表统计对业务系统的性能影响较大,如果报表统计需要追溯以月、年为计时间跨度计算会导致系统长时间高负荷运行影响业务订单的时效性,因此通过数据中台的OLAP离线计算方式以应用嵌入方式实现,比如阿里云很多业务采用数据中台BI实现统计报表功能,业务系统通过网页嵌入方式实现图表功能。

数据服务:在互联网企业有很多离散的数据查询业务,有些数据服务需要数据中台完成,数据中台通过多个数据服务提供这些服务,有些以API方式提供,有些以主题服务方式,有些以SDK内嵌方式,比如oneID用户查询,个人标签查询、业务统计数据查询等。在阿里云数据构建与管理Dataphin平台中以oneservice模块方式实现数据服务。

实时数字大屏:很多业务系统通过数字大屏实时反应业务现有状况和历史变化,通过实时流计算与业务系统相关联和OLAP的历史数据的统计实现业务中台与数据中台的完美结合,最典型的例子是阿里双十一的大屏。

数据搜索和推荐:搜索业务是一个特别的服务,搜索服务会实时接入业务系统的数据,同时搜索会提供一些高度相似的内容推荐服务,数据中台在其中扮演这重要的角色, 通过离线计算和多业务驱动数据形成独特的商品和个人特质化的推荐,给用户以良好的体验,最典型的例子是电商行业的千人千面商品推荐和影视产品的推荐。

在企业的IT服务中,数据中台弥补了业务系统的短板,形成了一套与业务合作机制,创新性的驱动业务流程和业务形态的变化:
业务监测:新一代大数据设计之初一个重要方向是通过数据中台的全局性的统计和监测,叠加算法预测实时发现业务系统的问题,现有业界IDC自主管理和运营通过大数据技术采集硬件系统,业务系统,数据库等日志实现对业务系统的监测和预测。另一方面,很多企业通过决策分析系统全面掌握业务的发展动向,适时对业务做调整,决策分析系统主要是由数据中台来完成的。

业务洞察:现代企业对企业的精细化运营提出更高的要求,对数据化运营的能力和效率提升的需求也日益迫切。因此需要对行业分析方法做沉淀和升级,实现以多视角,智能化业务判断,标准化运营和决策的要求,因此需要数据中台的统计和分析功能形成产品对业务系统形成业务洞察。

业务优化:通过对业务流程的优化可以实现效益的倍增效益,比如智能补货一直是供应链优化的一大热点,也是著名的历史难题。在经济大环境形势不太好(创收难)商家供应链专业程度低(供应链成本高)经营渠道多链路复杂(协同难度大)的大背景下,新型的数据中台汇集各路商家和供应链数据,使得数据赋能,流程优化成为可能。

业务数据变现:在当前数据安全规则下,通过智能推荐,流量经营可以增大业务盘子,实现对业务多样化的构想,实现业务的推动,而智能推荐和相关的标签均由数据中台产生。

时至今日,数据中台与业务中台的关联越来越紧密,逐步会变成一个整体,给企业以业务永动机的作用。

结尾: [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
· Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!
by @技术小编443 2019-10-30 15:32 分享 查看详情
阿里云资深技术专家黄省江:让天下没有难做的SaaS (yq.aliyun.com)
本文中,阿里云资深技术专家黄省江(花名禅笑)将聚焦“SaaS加速器——让天下没有难做的SaaS”,对伙伴来说,SaaS加速器帮助他们做好SaaS,卖好SaaS;对企业来说,SaaS加速器帮助他们选好SaaS,用好SaaS。同时,也全面展示了SaaS加速器的产品堆栈和最新成果。
by @可耐芊小仙女 2019-10-28 16:52 分享 查看详情
跨平台技术演进及 Flutter 未来 (mp.weixin.qq.com)
移动互联网发展十余年,伴随着 Android、iOS 等智能手机的不断普及,移动端已逐步取代 PC 端,成为兵家必争之地。正所谓“得移动端者得天下”,移动端已成为互联网领域最大的流量分发入口,一大批互联网公司正是在这大趋势下崛起。
by @code小生 2019-10-28 00:46 分享 查看详情