14 张思维导图构建 Python 核心知识体系 (mp.weixin.qq.com)

【简介】

本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库)。
按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程;

点击查看全文 >>

@code小生 2019-09-22 16:57分享 / 0个评论
赞过的人: IT技术博客大学习 code小生
要不要再学学下面的文章?
Python 从业十年是种什么体验?老程序员的一篇万字经验分享 (mp.weixin.qq.com)
我“接触” Python 已有十年了,当初我们要做一个网站,有个学弟只花两天,就用 Django 开发好了后台。那是我第一次感受到了 Python 的强大魅力。不过,我正式学习和使用它,才仅有两年时间……
by @code小生 2019-11-17 23:28 分享 查看详情
开放融合 | “引擎级”深度对接!POLARDB与SuperMap联合构建首个云原生时空平台 (yq.aliyun.com)
阿里巴巴新一代自研云数据库POLARDB与超图软件SuperMap GIS实现 “引擎级”深度对接,构建了自治、弹性、高可用的云原生时空数据管理平台联合解决方案,推出了业界首个“云原生数据库+云原生GIS”的全国产化平台。
by @可耐芊小仙女 2019-11-13 15:29 分享 查看详情
今日头条在消息服务平台和容灾体系建设方面的实践与思考 (yq.aliyun.com)
本篇文章整理自今日头条的沈辉在 RocketMQ 开发者沙龙中的演讲,主要和大家分享一下,RocketMQ 在微服务架构下的实践和容灾体系建设。沈辉是今日头条的架构师,主要负责 RocketMQ 在头条的落地以及架构设计,参与消息系统的时间大概一年左右。
by @可耐芊小仙女 2019-11-12 15:25 分享 查看详情
揭秘阿里云WAF背后神秘的AI智能防御体系 (yq.aliyun.com)
应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在,也正是这些针对Web应用的安全威胁促使了WAF这个产品的不断发展和进化。同时,各种机器学习算法和模型也被不断提出和应用在WAF等安全产品中,以期望解决这些风险。
by @可耐芊小仙女 2019-11-11 16:04 分享 查看详情
Windows 平台做 Python 开发的最佳组合 (mp.weixin.qq.com)
在 Windows 上怎样做 Python 开发?是像大神那样使用纯文本编辑器,还是用更加完善的 IDE?到底是用自带的命令行工具,还是需要装新的 Terminal?本文将带你了解如何利用微软官方维护的 MS Terminal 与 VS Code,来为 Python 开发保驾护航。
by @code小生 2019-11-11 09:53 分享 查看详情
14 张思维导图构建 Python 核心知识体系 (mp.weixin.qq.com)
本文主要涵盖了 Python 编程的核心知识(暂不包括标准库及第三方库)。
按顺序依次展示了以下内容的一系列思维导图:基础知识,数据类型(数字,字符串,列表,元组,字典,集合),条件&循环,文件对象,错误&异常,函数,模块,面向对象编程;
结合这些思维导图主要参考的资料,分享一下我的学习体验,一方面可供初学者参考,另一方面,也便于大家结合思维导图深入学习、理解、思考;
by @code小生 2019-11-11 09:49 分享 查看详情
49式!Python初级到高级招式都全了 (mp.weixin.qq.com)
1. Welcome to Python.org

https://www.python.org/
官方Python站点提供了一个开始使用Python生态系统和学习Python的好方法,包括官方文档。
by @code小生 2019-11-03 18:30 分享 查看详情
数据中台构建产品Dataphin到底能支持哪些数据源? (yq.aliyun.com)
业务数据存储是业务系统最基本的构成,构建数据中台,就是要将这些数据集中起来放到一个有更强算力的地方集中处理,所以对于数据集成的能力是构建数据中台最基本要求;

从存储的发展历程来看,由于不同的业务场景需求,带来了数据存储的不同发展路径,在企业发展中随着业务规模的变化,也会选择不同的存储来支撑,所以每个企业一定会存在异构存储,如何将多源异构存储中的数据集成起来是企业做数据中台需要面临的一个巨大问题;

当然,目前行业内有很多人采用一些开源技术组件来实现,比如GitHub上的DataX、HData等,但是由于技术组件的易用性较弱,对于分析师和模型师而言,学习效率和使用便捷度还有待提高;因此集中式、界面化的工具尤为重要;
by @技术小编443 2019-10-30 16:23 分享 查看详情
息息相关的两大体系:数据中台与业务系统 (yq.aliyun.com)
作者:品鉴 [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
数据中台对外输出的表现形式多种多样,最普遍的做法是BI分析,其次是与业务中台形成一套有机的整体,对业务产生真正的价值。
数据中台的BI呈现

数据中台是以OneModel统一数据构建及管理方法论,OneID核心商业要素资产化为核心,实现全域链接、标签萃取、立体画像,数据应用服务整体解决方案。其数据服务理念根植于心,强调业务模式。

商业智慧BI是数据分析结果的最重要的一个表现形式,其与数据中台有非常紧密的关系,使用数据中台的数据处理能力和技术对数据进行分析,大部分情况都需要通过数据可视化的方式实现,但数据可视化有漫长的开发链路、从采集、存储、加工到呈现各种形态需要很多前后端的开发人员介入,而商业化BI可以大大缩短这个交付和开发周期,实现商业价值,数据中台可以视为一系列的商业业务行为的数据收集与信息加工,通过技术与算法模型实现最终的能够对综合营运、策略的定量化分析数据,通过BI可以量化的实现对关键性的指标进行评估。是协助企业制定出最佳的策略与目标的决策性支持工具。
image

图:BI大屏范例
因此数据中台与BI商业智能是相互相成,在现有体系下,BI市场呈现百花齐放的生态,国内有阿里云的QuickBI,帆软BI工具和永洪BI工具,国外已Tableau(最近被Salesforce收购),QlikView, PowerBI等工具。几乎在所有的数据中台中均需要引入BI工具:
l 促进企业的决策流程:通过BI工具可以把数据快速的实现可视化,实现企业信息的集成和信息分析,把企业经营的和外部数据集成到一个蓝图中使得决策者能答复晶晶决策效率与改善决策质量。
l 降低整体运营成本:BI工具能改善企业的信息获取能力,大幅度的降低IT人员在数据整理,撰写程序和制作报表的时间和人力投入,将数据交由业务人员来是实现。
l 体统组织目标与行动:通过BI的数据分析和数据中台的技术支持,使得BI可以为从一线人员到业务决策人员共同使用,可以消除一线营销人员,业务人员决策人员信息需求与IT人员的认知差距,让一线业务人员能获得更直接的信息,全面改善企业运营,使得组织内的每个人目标一致。
image

图1:人群圈选应用范例

商业智慧BI报表输出是数据中台最重要的表现形式,但不是唯一的表现形式,数据中台还有很多其他数据应用服务提供数据结果,通过人群圈选、企业参谋、企业数据App应用等可以方便实现企业对数据需求。

数据中台与业务中台的协同

业务中台和数据中台都是阿里巴巴首先推出中台理念的代表性产品,业务中台打破了传统的烟囱式的业务系统开发框架,”采用阿里巴巴的数据中台+业务中台双中台设计,采用企业级的业务协同,阿里内部25个事业部300+业务单元,把烟囱架构到统一微服务平台,从1000+系统到数十个商业能力敏捷创新,实际检验阿里在4周搭建盒马业务框架,实现了秒级数据智能,数据从采集、建构、展现只要2.5秒”, 行颠在2019年阿里云上海峰会的诠释非常精准的说明了数据中台与业务中台的关系。

业务中台是阿里巴巴中间件团队的经过集团内多年久经沙场的使用经验沉淀下来由多款分布式基础组件产品作为核心构建的企业云计算解决方案,包括EDAS(企业级分布式应用服务 Enterprise Distributed Application Service), 分布式数据库DRDS,消息组件MQ,应用监控系统(ARMS),云服务总线(Cloud service Bus),分布式事物中间件。其充分利用阿里云 IaaS 资源,引入整套成熟的分布式计算框架(包括分布式服务化框架、统一的会话框架,链路 追踪和稳定性组件等),以应用为中心,帮助企业级客户轻松构建大型分布式应 用服务。体现到包括服务治理、基础监控、应用监控和应用诊断在内的一系列配套管理服务,极大的提升企业客户对大型分布式应用的管理能力利用弹性伸缩轻松应对各种流量高峰。
image

图2:业务中台产品矩阵

业务中台的主战场是业务系统,满足业务系统开发需求,其核心是分布式系统和多中心分布式业务计算架构,满足的业务系统所要求的快速查询,业务交易。数据中台所面临的是海量数据计算问题,通过大数据计算实现对数据进行建模和分析,挖掘出有价值的信息,对业务中台有数据回刷和业务反辅,因此二者是相辅相成,是一个互补关系。
在众多业务交集中,千人千面的推荐应该是双中台联合的最佳典范,数据中台通过采集系统收集用户的行为,交易,个人基本属性等数据通过离线分析对用户进行标签处理,个人推荐算法模型根据历史数据计算出用户所感兴趣的点,根据用户间的细小差异结合商品或内容给出推荐信息,在用户再次登录时候,业务中台根据数据中台的推荐信息结合用户实时行为数据给出千人千面的实时推荐,这一业务模式有力的推动了新零售的业务的发展。
image

图3:业务中台与数据中台

商业智能报表是双中台合作另一个普遍结合点,数据中台擅长离线大数据计算,通过数据模型可以产生商业智能分析,对业务人员有商业决策的帮助,而业务系统往往有数据分析和报表呈现的要求,而这块会占用大量业务中台的计算能力从而影响正常的业务计算,因此二者结合既可以节省有限的计算资源又可以满足用户的商业智慧的要求。

数据中台与传统业务相比较,更偏向数仓业务,是完全替代数仓系统的业务系统,但与传统数仓不同,数据中台可以很好的与传统的业务系统可以形成互辅互成的关系。

数据中台通过在业务系统中数据中台可以通过数据回刷,应用嵌入,API数据服务方式实现对业务系统的补充。
数据回刷类型:很多业务系统都会用到统计数据,需要根据统计数据做业务触发,比如会员的升降级业务会触发权益的影响,这些统计任务由数据中台定时计算无论从效率上还是逻辑处理上都要更优一些,通过计算后回刷业务系统数据库触发业务系统。

应用内嵌型:商业智慧BI报表输出是数据中台一大产出物,通过OLAP计算效率更高、速度更快,而且对传统的业务系统的影响较小,传统的报表统计对业务系统的性能影响较大,如果报表统计需要追溯以月、年为计时间跨度计算会导致系统长时间高负荷运行影响业务订单的时效性,因此通过数据中台的OLAP离线计算方式以应用嵌入方式实现,比如阿里云很多业务采用数据中台BI实现统计报表功能,业务系统通过网页嵌入方式实现图表功能。

数据服务:在互联网企业有很多离散的数据查询业务,有些数据服务需要数据中台完成,数据中台通过多个数据服务提供这些服务,有些以API方式提供,有些以主题服务方式,有些以SDK内嵌方式,比如oneID用户查询,个人标签查询、业务统计数据查询等。在阿里云数据构建与管理Dataphin平台中以oneservice模块方式实现数据服务。

实时数字大屏:很多业务系统通过数字大屏实时反应业务现有状况和历史变化,通过实时流计算与业务系统相关联和OLAP的历史数据的统计实现业务中台与数据中台的完美结合,最典型的例子是阿里双十一的大屏。

数据搜索和推荐:搜索业务是一个特别的服务,搜索服务会实时接入业务系统的数据,同时搜索会提供一些高度相似的内容推荐服务,数据中台在其中扮演这重要的角色, 通过离线计算和多业务驱动数据形成独特的商品和个人特质化的推荐,给用户以良好的体验,最典型的例子是电商行业的千人千面商品推荐和影视产品的推荐。

在企业的IT服务中,数据中台弥补了业务系统的短板,形成了一套与业务合作机制,创新性的驱动业务流程和业务形态的变化:
业务监测:新一代大数据设计之初一个重要方向是通过数据中台的全局性的统计和监测,叠加算法预测实时发现业务系统的问题,现有业界IDC自主管理和运营通过大数据技术采集硬件系统,业务系统,数据库等日志实现对业务系统的监测和预测。另一方面,很多企业通过决策分析系统全面掌握业务的发展动向,适时对业务做调整,决策分析系统主要是由数据中台来完成的。

业务洞察:现代企业对企业的精细化运营提出更高的要求,对数据化运营的能力和效率提升的需求也日益迫切。因此需要对行业分析方法做沉淀和升级,实现以多视角,智能化业务判断,标准化运营和决策的要求,因此需要数据中台的统计和分析功能形成产品对业务系统形成业务洞察。

业务优化:通过对业务流程的优化可以实现效益的倍增效益,比如智能补货一直是供应链优化的一大热点,也是著名的历史难题。在经济大环境形势不太好(创收难)商家供应链专业程度低(供应链成本高)经营渠道多链路复杂(协同难度大)的大背景下,新型的数据中台汇集各路商家和供应链数据,使得数据赋能,流程优化成为可能。

业务数据变现:在当前数据安全规则下,通过智能推荐,流量经营可以增大业务盘子,实现对业务多样化的构想,实现业务的推动,而智能推荐和相关的标签均由数据中台产生。

时至今日,数据中台与业务中台的关联越来越紧密,逐步会变成一个整体,给企业以业务永动机的作用。

结尾: [ 更多内容详见数据中台官网 https://dp.alibaba.com ]
阿里巴巴数据中台团队,致力于输出阿里云数据智能的最佳实践,助力每个企业建设自己的数据中台,进而共同实现新时代下的智能商业!
阿里巴巴数据中台解决方案,核心产品:
· Dataphin,以阿里巴巴大数据核心方法论OneData为内核驱动,提供一站式数据构建与管理能力;
· Quick BI,集阿里巴巴数据分析经验沉淀,提供一站式数据分析与展现能力;
· Quick Audience,集阿里巴巴消费者洞察及营销经验,提供一站式人群圈选、洞察及营销投放能力,连接阿里巴巴商业,实现用户增长。
欢迎志同道合者一起成长!
by @技术小编443 2019-10-30 15:32 分享 查看详情
这 17 个 Python 骚操作,你都Ok ? (mp.weixin.qq.com)
很多读者都知道 Python 是一种高级编程语言,其设计的核心理念是代码的易读性,以及允许编程者通过若干行代码轻松表达想法创意。
by @code小生 2019-10-28 00:50 分享 查看详情