实时计算轻松上手,阿里云DataWorks Stream Studio正式发布 (yq.aliyun.com)
Stream Studio是DataWorks旗下重磅推出的全新子产品。已于2019年4月18日正式对外开放使用。Stream Studi是一站式流计算开发平台,基于阿里巴巴实时计算引擎Flink构建,集可视化拖拽DAG和SQL两种开发模式,支持DAG与SQL互相转换,通过可视化拖拽就可以轻松实现流计算作业开发,适用于实时ETL、实时报表、实时大屏、监控预警以及各类实时在线系统等应用场景。
by @可耐芊小仙女 14小时前 分享 查看详情
阿里开发者招聘节 | 面试题26:假如给你一个新产品,你将从哪些方面来保障它的质量? (yq.aliyun.com)
为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别制作了这个专辑——阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的面试真题这一次将陆续放出(面试题官方参考答案将在专辑结束后统一汇总分享,点此进入答题并围观他人答案)。并通过这些笔试真题开放阿里巴巴工作机会,让更多的开发者加入到阿里这个大平台。
by @可耐芊小仙女 14小时前 分享 查看详情
【阿里云新品发布·周刊】第9期:实时大数据开发难、运维难、应用难?来,一站解决! (yq.aliyun.com)
2019年5月15日15时,阿里云DataWorks Stream Studio: 一站式流任务开发平台重磅发布,介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。
by @可耐芊小仙女 14小时前 分享 查看详情
阿里云DataWorks正式推出Stream Studio:为用户提供大数据实时计算的数据中台 (yq.aliyun.com)
据介绍,Stream Studio基于阿里巴巴Flink实时计算引擎,支持DAG和SQL双模式开发流计算作业,并支持DAG与SQL互转;支持Function Studio在线开发UDF并一键发布;支持线上数据采集与本地调试;支持作业运维和智能诊断;极大地降低了流计算作业开发门槛,提高了开发效率。通过DataWorks已有的数据中台能力,可以适用于实时数仓、实时监控、实时分析、实时报表等实时性要求较高的大数据场景。
by @可耐芊小仙女 14小时前 分享 查看详情
华为15年的备胎,刚转正就被搞! (mp.weixin.qq.com)
华为15年的备胎,刚转正就被联想搞!中华有为!雄关漫道真如铁,而今迈步从头越!
by @SELECT-FROMALL 2019-05-19 09:58 分享 查看详情
专有宿主机如何实现“资源池”管理——集群管理能力升级 (yq.aliyun.com)
专有宿主机是一台用户独享的部署了阿里云虚拟化平台的物理服务器,可以直接创建ECS实例,开箱即用。同时物理机可用资源对用户完全透明,用户可以自主的部署不同规格的ECS实例,对部署有绝对的自主权。
by @可耐芊小仙女 2019-05-17 16:26 分享 查看详情
像Google一样构建机器学习系统3 - 利用MPIJob运行ResNet101 (yq.aliyun.com)
由于Kubeflow Pipelines提供的例子多数都是单机任务,那么如何利用Pipelines运行分布式训练?阿里云容器服务团队提供了利用MPIJob训练ResNet101模型的例子,方便您在阿里云上使用和学习Kubeflow Pipelines,并且训练支持分布式的allreduce模型训练。
by @可耐芊小仙女 2019-05-17 16:25 分享 查看详情
利用阿里云容器服务打通TensorFlow持续训练链路 (yq.aliyun.com)
随着google开源TensorFlow的脚步越来越迅猛,机器学习已经渐渐由昔日王谢堂前燕,飞入寻常百姓家。如何把机器学习的成果,迅速转化成服务大众的产品。以TensorFlow为例,一个典型的交付流程,就是TensorFlow根据输入数据进行模型训练,待训练结束和验证确定后,模型会被发布到TensorFlow Serving,就可以为大众服务了。如果能像流水线生产一辆汽车一样来实现机器学习的产品化,听起来是不是让人激动不已?
by @可耐芊小仙女 2019-05-17 16:24 分享 查看详情
阿里云积极落实等级保护制度,政务云全国首个通过等保2.0合规评测 (yq.aliyun.com)
5月16日,阿里云“电子政务云平台系统”正式通过网络安全等级保护三级测评。这是等保2.0正式国家标准GB/T 22239-2019 《信息安全技术 网络安全等级保护基本要求》发布后全国首个通过等保2.0国标测评的云平台。2016年阿里云成为全国首家等保2.0试点示范单位,是全国首个符合国家等级保护制度的云企业,并紧密跟踪等保2.0标准编制过程中的变化,每年依据等保2.0《基本要求》编制过程中的最新稿开展等级测评并顺利通过。
by @可耐芊小仙女 2019-05-17 16:23 分享 查看详情
Facebook F8|闲鱼高级技术专家参会分享 (yq.aliyun.com)
笔者代表闲鱼参加了Facebook在4月30日举行的为期二天的F8大会,地点加州。将会议概括和一些收获分享给大家。对国内开发者而言,Facebook的产品设计、社区、VR/AR等有一些借鉴意义;对海外开发者而言,Facebook是连接用户,规模增长必不可少的产品。
by @可耐芊小仙女 2019-05-17 16:22 分享 查看详情
浅谈JVM GC调优 (tinycedar.github.io)
JVM上的GC,解放了程序员的生产力,使内存手动管理变成了上古绝技。但Java应用动辄几十毫秒甚至秒级的暂停时间,成了所有Java开发者的梦魇,也成了C/C++/Rust开发者嘲笑Java的黑点。无数次我梦想Azul家的C4算法能开源,但那可是人家的核心技术和摇钱树。终于ZGC出现了,几乎和C4一模一样的算法实现……在等待ZGC变成stable的这段时间里,我们没办法还得老实调优GC。
by @tinycedar 2019-05-16 21:52 分享 查看详情
UI2CODE智能生成代码——组件识别篇 (yq.aliyun.com)
在组件识别这个环节,需要有一种处理布局信息的方法,来解析和计算控件间的布局关系(比如识别业务组件(BI组件)和查找重复布局),以此来提高最终代码的可用性。在这篇文章,我们将介绍一种布局信息的结构化方法:“连线法”,以及一种布局间的计算和比较方法: “引导连线法”。
by @可耐芊小仙女 2019-05-16 15:21 分享 查看详情
基于TableStore的海量气象格点数据解决方案实战 (yq.aliyun.com)
气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。如何存储和高效的查询这些气象数据越来越成为一个难题。
by @可耐芊小仙女 2019-05-16 15:20 分享 查看详情
药品监管系统架构揭秘:海量溯源数据存储与查询 (yq.aliyun.com)
在刚刚过去的2018年,“毒疫苗”事件再次触及了大众的敏感神经,因为十年前的“毒奶粉”事件还历历在目。我们急需创建一个全国性的药品(食品)监控追踪体系。与此同时,近年来随着国家对医药行业的大力支持,中国的医疗事业也出现了跨越式的发展,大量的新型药品上市,极大的丰富了患者和消费者的选择范围。大量的药品在市面上流通,产生了大量的状态数据,且这类数据在爆发式的增长。如何高效的存储和溯源药品状态数据已经成为一个行业难题。传统方案常常采用比如MySQL数据库分库分表的方式,但是这个方案在开发、运维、可扩展性都有不少弊端。
by @可耐芊小仙女 2019-05-16 15:19 分享 查看详情
对比MySQL,一文看透HBase的能力及使用场景 (yq.aliyun.com)
MySQL + HBase 是我们日常应用中常用的两个数据库,分别解决应用的在线事务问题和大数据场景的海量存储问题。本文内容适合初次理解HBase的读者,包括技术、功能及场景,也欢迎老司机们补充和温故。
by @可耐芊小仙女 2019-05-16 15:18 分享 查看详情
解决大数据难题 阿里云MaxCompute获科技大奖 (yq.aliyun.com)
MaxCompute是国内最早自研的大数据计算平台之一。十年前,阿里云创始人王坚博士带领团队研发该平台,主要应用于大规模数据处理,目前已拥有EB级别的数据存储能力、百PB级的单日计算能力。随着企业的数据规模快速增长,数据种类变得丰富多样,大数据计算的需求越来越高,然而诸如Hadoop、MapReduce等开源技术的大数据计算平台集群规模有限,在大规模数据处理效率、安全性等方面较低。
by @可耐芊小仙女 2019-05-15 16:15 分享 查看详情
阿里云POLARDB荣膺2019中国数据库年度最佳创新产品 (yq.aliyun.com)
POLARDB是阿里云在2018年正式商业化的云原生数据库,采用存储计算分离、软硬一体化设计。通过高速的RDMA网络提供共享存储的架构,快速实现弹性缩扩容,单个实例可扩展到1000核计算能力,同时可横向扩展到100TB存储空间,满足大规模业务场景的需求。 在100TB的数据容量上,POLARDB可提供优于传统商业数据库的性价比。
by @可耐芊小仙女 2019-05-15 16:13 分享 查看详情
实时大数据开发难、运维难、应用难?来,一站解决! (yq.aliyun.com)
2019年5月15日15时,阿里云DataWorks Stream Studio: 一站式流任务开发平台重磅发布,介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。
by @可耐芊小仙女 2019-05-15 16:11 分享 查看详情
阿里云应用实时监控 ARMS 再升级,支持 Prometheus 开源生态 (yq.aliyun.com)
阿里云应用实时监控服务arms是一款应用性能管理类的工具,它能够从3个端到端的视角帮助企业监控管理应用性能, 第一个视角是从页面到数据库的端到端,arms能实现一次用户请求从页面到api调用到后台请求直到最终数据库调用的全链路追踪。 第二个视角是从应用性能到基础架构资源的端到端,任何一个应用的缓慢或者出错可以关联到Java虚拟机性能,容器性能,主机和网络性能。第三个视角是从IT到业务的端到端,arms能够展现IT请求背后所关联的业务请求的性能,帮助企业从应用性能管理进阶到业务性能管理 。
by @可耐芊小仙女 2019-05-15 16:10 分享 查看详情
一线实践 | 借助混沌工程工具 ChaosBlade 构建高可用的分布式系统 (yq.aliyun.com)
在分布式架构环境下,服务间的依赖日益复杂,可能没有人能说清单个故障对整个系统的影响,构建一个高可用的分布式系统面临着很大挑战。在可控范围或环境下,使用 ChaosBlade 工具,对系统注入各种故障,持续提升分布式系统的容错和弹性能力,以构建高可用的分布式系统。
by @可耐芊小仙女 2019-05-15 16:08 分享 查看详情