解决大数据难题 阿里云MaxCompute获科技大奖 (yq.aliyun.com)
MaxCompute是国内最早自研的大数据计算平台之一。十年前,阿里云创始人王坚博士带领团队研发该平台,主要应用于大规模数据处理,目前已拥有EB级别的数据存储能力、百PB级的单日计算能力。随着企业的数据规模快速增长,数据种类变得丰富多样,大数据计算的需求越来越高,然而诸如Hadoop、MapReduce等开源技术的大数据计算平台集群规模有限,在大规模数据处理效率、安全性等方面较低。
by @可耐芊小仙女 2019-05-15 16:15 查看详情
阿里云POLARDB荣膺2019中国数据库年度最佳创新产品 (yq.aliyun.com)
POLARDB是阿里云在2018年正式商业化的云原生数据库,采用存储计算分离、软硬一体化设计。通过高速的RDMA网络提供共享存储的架构,快速实现弹性缩扩容,单个实例可扩展到1000核计算能力,同时可横向扩展到100TB存储空间,满足大规模业务场景的需求。 在100TB的数据容量上,POLARDB可提供优于传统商业数据库的性价比。
by @可耐芊小仙女 2019-05-15 16:13 查看详情
实时大数据开发难、运维难、应用难?来,一站解决! (yq.aliyun.com)
2019年5月15日15时,阿里云DataWorks Stream Studio: 一站式流任务开发平台重磅发布,介绍实时计算任务开发的困难、问题和背景,引出使用Stream Studio可以大大加快实时任务的开发速度,降低开发和维护门槛,同时结合DataWorks的整体能力,能够实现实时数仓、实时监控、实时分析、实时大屏等实时大数据场景的一站式开发。
by @可耐芊小仙女 2019-05-15 16:11 查看详情
阿里云应用实时监控 ARMS 再升级,支持 Prometheus 开源生态 (yq.aliyun.com)
阿里云应用实时监控服务arms是一款应用性能管理类的工具,它能够从3个端到端的视角帮助企业监控管理应用性能, 第一个视角是从页面到数据库的端到端,arms能实现一次用户请求从页面到api调用到后台请求直到最终数据库调用的全链路追踪。 第二个视角是从应用性能到基础架构资源的端到端,任何一个应用的缓慢或者出错可以关联到Java虚拟机性能,容器性能,主机和网络性能。第三个视角是从IT到业务的端到端,arms能够展现IT请求背后所关联的业务请求的性能,帮助企业从应用性能管理进阶到业务性能管理 。
by @可耐芊小仙女 2019-05-15 16:10 查看详情
一线实践 | 借助混沌工程工具 ChaosBlade 构建高可用的分布式系统 (yq.aliyun.com)
在分布式架构环境下,服务间的依赖日益复杂,可能没有人能说清单个故障对整个系统的影响,构建一个高可用的分布式系统面临着很大挑战。在可控范围或环境下,使用 ChaosBlade 工具,对系统注入各种故障,持续提升分布式系统的容错和弹性能力,以构建高可用的分布式系统。
by @可耐芊小仙女 2019-05-15 16:08 查看详情
使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南 (yq.aliyun.com)
现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。将 MaxCompute内数据导出至TableStore,目前可选的几种主要途径包括:
by @可耐芊小仙女 2019-05-14 16:07 查看详情
Twitter 宣布抛弃 Mesos,全面转向Kubernetes (yq.aliyun.com)
美国西部时间 5 月 2 日下午 7 点,Twitter 公司在旧金山总部举行了一次技术发布会兼 Meetup。会上,Twitter 计算平台(Twitter Computing Platform)产品与技术负责人 David McLaughlin 正式宣布,Twitter 的基础而设施将从 Mesos 全面转向 Kubernetes。Mesos项目发布于是2009年,而Twitter公司则是 Mesos 项目的早期支持者和使用者之一。作为世界上最成功的社交媒体巨头之一,Twitter 公司以其庞大的生产集群规模(万级别节点)而备受关注。在 2011 年,Twitter 公司开始在Mesos 项目的基础上开发了 Aurora 项 以便同时管理其内部的在线和离线业务,逐步成为 Mesos 社区的代言人。
by @可耐芊小仙女 2019-05-14 16:06 查看详情
阿里云Kubernetes服务上使用Tekton完成应用发布初体验 (yq.aliyun.com)
Tekton 是一个功能强大且灵活的 Kubernetes 原生开源框架,用于创建持续集成和交付(CI/CD)系统。通过抽象底层实现细节,用户可以跨多云平台和本地系统进行构建、测试和部署。本文是基于阿里云Kubernetes服务部署Tekton Pipeline,并使用它完成源码拉取、应用打包、镜像推送和应用部署的实践过程。
by @可耐芊小仙女 2019-05-14 16:05 查看详情
Knative Tracing 介绍 (yq.aliyun.com)
为了实现系统组件的水平扩展、敏捷开发、CD(持续集成)、解耦等各种诉求,现代的大型软件架构往往都是微服务架构。 微服务架构本身会面临一系列诸如:后台错误原因分析、各个微服务组件的调用情况诊断等。所以需要有一个 Tracing 系统解决这些问题。除了微服务以外 Serverless 应用也面临同样的问题。一个完整的业务实现想要基于 Serverless 模型来开发的话可能会分解成多个 Serverless 模块,每一个模块单独通过 Knative 的 Serving 部署,那么这些不同的 Serving 之间就需要调用链进行事务的串联。
by @可耐芊小仙女 2019-05-14 16:03 查看详情
不断被取代的传统职业:快速发展的智能交互 (yq.aliyun.com)
我们身边有很多鲜为人知的职业,有些你可能知道,有些你可能不知道,更有一些,你或许听过,却从不明白它到底是做什么的。速录师,就是这样的一个职业。很多人觉得这个职业简单,只要会打字就行,其实不然。要做一名合格的速录师,不仅需要具备文化素质、心理素质、速度素质,更需要经过考核,获得《速录师职业资格证书》才能上任。心理和能力的考核+300字/分的速度+97%以上的准确率,再加上考虑口述言语间的逻辑关系,这样加起来的速录,你还会觉得简单么?
by @可耐芊小仙女 2019-05-13 15:43 查看详情
从分布式一致性算法到区块链共识机制 (yq.aliyun.com)
分布式一致性是一个很“古典”的话题,即在分布式系统中,如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、redis、elasticsearch等。然而这个问题却历久弥新,随着分布式网络的蓬勃发展与复杂化,对于该问题解法的探索也一直在进行中。
by @可耐芊小仙女 2019-05-13 15:41 查看详情
Nacos Committer 张龙:Nacos Sync 的设计原理和规划 (yq.aliyun.com)
本文整理自Nacos Committer 张龙的现场分享,阿里巴巴中间件受权发布。随着 Nacos 1.0.0 稳定版的发布,越来越多的企业开始在测试/预演/生产环境中逐步部署 Nacos。目前,除了部分企业已处于转型分布式架构的过程中,会考虑直接使用 Nacos 上生产,但仍有不少企业会考虑一些比较现实的问题:
by @可耐芊小仙女 2019-05-13 15:39 查看详情
MaxCompute Studio使用心得系列7—作业对比 (yq.aliyun.com)
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便。MaxCompute Studio从3.1.0版本开始支持作业对比,可以在一个页面同时比较两个作业,并且能自动标注出作业的差异点。
by @可耐芊小仙女 2019-05-13 15:38 查看详情
阿里云MaxCompute 2019-4月刊 (yq.aliyun.com)
MaxCompute预付费套餐(含计算资源、存储资源)发布上线 查看详情 >>MaxCompute project 级别 IP 白名单支持 IPV6 查看详情 >>Logview 的 jsonsummary 中增加 SQL 复杂度,客户可以实时估算作业的消费情况,方便客户做成本控制。
by @可耐芊小仙女 2019-05-13 15:36 查看详情
DDoS攻击新趋势:海量移动设备成为新一代肉鸡 (yq.aliyun.com)
近期,阿里云安全团队观察到数十起大规模的应用层资源耗尽式DDoS攻击(应用层CC攻击)。阿里云DDoS高防实现智能防护全程自动化检测并清洗,未对用户侧业务产生任何影响,这类攻击存在一些共同的特征,阿里云安全团队对此做了跟踪分析。
by @可耐芊小仙女 2019-05-10 16:06 查看详情
胡喜:从 BASIC 到 basic ,蚂蚁金服技术要解决两个基本的计算问题 (yq.aliyun.com)
5 月 6 日,蚂蚁金服副 CTO 胡喜在 2019 年 QCon 上做了《蚂蚁金服十五年技术架构演进之路》的演讲。借此机会,也和大家深入讨论了一下蚂蚁金服对金融科技未来的判断,并首次对外曝光了蚂蚁金服技术人才培训体系以及 BASIC College 项目。
by @可耐芊小仙女 2019-05-10 16:05 查看详情
阿里开发者招聘节 | 面试题14:如何实现两金额数据相加(最多小数点两位) (yq.aliyun.com)
为帮助开发者们提升面试技能、有机会入职阿里,云栖社区特别制作了这个专辑——阿里巴巴资深技术专家们结合多年的工作、面试经验总结提炼而成的面试真题这一次将陆续放出(面试题官方参考答案将在专辑结束后统一汇总分享,点此进入答题并围观他人答案)。并通过这些笔试真题开放阿里巴巴工作机会,让更多的开发者加入到阿里这个大平台。
by @可耐芊小仙女 2019-05-10 16:04 查看详情
大侦探福老师——幽灵Crash谜踪案 (yq.aliyun.com)
问题要从闲鱼Flutter基础设施上一次大规模升级说起。2018年我们对闲鱼的Flutter基建作了比较大的重构,目标在于提高基建的稳定性和可扩展性。这个过程当然是挑战重重,在上一次大规模的重构集成发版后,我们虽然没有发现非常明显的异常问题,但是Crash率却出现了一个比较明显的增长。虽然总体数值还在可控范围之内,但这一个Crash却占据了几乎一大半。这个问题引起了我们警觉,我们立刻成立专项小组重点进行排查。
by @可耐芊小仙女 2019-05-10 16:03 查看详情
阿里云安全肖力:安全基础建设是企业数字化转型的基石 (yq.aliyun.com)
企业在享受数字化转型带来利好的同时,其面临的安全问题也愈发复杂。一方面,外部威胁不断升级,近期利用海量移动设备发起DDoS攻击的案例表明,黑灰产作案手法也在随着时代的发展而不断演进;另一方面,内部安全隐患层出不穷,员工自带设备办公增加企业攻击面,因开发者不小心泄露的访问凭证等问题时有发生。
by @可耐芊小仙女 2019-05-10 16:02 查看详情
阿里云BaaS:降低区块链应用门槛,用技术构建商业互信 (yq.aliyun.com)
对于广大IT服务商和开发者而言,构建区块链应用存在三大痛点问题:成本高,研发投入大、区块链技术平台维护成本高;效益低,企业客户触达困难、解决方案难中标;标准差,没有标准化支撑产品,难以大范围应用到其他客户。对于众多企业而言,对于全面拥抱区块链存在三大困惑:场景不清,无法清晰明确哪些业务场景适合与区块链结合;方案不定,找不到合适的IT服务商定制区块链解决方案;落地困难,缺乏安全稳定的生产级平台。
by @可耐芊小仙女 2019-05-09 16:59 查看详情