高可用服务 AHAS 在消息队列 MQ 削峰填谷场景下的应用 (yq.aliyun.com)
在消息队列中,当消费者去消费消息的时候,无论是通过 pull 的方式还是 push 的方式,都可能会出现大批量的消息突刺。如果此时要处理所有消息,很可能会导致系统负载过高,影响稳定性。但其实可能后面几秒之内都没有消息投递,若直接把多余的消息丢掉则没有充分利用系统处理消息的能力。我们希望可以把消息突刺均摊到一段时间内,让系统负载保持在消息处理水位之下的同时尽可能地处理更多消息,从而起到“削峰填谷”的效果:
by @可耐芊小仙女 2019-03-14 15:12 分享 查看详情
当提到“事件驱动”时,我们在说什么? (insights.thoughtworks.cn)
在过去的几年里,我们构建的很多系统都大量使用了事件。对于这些系统,人们常常赞誉有加,但批评的声音也不绝于耳。我们的北美办公室组织了一次峰会,我们花了很多时间来梳理一些有用的模式。本文简要总结我们的成果。
by @ThoughtWorks 2019-03-13 11:21 分享 查看详情
MaxCompute Spark开发指南 (blog.csdn.net)
本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。

MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务,它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持用户以熟悉的开发使用方式提交运行Spark作业,以满足更丰富的数据处理分析场景。

本文将重点介绍MaxCompute Spark能够支撑的应用场景,同时说明开发的依赖条件和环境准备,重点对Spark作业开发、提交到MaxCompute集群执行、诊断进行介绍。
by @可耐芊小仙女 2019-03-11 15:55 分享 查看详情
一文快速了解MaxCompute (yq.aliyun.com)
很多刚初次接触MaxCompute的用户,面对繁多的产品文档内容以及社区文章,往往很难快速、全面了解MaxCompute产品全貌。同时,很多拥有大数据开发经验的开发者,也希望能够结合自身的背景知识,将MaxCompute产品能力与开源项目、商业软件之间建立某种关联和映射,以快速寻找或判断MaxCompute是否满足自身的需要,并结合相关经验更轻松地学习和使用产品。
by @可耐芊小仙女 2019-03-11 15:42 分享 查看详情
如何制作可以在 MaxCompute 上使用的 crcmod (yq.aliyun.com)
之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言,MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包,例如 oss2 依赖的 crcmod,PyPI 并未提供 Wheel 包,因而需要自行打包。本文介绍了如何使用 quay.io/pypa/manylinux1_x86_64 镜像制作可在 MaxCompute 上使用的 Wheel 包。
by @可耐芊小仙女 2019-03-08 17:05 分享 查看详情
MaxCompute 2.0复杂数据类型之array (yq.aliyun.com)
之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言,MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包,例如 oss2 依赖的 crcmod,PyPI 并未提供 Wheel 包,因而需要自行打包。本文介绍了如何使用 quay.io/pypa/manylinux1_x86_64 镜像制作可在 MaxCompute 上使用的 Wheel 包。
by @可耐芊小仙女 2019-03-08 16:57 分享 查看详情
RPA工具初体验 (insights.thoughtworks.cn)
半年前,听说客户的IT部门开始培训大家用RPA工具UiPath来做自动化测试,但是遇到了一些麻烦,问我们这边是否有相关经验。之前没有接触过,于是决定研究一下RPA到底是什么。
by @ThoughtWorks 2019-03-08 09:33 分享 查看详情
【重磅】Gopher China 2019 大会讲师及议题揭晓 (mp.weixin.qq.com)
今年,我们即将迎来第五届Gopher China 大会。至2018年1月 Gopher China 2019 大会正式启动到现在,短短一个多月的时间,报名人数已经超过400人。今年的大会上我们将一如既往的给大家带来最前沿,最干货的分享,我们致力于为中国广大的 Gopher 提供最好的交(mian)流(ji)平台。举办 Gopher China 大会的目的是汇集广大 Go 语言的开发者以及大规模应用 Go 的示范企业给大家带来精彩分享,呈现一场最 cool 的盛会。
by @ASTA谢 2019-03-07 23:16 分享 查看详情
我们雇佣了一只大猴子 (yq.aliyun.com)
从程序员的视角来看,提高系统稳定性的方法无外乎三种:

通过各种技术手段,例如在容器和调度、微服务、消息、软负载和配置中心等纬度提高系统和架构的健壮性;
提升监控的广度和深度,生产中一旦出现问题,能快速定位,给出解决方案;
生产就是大考,谁也不知道升学考中会出现什么样的试题,建立故障演练机制,把各类可以预见的故障提前演练出来,例如随机杀节点、延时响应,甚至中断机房;
by @可耐芊小仙女 2019-03-07 15:29 分享 查看详情
程序员如何让自己 Be Cloud Native - 配置篇 (yq.aliyun.com)
这是《程序员如何让自己 Be Cloud Native》系列文章的第二篇,从第一篇的反馈来看,有些同学反馈十二要素太形式主义,不建议盲目跟从。作者认为任何理论和技术都需要有自己的观点,这些观点是建立在个体知识体系逐渐锻炼出来的辩别能力之上的。Be Cloud Native这一系列的文章,会基于十二要素为理论基础,加上作者在云计算诞生以来对于架构的演进所观察到的变化去分享自己的一些心得。
by @可耐芊小仙女 2019-03-07 15:05 分享 查看详情
可持续创新之七巧板 (insights.thoughtworks.cn)
我们以在某商业银行的实践案例,分享如何扎扎实实构建可持续创新能力。
by @ThoughtWorks 2019-03-06 17:49 分享 查看详情
阿里云移动端播放器高级功能---直播时移 (yq.aliyun.com)
通常都知道直播是无法seek拖动的,那么针对在直播中想回看之前直播过的内容的用户来说,直播时移就能派上用场。我们阿里云播放器支持了直播时移功能,用户能较为方面和快速的使用直播时移的功能。
先来看一下直播时移的介绍:时移直播基于常规的HLS视频直播,直播推流被切分成TS分片,通过HLS协议向播放用户分发,用户请求的m3u8播放文件中包含不断刷新的TS分片地址;对于常规的HLS直播而言,TS分片地址及相应的TS文件并不持久化保存,导致当前时间之前的直播视频内容无法回溯;而对于开通了时移功能的HLS直播而言,TS分片地址及相应TS文件会分别在数据库和OSS中持久化保存最长15天,使得回溯从直播开始时间到当前时间之间的视频内容成为可能。
by @可耐芊小仙女 2019-03-05 16:20 分享 查看详情
阿里云移动端播放器高级功能---截图和音频波形 (yq.aliyun.com)
如果用户对视频播放中的某一帧画面特别感兴趣,可以使用截图功能将这一帧视频保存起来。另外有一种场景想知道是否有声音,或者想感知声音的大小震动频率等,可以通过显示一个声音的波形来形象的表示。
by @可耐芊小仙女 2019-03-05 16:02 分享 查看详情
聊聊常见的网络攻击 (zhuanlan.zhihu.com)
2 月 28 日,CNNIC 发布《中国互联网络发展状况统计报告》。报告显示,截至 2018年 12 月,网民规模达 8.29 亿,全年新增网民 5653 万,互联网普及率为 59.6%,较 2017 年底提升 3.8 个百分点。随着网民数量的增加,互联网的安全更是刻不容缓。到底是哪些行为会影响网络安全呢?
by @又拍云 2019-03-05 11:17 分享 查看详情
深入解读MySQL8.0 新特性 :Crash Safe DDL (yq.aliyun.com)
在MySQL8.0之前的版本中,由于架构的原因,mysql在server层使用统一的frm文件来存储表元数据信息,这个信息能够被不同的存储引擎识别。而实际上innodb本身也存储有元数据信息。这给ddl带来了一定的挑战,因为这种架构无法做到ddl的原子化,我们在线上经常能够看到数据目录下遗留的临时文件,或者类似server层和innodb层列个数不一致之类的错误。甚至某些ddl可能还遗留元数据在innodb内,而丢失了frm,导致无法重建表…..(我们为了解决这个问题,实现了一个叫drop table force的功能,去强制做清理….)
by @可耐芊小仙女 2019-03-04 16:17 分享 查看详情
基于 DataLakeAnalytics 做跨地域的数据分析 (yq.aliyun.com)
在阿里云上,很多客户的应用都是多地域部署的, 比如在北京(cn-beijing)的地域部署一个应用让北方的客户访问快一点,同时在杭州(cn-hangzhou)地域部署一份让南方的客户访问快一点。多地域部署之后,业务数据被拆成了多份,而各个地域的数据库都是独立的,网络又不通,给总体业务数据的分析造成了困难。今天我给大家介绍一套基于 DataLakeAnalytics, OSS, DataX 等几个阿里云产品的跨地域数据分析的解决方案。
by @可耐芊小仙女 2019-03-01 17:39 分享 查看详情
Data Lake Analytics,大数据的ETL神器! (yq.aliyun.com)
数据湖(Data Lake)是时下大数据行业热门的概念:https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析,可以不用做任何ETL、数据搬迁等前置过程,实现跨各种异构数据源进行大数据关联分析,从而极大的节省成本和提升用户体验。关于Data Lake的概念。
by @可耐芊小仙女 2019-03-01 17:33 分享 查看详情
如何驱使行为改变 | 驱动变革 (insights.thoughtworks.cn)
绝大多数工程师对于变革有种无力感。然而这种无力感无论是中层管理者、执行副总裁甚至首席执行官都会存在。
by @ThoughtWorks 2019-03-01 11:15 分享 查看详情
记录一次MySQL两千万数据的大表优化解决过程,提供三种解决方案 (yq.aliyun.com)
使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的数据量近2000万,保留最近一年的数据量达到4000万,查询速度极慢,日常卡死。严重影响业务。

问题前提:老系统,当时设计系统的人大概是大学没毕业,表设计和sql语句写的不仅仅是垃圾,简直无法直视。原开发人员都已离职,到我来维护,这就是传说中的维护不了就跑路,然后我就是掉坑的那个!!!
by @可耐芊小仙女 2019-02-28 17:03 分享 查看详情
敏捷画卷:中国软件史的精彩侧影 (insights.thoughtworks.cn)
如果把软件开发当成一个谜题,数代的软件人在过去的 50 年里前赴后继地尝试解决这个谜题,不过到今天为止,全世界不管是码农还是码神,我们仍在这个谜题当中痛苦挣扎。
by @ThoughtWorks 2019-02-27 13:59 分享 查看详情