九周九分布式服务-架构演进 (mp.weixin.qq.com)
随着业务的发展,项目的规模不断扩大,为了方便快速的构建迭代应用,应用的架构也在不断的演进,发展的核心问题是,服务化改造和服务治理。
by @帘卷一庭秋 2017-11-24 10:12 查看详情
亿级工具类APP头条数据聚合优化实践 (mp.weixin.qq.com)
中华万年历的头条数据是根据推荐算法聚合而成的数据,包括ALS算法数据、用户画像数据、时效数据、非时效数据、定投数据、惊喜数据、频道数据、热榜数据、用户相关阅读推荐数据等。启动方式分为冷启动和用户画像启动。
by @帘卷一庭秋 2017-10-16 10:04 查看详情
谈谈系统架构这个东西 (mp.weixin.qq.com)
架构这个词在很多人看来都是很高大上的一个东西。事实上,搞架构的这些人却也都是些大神,至少都是在这个领域浸淫N久的专家级人物。现在很火的全栈工程师这个概念,就是架构师的另一种表现形式。
by @帘卷一庭秋 2017-10-16 10:03 查看详情
码农日常工具推荐 (mp.weixin.qq.com)
重点介绍我认为比较重要的三个工具(这三款是Mac上的,也可以对应找Windows),一个是文档工具,另外两个是我平时绘图相关的工具,其他的一笔带过。
by @帘卷一庭秋 2017-10-16 10:02 查看详情
分布式系统一致性保障方案总结 (mp.weixin.qq.com)
本文重点来阐述下关于一致性的方案,包括强一致性和最终一致性。 而在互联网领域, 很多情况下都是牺牲强一致性,来达到高可用性,系统往往只需要保证“最终一致性”,只要这个最终时间是在用户可以接受的范围内即可。
by @帘卷一庭秋 2017-10-16 10:02 查看详情
数据科学家必须知道的10个深度学习架构 (mp.weixin.qq.com)
近年来,深度学习的发展势头迅猛,要跟上深度学习的进步速度变得越来越困难了。几乎每一天都有关于深度学习的创新,而大部分的深度学习创新都隐藏在那些发表于ArXiv和Spinger等研究论文中。

本文介绍了部分近期深度学习的进展和创新,以及Keras库中的执行代码,本文还提供了原论文的链接。
by @帘卷一庭秋 2017-10-16 10:01 查看详情
Kafka端到端审计 (mp.weixin.qq.com)
Kafka端到端审计是指生产者生产的消息存入至broker,以及消费者从broker中消费消息这个过程之间消息个数及延迟的审计,以此可以检测是否有数据丢失,是否有数据重复以及端到端的延迟等。
by @帘卷一庭秋 2017-10-16 10:01 查看详情
前端框架模式的变迁 (mp.weixin.qq.com)
前端框架的变迁,体系架构的完善,使得我们只知道框架,却不明白它背后的道理。我们应该抱着一颗好奇心,在探索框架模式的变迁过程中,体会前人的一些理解和思考。
by @帘卷一庭秋 2017-10-16 10:00 查看详情
微服务后如何做一次系统梳理 (mp.weixin.qq.com)
微服务治理的特点,网络延迟、分布式事务、异步消息。因此我们针对微服务的梳理也是从这几个方面入手。微服务后依赖关系从代码依赖变成了通讯依赖,我们梳理微服务系统的关键点,就是找出通讯依赖,确定是强依赖,还是弱依赖。
by @帘卷一庭秋 2017-10-16 10:00 查看详情
交易型系统设计的一些原则 (mp.weixin.qq.com)
如果应用的设计是无状态的,那么应用比较容易进行水平扩展。实际生产环境是:应用无状态、配置文件有状态。
by @帘卷一庭秋 2017-10-16 09:59 查看详情
如何实现一个分布式RPC框架 (mp.weixin.qq.com)
轻量级的分布式RPC框架buddha(https://github.com/tinylcy/buddha),代码量不大,但是麻雀虽小却五脏俱全。本篇文章将一步步阐明buddha的设计、框架组件的拆解以及需要考虑的因素。
by @帘卷一庭秋 2017-10-16 09:58 查看详情
面向大数据的分布式调度 (mp.weixin.qq.com)
大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色,整个数据的生产、交付、消费都会贯穿其中,本文从调度、分布式调度的特征展开,再对大数据调度个性化特征的一些阐述,由满足大数据使用的架构和业务场景的需求上娓娓道来,从实践的角度分享如何打造一个高可用、高效率、灵活性的大数据调度平台。
by @帘卷一庭秋 2017-09-07 10:20 查看详情
总架构师眼里的架构和架构师的成长之道 (mp.weixin.qq.com)
程序员更多是考虑一个局部的问题,而架构师可能更侧重全局考量。程序员眼中更倾向于一个点化的世界,可以有很多假设,但架构师往往不能有那么多假设,他需要根据实际情况来考虑问题,包括所掌握的人力资源、技术限制、时间安排等——在这些因素的约束下,选择将受限,一切也不再那么理想化。
by @帘卷一庭秋 2017-09-07 10:20 查看详情
从运维角度看中大型网站架构的演变之路 (mp.weixin.qq.com)
一个成熟的网站架构并不是一开始设计就具备高可用、高伸缩、高性能等特性的,它是随着用户量和业务线不断增加,基础架构才逐渐健壮的。在发展初期,一般都是从0到1,不会一上来就整一些大而全的架构,也很少人这么任性。
by @帘卷一庭秋 2017-09-07 10:19 查看详情
哔哩哔哩大数据采集服务—Lancer系统设计与实践 (mp.weixin.qq.com)
哔哩哔哩(以下简称B站)的日志采集肩负了B站的所有业务的日志收集并传输,提供离线数据和实时数据以满足离线或实时计算以及业务方订阅的需求。B站日志收集系统是基于Flume设计和搭建而成的。

数据采集是大数据的基石,近几年随着业务的高速增长,产生的数据量越来越大,并且会持续快速增长。因而对采集系统的实时性,稳定性以及可靠性也提出了更高的要求。

本文主要介绍了日志采集系统Lancer的整体架构包括各组件设计及优化。
by @帘卷一庭秋 2017-09-07 10:19 查看详情
你也许要付出5000亿刀的学费,才能明白架构的重要性 (mp.weixin.qq.com)
一个商业产品成功的因素很多,有环境因素,有大的趋势影响,有人为的作用,也有运气的成分,很多东西叠加在一起,才可能造就一个商业传奇。
by @帘卷一庭秋 2017-08-24 10:05 查看详情
年薪30万-50万,站在风口上的大数据面临150万的人才紧缺 (mp.weixin.qq.com)
在硅谷,入门级的数据科学家的收入已经是6位数了(美元)。
by @帘卷一庭秋 2017-08-09 09:43 查看详情