Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)

【简介】

在选用 Flink 前,我们对日志批处理的整个业务需求分为三步:数据源采集、日志处理、结果的保存。我们的日志量在 100G/h,单机服务处理速度慢、扩容不方便,一些相似的需求都是以编码形式完成的。另外,数据处理流程复杂,需要在多个服务间流转,迫切需要一个方案来解决问题……

点击查看全文 >>

@又拍云 2021-02-25 16:19分享 / 0个评论
赞过的人: IT技术博客大学习 又拍云
要不要再学学下面的文章?
关于 Android MVVM 一些理解与实践 (mp.weixin.qq.com)
viewmodel可以理解为桥梁,通过viewmodel 将 View和Model双向绑定,数据的变化可以直接作用在View上,就是MVVM,其实MVVM,MVP都是在MVC的基础上演变而来。
by @code小生 2021-04-05 13:41 分享 查看详情
京东集团的风控实践 (www.infoq.cn)
传统风控更多的依赖专家经验,容易被黑灰产绕过,而且,传统风控更侧重于“事后”,因为它们对实时性要求不是很高。但是,如果是移动互联网企业,时效性对用户体验就有极大的影响,“如果还是传统方式,那用户体验无疑会非常糟糕。并且,当钱被黑灰产‘薅走’时,风控才应对,那么这就晚了。”他说,“我们希望将所有的风控前移。”
by @shengting 2021-03-09 10:12 分享 查看详情
敏捷业务实践之计划游戏 (teobler.com)
计划游戏是极限编程生命之环外圈的一个业务实践,它主要指的是IPM以及为了支撑IPM的一系列实践,比如估点,故事优先级排列以及速率预估和检查等等。

为了能够大概知道项目会在什么时候完结,往往会在项目开始前或每个迭代(一般两周为一迭代,不同项目可以调整迭代时长)开始前对接下来的工作进行大概的估算。
by @Teobler 2021-02-28 11:55 分享 查看详情
自定义C/C++日志输出函数 (www.kymjs.com)
在繁杂的项目中,日志打印必不可少。但是编写打印的工作,有时候是无趣的、繁琐的、浪费精力的。 如何能够快速、方便的编写打印;如何清晰、准确的定位;如何简单并优雅的实现;最后才能让我们摆脱这样枯燥的、重复的工作? 网上有很多强大的日志类工具,我也都使用过一些,有时候也并没有理想中的方便。今天我想分享给大家的一套我自己的解决方案。
by @技术头条 2021-02-13 23:40 分享 查看详情
有赞个性化推荐能力的演进与实践 (zhuanlan.zhihu.com)
- 跨店用户行为比较少。这涉及到当前 SaaS 经营模式的一个限制,即很难产生跨店的行为。它并不像淘宝、京东是一个平台型的产品,消费者可以很容易在不同的店铺之间逛来逛去。

- 业务场景复杂度高。有赞推荐业务既有面向 C 端的,也有面向 B 端的,还有面向客服场景的。整个业务场景以及团队需要对接的业务方相对较多。

- 业务需求量大。复杂的业务场景和对接的众多业务方,使得对团队推荐业务接到的需求量比较大……
by @又拍云 2021-01-29 15:19 分享 查看详情
数据仓库项目中的数据建模和ETL日志体系 (insights.thoughtworks.cn)
数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。
by @ThoughtWorks 2021-01-08 10:35 分享 查看详情
2020双11,Dubbo3.0 在考拉的超大规模实践 (developer.aliyun.com)
很多开发者一直以来好奇:阿里自己有没有在用Dubbo,会不会用Dubbo?在刚刚结束的双11,我们了解到阿里云今年提出了“三位一体”的理念,即将“自研技术”、“开源项目”、“商业产品”形成统一的技术体系,最大化技术的价值。
by @可耐芊小仙女 2020-11-30 10:06 分享 查看详情
阿里云Edge Plus私享会正式起航,首场活动聚焦CDN在视频直播领域的最佳实践 (developer.aliyun.com)
近期,阿里云Edge Plus私享会首场活动亮相杭州,来自阿里云的资深/高级技术专家、产品经理与数十位客户代表,围绕“CDN在视频直播领域的最佳实践”这一主题,洞察行业技术趋势,分享落地经验,首次披露全球实时传输网络GRTN在双11淘宝直播中的大规模应用落地细节,同时展开了热烈而深入的讨论。
by @可耐芊小仙女 2020-11-25 16:52 分享 查看详情
Flink 双流 Join 的3种操作示例 (developer.aliyun.com)
在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做 join 以获得更丰富的信息。
by @可耐芊小仙女 2020-11-24 15:55 分享 查看详情
快手基于 Apache Flink 的优化实践 (developer.aliyun.com)
本次内容主要分为三部分,首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover。
by @可耐芊小仙女 2020-11-24 13:31 分享 查看详情