你知道 OOM 常见原因吗?有什么好的解决方法? (mp.weixin.qq.com)
当 JVM 内存严重不足时,就会抛出 java.lang.OutOfMemoryError 错误。本文总结了常见的 OOM 原因及其解决方法,如下图所示。如有遗漏或错误,欢迎补充指正。
by @zhisheng_tian 2019-08-06 23:05 分享 查看详情
Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

离线业务主要运行的是Hive on MapReduce, Spark SQL为主的数据仓库作业。

实时业务主要运行Spark Streaming,Flink为主的实时流计算作业。

机器学习业务主要运行TensorFlow,MXNet,MLX(美团点评自研的大规模机器学习系统)等计算作业。
by @zhisheng_tian 2019-08-06 23:04 分享 查看详情
你公司到底需不需要引入实时计算引擎? (mp.weixin.qq.com)
大数据发展至今,数据呈指数倍的增长,对实效性的要求也越来越高,于是像上面这种需求也变得越来越多了。

那这些场景对应着什么业务需求呢?我们来总结下,大概如下:
by @zhisheng_tian 2019-08-06 23:03 分享 查看详情
深入理解 Java 内存模型 (mp.weixin.qq.com)
《深入理解 Java 内存模型》程晓明著,该书在以前看过一遍,现在学的东西越多,感觉那块越重要,于是又再细看一遍,于是便有了下面的读书笔记总结。全书页数虽不多,内容讲得挺深的。细看的话,也是挺花时间的,看完收获绝对挺大的。也建议 Java 开发者都去看看。里面主要有 Java 内存模型的基础、重排序、顺序一致性、Volatile 关键字、锁、final。本文参考书中内容。
by @zhisheng_tian 2019-07-25 09:52 分享 查看详情
美团点评基于 Flink 的实时数仓建设实践 (mp.weixin.qq.com)
近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。
by @zhisheng_tian 2019-07-25 09:52 分享 查看详情
不好意思,我和 Java 内存模型杠上了! (mp.weixin.qq.com)
Java内存模型是在硬件内存模型上的更高层的抽象,它屏蔽了各种硬件和操作系统访问的差异性,保证了Java程序在各种平台下对内存的访问都能达到一致的效果。
by @zhisheng_tian 2019-07-25 09:51 分享 查看详情
Java开发最常犯的10个错误,打死都不要犯! (mp.weixin.qq.com)
Array转ArrayList

判断一个数组是否包含某个值

在循环内部删除List中的一个元素

HashTable与HashMap

使用集合原始类型(raw type)

访问级别

ArrayList和LinkedList

可变与不可变

父类和子类的构造方法

“”还是构造方法

未来工作

这个列表总结了10个Java开发人员最常犯的错误。
by @zhisheng_tian 2019-07-25 09:50 分享 查看详情
Flink 灵魂两百问,这谁顶得住? (mp.weixin.qq.com)
两百问一点都不夸张,这才光知识星球从创建到现在的问题总数,另外还有多个微信群的答疑解惑。有时候忍不住想给自己点个赞,咋能这么
by @zhisheng_tian 2019-07-25 09:49 分享 查看详情
看完这篇还不会 Elasticsearch,我跪搓衣板! (mp.weixin.qq.com)
搜索引擎是对数据的检索,所以我们先从生活中的数据说起。我们生活中的数据总体分为两种:

结构化数据

非结构化数据



结构化数据:也称作行数据,是由二维表结构来逻辑表达和实现的数据,严格地遵循数据格式与长度规范,主要通过关系型数据库进行存储和管理。指具有固定格式或有限长度的数据,如数据库,元数据等。
by @zhisheng_tian 2019-07-25 09:49 分享 查看详情
为了追求极致的性能,Kafka掌控了这11项要领! (mp.weixin.qq.com)
很多同学私信问我Kafka在性能优化方面做了哪些举措,对于相关问题的答案其实我早就写过了,就是没有系统的整理一篇,最近思考着花点时间来整理一下,下次再有同学问我相关的问题我就可以潇洒的甩个链接了。这个问题也是Kafka面试的时候的常见问题,面试官问你这个问题也不算刁难你。在网上也有很多相关的文章开讲解这个问题,比如之前各大公众号转载的“为什么Kafka这么快?”,这些文章我看了,写的不错,问题在于只是罗列了部分的要领,没有全部的详述出来。本文所罗列的要领会比你们网上搜寻到的都多,如果你在看完本篇文章之后,在面试的时候遇到相关问题,相信你一定能让面试官眼前一亮。
by @zhisheng_tian 2019-07-15 21:43 分享 查看详情
分布式主动感知在智能运维中的实践 (mp.weixin.qq.com)
企业数字化使得运维智能化转型成为必然,宜信积极推动 AIOps 在科技金融企业的落地实践。本文探索 AIOps 落地的一种形式:通过行为采集、仿真模拟、主动感知等手段,从用户侧真实系统使用体验出发,结合全维监控数据,更加有效的实现智能异常检测和根因分析。
by @zhisheng_tian 2019-07-15 21:42 分享 查看详情
别在 Java 代码里乱打日志了,这才是正确的打日志姿势 (mp.weixin.qq.com)
使用slf4j



使用门面模式的日志框架,有利于维护和各个类的日志处理方式统一。

实现方式统一使用: Logback框架
by @zhisheng_tian 2019-07-15 21:41 分享 查看详情
10 个超炫酷后台控制面板(附 GitHub下载链接) (mp.weixin.qq.com)
Web 开发中几乎的平台都需要一个后台管理,但是从零开发一套后台控制面板并不容易,幸运的是有很多开源免费的后台控制面板可以给开发者使用,那么有哪些优秀的开源免费的控制面板呢?我在 Github 上收集了一些优秀的后台控制面板,并总结得出 Top 10。

zhisheng 点评:有好的轮子可以直接用,重新造轮子耗时太长,做出的效果还不一定够好
by @zhisheng_tian 2019-07-01 22:28 分享 查看详情
如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了 (mp.weixin.qq.com)
Flink 已经渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景,Flink 都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在 QCon 全球软件开发大会(北京站)2019 的演讲,他介绍了携程如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台,以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现了业务指标毫秒级延迟与智能化检测,同时依托 Flink 实现了强大的容错机制。
by @zhisheng_tian 2019-07-01 22:27 分享 查看详情
别像弱智一样提问 (mp.weixin.qq.com)
提问前你必须需要知道的事情
要知道, Free 的正确翻译是 自由,而非 免费。

要知道,愿意回答问题的人,都是 可爱 的人。

要知道,向帮助你的人 付费 是一个高尚的行为。即使回答你的人不是为了钱。
by @zhisheng_tian 2019-06-29 13:59 分享 查看详情
干趴面试官系列 | 请你简述一下Kafka中的分区分配 (mp.weixin.qq.com)
“请你简述一下Kafka中的分区分配”,当面试官问你这个问题的时候,你会怎么回答?其实,这道题目里面就暗藏汹涌,因为Kafka中的分区分配在多处出现,而这个问题的表述方式是在潜意识里暗示你回答一种,这样在你自认为很完美的回答完这个问题之后,面试官会冷不丁的来一句:还有呢?
by @zhisheng_tian 2019-06-29 13:58 分享 查看详情
HR问“你目前有几个offer”,聪明人会怎么说? (mp.weixin.qq.com)
昨天,一个读者和我聊天,说起自己最近被虐的面试经历。他985毕业,工作3年,看中了一家月薪1.5万的工作,准备跳槽。虽然在北京不算高,但也还不错,他的各方面条件也很匹配,拿下不成问题。
by @zhisheng_tian 2019-06-29 13:58 分享 查看详情
面试官:HashMap 源码你都不知道还来面试? (mp.weixin.qq.com)
HashMap采用key/value存储结构,每个key对应唯一的value,查询和修改的速度都很快,能达到O(1)的平均时间复杂度。它是非线程安全的,且不保证元素存储的顺序。
by @zhisheng_tian 2019-06-29 13:57 分享 查看详情
Apache Flink 1.9 重大特性提前解读 (mp.weixin.qq.com)
今天在 Apache Flink meetup ·北京站进行 Flink 1.9 重大新特性进行了讲解,两位讲师分别是 戴资力/杨克特,zhisheng 我也从看完了整个 1.9 特性解读的直播,预计 Flink 1.9 版本正式发布时间大概是 7 月底 8 月初左右正式发布,下面一起来看看直播内容:
by @zhisheng_tian 2019-06-29 13:56 分享 查看详情
Flink 中这样管理配置,你知道? (mp.weixin.qq.com)
如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。
by @zhisheng_tian 2019-06-18 20:41 分享 查看详情