如何基于Flink+TensorFlow打造实时智能异常检测平台？只看这一篇就够了--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

如何基于Flink+TensorFlow打造实时智能异常检测平台？只看这一篇就够了 (mp.weixin.qq.com)

【简介】

Flink 已经渐渐成为实时计算引擎的首选之一，从简单的实时 ETL 到复杂的 CEP 场景，Flink 都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在 QCon 全球软件开发大会（北京站）2019 的演讲，他介绍了携程如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台，以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题，实现了业务指标毫秒级延迟与智能化检测，同时依托 Flink 实现了强大的容错机制。

点击查看原文 >>

由 @zhisheng_blog 2019-07-01 22:27 / 0个评论

赞过的人： @技术头条 @zhisheng_blog

异常检测是什么？ (ixyzero.com)

简单整理一下在和AI对话时产生的一些对「异常检测」的理解，方便后面有需要的时候参考。

异常检测是识别与预期行为不同的事件或模式的过程（因此想要识别“异常”，就需要先明确“正常”是什么样的。一种逻辑是完全按照规范来，非白即黑，但在实际情况下这种的告警量太多导致基本不可用；另一种逻辑是按照统计指标进行从大到小排序，每次只处理当前的top5，要么正常要么异常，正常的话就去优化统计策略——加白，异常的话就加大统计指标权重，进一步发现更多异常。总之就是需要在准确率和召回率之间找到平衡）。

异常检测的准确性高度依赖于数据的质量，包括数据的完整性、一致性和准确性。

对于某些领域，需要深入了解数据的业务背景和特点，以便更好地识别异常。

by @技术头条 2024-03-31 21:10 查看详情

重复视频检测的价值和常见方法 (ixyzero.com)

全网范围内的主要精品视频主要来自MCN机构，一些公司为了更快更好地去覆盖全网内容，会选择和内容代理合作，而代理手上会有很多重复版权的内容，导致重复内容出现。另外，搬运视频也会导致重复内容出现，这些重复内容会造成极差的用户体验。

再者，大量内容相似的视频对于短视频平台存储、网络带宽等资源也是一个极大的挑战，为了不必要的资源浪费，对视频内容进行去重是非常有必要的。

by @技术头条 2024-03-13 13:24 查看详情

分布式因果推断在美团履约平台的探索与实践 (tech.meituan.com)

美团履约平台技术部在因果推断领域持续的探索和实践中，自研了一系列分布式的工具。本文重点介绍了分布式因果树算法的实现，并系统地阐述如何设计实现一种分布式因果树算法，以及因果效应评估方面qini_curve/qini_score的不足与应对技巧。希望能为从事因果推断相关工作的同学们提供一些启发或帮助。

by @技术头条 2024-03-12 22:39 查看详情

校园网保证一机一号和检测共享上网的原理 (www.addesp.com)

出于利益等原因，许多校园网采取一机一号的管理方式。即一个宽带账号只能由一台规定的设备使用。同时检测共享上网以避免使用路由器或类似方式实现共享。那么这些限制背后的原理是什么呢？

by @技术头条 2023-12-01 09:48 查看详情

在Kubernetes中从0打造可观测性 (jokerbai.com)

在这篇文章中，我们将在Kubernetes中使用Grafana、Prometheus、Loki、Tempo、OpenTelemetry来搭建可观测性平台。其中Grafana作为操作面板，Prometheus、Loki、Tempo作为数据源，分别用来获取指标、日志以及跟踪数据。同时，我们还将使用Exemplars将trace_id与Java指标相关联，使用OpenTelemetry对应用进行检测。

by @技术头条 2023-11-30 23:22 查看详情

基于UI交互意图理解的异常检测方法 (tech.meituan.com)

美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作，基于业务实际场景，自主研发了多模态UI交互意图识别模型以及配套的UI交互框架。本文从大前端质量保障领域的痛点出发，介绍了UI交互意图识别的方法设计与实现。基于UI交互意图编写的测试用例在实际业务中展现出了可以跨端、跨App的泛化能力，希望可以为从事相关工作的同学带来一些启发或帮助。

by @技术头条 2023-11-29 23:40 查看详情

C# 使用 LibUsbDotNet 实现 USB 设备检测 (blog.yuanpei.me)

基于某些不可抗因素上的考虑，博主需要在程序中集成某厂商的硬件。我猜测，人们觉得这件事情“简单”，或许是看到这个设备有一条 USB 连接线，因为在人们的固有印象中，只要把它接到电脑上就可以正常工作了。事实的确如此，因为你只要考虑串口(SerialPort)、USB 以及这两者间的相互转换即可。当然，这世上的事情圆满者少，遗憾者多，博主在使用过程中发现，厂商的提供的 SDK 存在 Bug，当设备从电脑上拔出后，其 SDK 的初始化函数依然正常返回了，这意味着我们无法在使用设备前“正确”地检测出硬件状态。考虑厂商愿不愿意修复这个 Bug 还是个未知数，博主不得不尝试另辟蹊径。

by @技术头条 2023-10-24 23:39 查看详情

MySQL自治平台建设的内核原理及实践（下） (tech.meituan.com)

本文整理自主题分享《美团数据库自治服务平台建设》，系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈，补充了很多技术细节，跟演讲（视频）相比，内容更加丰富。文章分成上、下两篇，上篇将介绍数据库的异常发现跟诊断方面的内容，下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。

by @技术头条 2023-08-26 21:54 查看详情

MySQL自治平台建设的内核原理及实践（上） (tech.meituan.com)

本文整理自主题分享《美团数据库自治服务平台建设》，系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈，补充了很多技术细节，跟演讲（视频）相比，内容更加丰富。文章分成上、下两篇，上篇将介绍数据库的异常发现跟诊断方面的内容，下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。

by @技术头条 2023-08-26 21:54 查看详情

CMDB平台建设指南 (wiki.eryajf.net)

本文写就于2022年，是本人在CMDB领域的钻研探索实践之后的一些经验分享，全文约计1.7w字，凝聚了我全部的心血，从平台架构的设计，到项目周期的管理，甚至项目完成之后的推广，都有所涉猎，如果你也在折腾CMDB，那么本文是你不可错过的入门必读之作。

by @技术头条 2023-07-23 12:31 查看详情