数据一致性检测的应用场景与最佳实践--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

随着业务规模的扩张，企业系统变得越来越复杂，在这种复杂的分布式系统架构下，难免会出现远程调用失败，消息发送失败，并发 bug 等等问题，这些问题最终会导致系统间的数据不一致，导致用户体验受损，用户利益受损，对平台来说就是产生资损。因此如何持续保障系统的业务稳定性对于企业来说是一个很重要的课题，本文旨在介绍一些常见业务应用场景下的业务数据一致性保障最佳实践。

点击查看原文 >>

由 @可耐芊小仙女 2019-11-19 15:56 / 0个评论

赞过的人： @IT技术博客大学习

美团外卖基于GPU的向量检索系统实践 (tech.meituan.com)

到家搜索业务具有数据量大、过滤比高等特点，为了在保证高召回率的同时进一步提高检索性能，美团到家搜索技术团队与基础研发机器学习平台团队基于GPU实现了支持向量+标量混合检索的通用检索系统，召回率与检索性能均有较大提升。本文将介绍我们在GPU向量检索系统建设中遇到的挑战及解决思路，希望对大家有所帮助或启发。

by @技术头条 2024-04-23 23:26 查看详情

百亿大规模图在广告场景的应用 (tech.meituan.com)

本文通过搜索推荐项目进行外卖搜索广告弱供给填充，提高流量变现效率。我们提出外卖多场景异构大图、异构大图在线建模技术演进路线，解决外卖搜索推荐业务多渠道、即时化的挑战。相关成果发表CIKM2023会议一篇。联合机器学习平台搭建大规模图训练、在线推理引擎GraphET，满足近百亿边规模、复杂图结构的多个业务落地。

by @技术头条 2024-03-31 21:17 查看详情

大众点评内容搜索算法优化的探索与实践 (tech.meituan.com)

本文整理自美团技术沙龙第80期《美团内容智能分发的算法实践》，分享内容主要包括三部分。第一部分介绍了大众点评内容搜索的场景特点以及面临的挑战；第二部分介绍了为应对这些困难和挑战，技术团队在链路各环节上做的实践优化，包括内容消费和搜索满意度的优化等等；第三部分是总结和对未来的展望。

by @技术头条 2024-03-31 21:14 查看详情

异常检测是什么？ (ixyzero.com)

简单整理一下在和AI对话时产生的一些对「异常检测」的理解，方便后面有需要的时候参考。

异常检测是识别与预期行为不同的事件或模式的过程（因此想要识别“异常”，就需要先明确“正常”是什么样的。一种逻辑是完全按照规范来，非白即黑，但在实际情况下这种的告警量太多导致基本不可用；另一种逻辑是按照统计指标进行从大到小排序，每次只处理当前的top5，要么正常要么异常，正常的话就去优化统计策略——加白，异常的话就加大统计指标权重，进一步发现更多异常。总之就是需要在准确率和召回率之间找到平衡）。

异常检测的准确性高度依赖于数据的质量，包括数据的完整性、一致性和准确性。

对于某些领域，需要深入了解数据的业务背景和特点，以便更好地识别异常。

by @技术头条 2024-03-31 21:10 查看详情

从存储模型聊一聊时序数据库的应用场景 (www.codedump.info)

本文介绍时序数据库的存储模型，只有理解了时序数据的存储模型，才能更好的了解时序数据库的优缺点以及其适用场景。

by @技术头条 2024-03-21 23:25 查看详情

图解一致性模型 (www.codedump.info)

本文使用大量的图例，同时没有难懂的公式，意图解释清楚一致性模型要解决什么问题，以及三种一致性模型：顺序一致性、线性一致性、因果一致性。

by @技术头条 2024-03-21 23:23 查看详情

使用零一万物 200K 模型和 Dify 快速搭建模型应用 (soulteary.com)

本篇文章，我们聊聊如何使用 LLM IDE (Dify) 快速搭建一个模型应用，以及使用超长上下文的 200K 模型，完成懒人式的电子书翻译。

by @技术头条 2024-03-21 22:55 查看详情

美团大规模KV存储挑战与架构实践 (tech.meituan.com)

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。

by @技术头条 2024-03-21 22:53 查看详情

重复视频检测的价值和常见方法 (ixyzero.com)

全网范围内的主要精品视频主要来自MCN机构，一些公司为了更快更好地去覆盖全网内容，会选择和内容代理合作，而代理手上会有很多重复版权的内容，导致重复内容出现。另外，搬运视频也会导致重复内容出现，这些重复内容会造成极差的用户体验。

再者，大量内容相似的视频对于短视频平台存储、网络带宽等资源也是一个极大的挑战，为了不必要的资源浪费，对视频内容进行去重是非常有必要的。

by @技术头条 2024-03-13 13:24 查看详情

基于 LLaMA 和 LangChain 实践本地 AI 知识库 (blog.yuanpei.me)

通用人工智能，即：AGI（Artificial General Intelligence）的实现，正在以肉眼可见的速度被缩短，以前在科幻电影中看到的种种场景，或许会比我们想象中来得更快一些。不过，等待 AGI 来临前的黑夜注定是漫长而孤寂的。在此期间，我们继续来探索 AI 应用落地的最佳实践，即：在成功部署本地 AI 大模型后，如何通过外挂知识库的方式为其 “注入” 新的知识。

by @技术头条 2024-03-13 13:12 查看详情