数据库全量SQL分析与审计系统性能优化之旅 (tech.meituan.com)

【简介】

全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。

点击查看全文 >>

@技术头条 2022-07-24 20:48分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
前端性能优化心法 (insights.thoughtworks.cn)
文章从流程方面和具体的技术细节上对软件性能优化上遇到的问题做一些总结和分类,以方便在后续类似的场景下可以提供给开发者一个参考。
by @Thoughtworks 2022-11-25 10:54 分享 查看详情
如何基于 Prerender 为 SPA 做 SEO 优化 (quickapp.lovejade.cn)
倾城之链 是基于 Vue2 所构建的单页面应用(SPA),这很不利于 SEO,尤其是之于国内搜索引擎。早在项目之初,采取 SSR 方案对代码侵入性高,也不大方便以 SSG 方案处理;于是乎,便在服务端针对搜索引擎爬虫返回预渲染结果,从而做 SEO 优化;本文就此方案做简单分享。
by @杨琼璞 2022-11-23 23:29 分享 查看详情
TLS指纹分析研究(上) (blog.nsfocus.net)
TLS协议已经成为互联网上最流行的协议,以确保网络通信免受干扰和窃听。TLS被用于加载Firefox浏览器中超过70%的网页,随着越来越多的网站、服务和应用程序切换到TLS,其应用将继续增长。

由于网络管理人员可以识别和阻止自定义协议,很多恶意工具已经转向使用现有协议,TLS的流行为这些恶意工具提供了一个很好的选择,使用TLS协议的恶意工具可以将其流量隐藏在大量web浏览器和其他TLS的合法覆盖流量中以逃避检测。

本文分享一篇指纹数据分析的论文,通过收集和分析9个月内超过110亿个真实的TLS连接流量,从白流量的角度给出一些结论,希望给研究人员带来一些思考。
by @技术头条 2022-09-13 23:33 分享 查看详情
基于AI算法的数据库异常监测系统的设计与实现 (tech.meituan.com)
美团数据库平台研发组,面临日益急迫的数据库异常发现需求,为了更加快速、智能地发现、定位和止损,我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考,希望为从事相关工作的同学带来一些启发或者帮助。
by @技术头条 2022-09-12 22:41 分享 查看详情
向量数据库入坑:传统文本检索方式的降维打击,使用 Faiss 实现向量语义检索 (soulteary.com)
在上一篇文章[《聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss》]中,我们有聊到如何快速入门向量检索技术,借助 Meta AI(Facebook Research)出品的 faiss 实现“最基础的文本内容相似度检索工具”,初步接触到了“语义检索”这种对于传统文本检索方式具备“降维打击”的新兴技术手段。有朋友在聊天中提到,希望能够聊点更具体的,比如基于向量技术实现的语义检索到底比传统文本检索强多少,以及是否有局限性,能不能和市场上大家熟悉的技术产品进行一个简单对比。那么,本篇文章就试着从这个角度来聊聊。
by @技术头条 2022-09-12 22:39 分享 查看详情
向量数据库入坑指南:聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss (soulteary.com)
我们日常使用的各种 APP 中的许多功能,都离不开相似度检索技术。比如一个接一个的新闻和视频推荐、各种常见的对话机器人、保护我们日常账号安全的风控系统、能够用哼唱来找到歌曲的听歌识曲,甚至就连外卖配送的最佳路线选择也都有着它的身影。相信很多同学是第一次听说它,或者只知道它的大名,而不知该如何使用它。本篇文章,我们就来聊聊 faiss,分享这个“黑科技”是如何发挥神奇的“魔法”的。
by @技术头条 2022-09-03 23:31 分享 查看详情
美团搜索粗排优化的探索与实践 (tech.meituan.com)
粗排是工业界搜广推系统的重要模块。美团搜索排序团队在优化粗排效果的探索和实践中,基于业务实际场景,从精排联动和效果性能联合优化两方面优化粗排,提升了粗排的效果。本文介绍了美团搜索粗排的迭代路线、基于知识蒸馏和自动神经网络选择的粗排优化工作,希望为从事相关工作的同学带来一些启发或者帮助。
by @技术头条 2022-09-02 22:59 分享 查看详情
美团搜索粗排优化的探索与实践 (tech.meituan.com)
粗排是工业界搜广推系统的重要模块。美团搜索排序团队在优化粗排效果的探索和实践中,基于业务实际场景,从精排联动和效果性能联合优化两方面优化粗排,提升了粗排的效果。本文介绍了美团搜索粗排的迭代路线、基于知识蒸馏和自动神经网络选择的粗排优化工作,希望为从事相关工作的同学带来一些启发或者帮助。
by @技术头条 2022-09-02 22:59 分享 查看详情
借助 Docker 来搭 Nginx 的积木:快速实现高性能二维码服务 (soulteary.com)
本篇文章,依旧是聊聊如何 “使用 Nginx 和 Docker 来偷懒”。以生成我们常见的二维码为例,聊聊 Nginx 在日常业务中,除了做接入层业务之外的应用。本篇文章中,我们将侧重聊聊更通用的,在容器场景下借助 Docker 的预构建、多阶段构建等能力,来帮助 Nginx 进行“搭积木”的玩法,快速实现某个传统业务。
by @技术头条 2022-08-31 23:21 分享 查看详情
美团图数据库平台建设及业务实践 (tech.meituan.com)
美团有比较多的图数据存储及多跳查询需求,亟需一种组件来对千亿量级图数据进行管理。海量图数据的高效存储和查询是图数据库研究的核心课题,如何在大规模分布式场景中进行工程落地是我们面临的痛点问题。下面介绍美团在图数据库选型及平台建设方面的一些工作。
by @技术头条 2022-08-31 23:16 分享 查看详情