美团高性能终端实时日志系统建设实践 (tech.meituan.com)

【简介】

你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。

点击查看全文 >>

@技术头条 2022-12-18 20:06分享 / 0个评论
要不要再学学下面的文章?
如何使用 journalctl 查看和分析 systemd 日志(附实例) (linux.cn)
本指南介绍了systemd的 journalctl 工具及其各种命令的基础知识。你可以使用这些命令对 Linux 中的桌面和服务器日志进行故障诊断。以下是如何使用 journalctl 查看和分析 systemd 日志的不同例子。
by @技术头条 2023-02-16 23:13 分享 查看详情
美团视觉GPU推理服务部署架构优化实践 (tech.meituan.com)
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战,美团视觉研发团队决定通过模型结构拆分和微服务化进行优化,他们提出一种通用高效的部署架构,来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例,优化后的服务压测性能指标GPU利用率由40%提升至100%,QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践,希望对大家能有所帮助或启发。
by @技术头条 2023-02-12 14:37 分享 查看详情
基于代码属性图的自动化漏洞挖掘实践 (paper.seebug.org)
应用程序分析技术挖掘应用漏洞一直以来都是学术界和工业界的研究重点之一。从最初的正则匹配到最近的代码属性图挖掘方案,国内外有很多来自不同阶段的安全工具或商业产品来发掘程序代码的安全问题。在 Java 语言方面,业界已经有了不少出色的产品,如 CodeQL 等,但是,多数产品考虑的角度是从甲方视角或开源视角出发的,也就是产品的输入大部分是以源码为主。然而,我们安全研究人员更多面对地是编译后的项目,比如编译后的 WAR、第三方依赖 JAR 等形式。对于此类形式目标的漏洞挖掘,当前存在的审计产品或多或少都有一些限制,比如最近几年很火的 CodeQL 就无法直接处理此类形式的目标代码。当前,安全研究人员大多以人工或一些辅助工具来完成此类形式项目的漏洞挖掘。很明显,这种方式审计效率是非常低的,而且,审计结果也很容易遗漏。为此,需要一款能解决此类问题的工具。
by @技术头条 2023-02-12 14:12 分享 查看详情
systemd 日志维护指南(附实例) (linux.cn)
systemd 内置了很多管理系统日志的功能。在本指南中,我们将介绍如何管理系统日志,并对其采取轮换、归档和清除日志等操作。我们还解释了手动系统日志清理方法和使用配置文件的变化。

希望本指南能帮助你了解 systemd 日志管理流程的基本情况。通过这些,你可以通过限制空间、清除旧的日志文件来管理系统或服务器中的日志文件所使用的磁盘空间。这些只是指导性的命令,你可以通过多种方式组合这些命令来实现你的系统需求。
by @技术头条 2023-02-12 14:08 分享 查看详情
Code:美团代码托管平台的演进与实践 (tech.meituan.com)
美团代码托管平台经过长期的打磨,完成了分布式架构的改造落地,托管数以万计的仓库,日均Git相关请求达到千万级别。本文主要介绍了美团代码托管平台在迭代演进过程中面临的挑战及解决思路,希望对大家有所帮助或启发。
by @技术头条 2023-02-12 14:03 分享 查看详情
关于性能测试需要知道的 (insights.thoughtworks.cn)
什么是性能测试,性能测试的目的是什么、解决什么问题,性能测试都有哪些类型,相关指标有哪几类?性能测试流程是什么?有哪些工具推荐?本文一一揭晓。
by @Thoughtworks 2023-01-19 15:17 分享 查看详情
美团开放平台SDK自动生成技术与实践 (tech.meituan.com)
美团开放平台为整个美团提供了20+业务场景的开放API,为了使开发者能够快速且安全的接入美团开放平台,美团开放平台提供了多种语言的SDK来提高开发者的接入效率。本文介绍了美团开放平台如何自动生成SDK代码的相关技术实现方案,希望对大家能够有所帮助或者启发。
by @技术头条 2023-01-10 00:07 分享 查看详情
攻击溯源-手把手教你利用SPADE搭建终端溯系统 (blog.nsfocus.net)
SPADE是一个开源的系统,可以实现溯源数据的推理、存储与查询功能。该系统是一种跨平台的溯源系统,可以应用到区块链、在线社交网络与APT溯源调查中。SPADE可以看成一个分布式的溯源调查工具,以溯源图的形式组织系统日志,溯源攻击过程。该工具支持多种操作系统。SPADE系统支持多种应用,本文只专注其在溯源调查上的应用。该团队基于该系统有多篇顶会顶刊的研究成果,同时该工具声称支持了darpa TC项目,即darpa TC数据集有他们的贡献。
by @技术头条 2023-01-04 23:42 分享 查看详情
MacBook 与其他设备的低成本高性能数据传输方案(二) (soulteary.com)
本篇文章,补充多台不同芯片(M1、M2、x86)的 MacBook 使用雷电数据线进行数据传输,以及使用 2.5G 网卡满足不支持雷电传输设备之间的性能测试。
by @技术头条 2023-01-04 23:38 分享 查看详情
MacBook 与其他设备的低成本高性能数据传输方案(一) (soulteary.com)
本篇文章分享在不使用路由器的情况下,使用“数据线或网线”将 MacBook 与其他设备连接在一起,获得更高效率的数据交换性能。
by @技术头条 2023-01-04 23:38 分享 查看详情