【大数据新手上路】“零基础”系列课程--日志服务（Log_Service）采集_ECS_日志数据到_MaxCompute--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【大数据新手上路】“零基础”系列课程--日志服务（Log_Service）采集_ECS_日志数据到_MaxCompute (click.aliyun.com)

由 @暖夏未眠丶 2017-05-16 14:15 / 0个评论

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。

by @技术头条 2024-11-02 16:52 查看详情

基于 Docker 搭建开发环境（二）：EFK 日志套件 (www.diguage.com)

本文介绍了如何使用 Docker 和 EFK（Elasticsearch、Fluentd、Kibana）套件构建日志管理系统，通过 Fluentd 将 NACOS 和业务日志集中发送至 Elasticsearch，方便数据分析和故障排查。文章提供了 `docker-compose.yml` 配置文件示例，解决了插件安装、权限设置和健康检查等常见问题，为构建灵活高效的日志管理系统提供了实用方法。

by @技术头条 2024-11-02 16:33 查看详情

新一代实验分析引擎：驱动履约平台的数据决策 (tech.meituan.com)

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

by @技术头条 2024-11-02 16:18 查看详情

日志与追踪的完美融合：OpenTelemetry MDC 实践指南 (crossoverjie.top)

本文介绍了如何在 OpenTelemetry 中使用 MDC（映射诊断上下文）实现日志与链路追踪的集成，帮助开发者快速定位问题。通过将 `trace_id` 等信息写入日志 MDC，实现日志和分布式追踪系统的无缝对接。在 Java 中结合 Logback 或 Log4j 并借助 OpenTelemetry agent，可以自动生成包含 MDC 的日志，便于多线程环境中的问题排查。

by @技术头条 2024-11-02 16:15 查看详情

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

为 log 实现的无锁 Ringbuffer (blog.codingnow.com)

这两天在改 log 模块。我们需要一个并发写 log 的模块，它有多个 log 生产者一个消费者，这个唯一的消费者在 log 线程中把 log 数据持久化。

大多数 log 生产者是在第三方库的 callback 函数中调用的，比如 bgfx ，如果写 log 不够快的话，就会阻塞渲染。这个 callback 需要自己保证线程安全。因为 bgfx 支持多线程渲染，所以写 log 的 callback 可能在不同的线程触发。

过去在实现 bgfx 的 luabinding 时，我实现了一个简单的 mpsc 队列，get_log 这个函数就是那个单一消费者，它取出队列中所有的 log 信息，返回到 lua 虚拟机中。

它是用 spin_lock 实现的。这两天，我想应该可以实现一个更通用的无锁版本。

在我的需求中，log 信息是允许丢掉的。所以我开了一个固定大小的 ri

by @技术头条 2024-03-12 22:45 查看详情

个人数据安全不完全指南 (thiscute.world)

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

by @技术头条 2024-03-12 22:32 查看详情

Nginx日志分析-MIME types (ixyzero.com)

Nginx日志的分析，尤其是加白，在不是特别清楚功能和作用的情况下，还是应该细粒度的操作，比如先按照Content-Type加白，就比按照domain维度的加白粒度会更细一点，比按照uri来加白要更方便和准确一点。简单记录一下，方便后面有需要的时候参考。

by @技术头条 2024-01-14 18:57 查看详情

Kratos 漫游指南 3 - 日志 (farer.org)

本篇讲讲Kratos日志组件的使用方式。

在服务上线后，我们可以使用日志来观察程序的行为、诊断问题或者配置相应的告警等。定义良好的结构化日志，能够提高日志的检索效率，使处理问题变得更加方便。

by @技术头条 2024-01-13 23:30 查看详情