利用 MySQL 的 Binlog 实现数据同步与订阅(上)：基础篇--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

利用 MySQL 的 Binlog 实现数据同步与订阅(上)：基础篇 (blog.yuanpei.me)

【简介】

数据如果无法在这张网络中流通，则永远都是一潭死水，而如果要打通各个系统间的数据，则免不了写一个又一个的同步接口。这篇博客以 MySQL 的 Binlog 为切入点，试图通过 Binlog 来实现特定业务的“事件驱动”。Binlog 是实现主从复制的重要机制，而基于这一机制，业界普遍的做法是利用 MySQL 的交换协议，让客户端"伪装"成一个从库，在比较了 Canal 、Maxwell 以及 Python-Mysql-Replication 后，博主选择了. NET Core + RabbitMQ + Python 的方案，目标是让 Binlog 可以发布到消息总线(EventBus)中供消费者订阅和消费。

点击查看原文 >>

由 @技术头条 2023-07-02 23:33 / 原作者微博：@云来雁去 / 0个评论

赞过的人： @IT技术博客大学习

Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。

by @技术头条 2024-11-02 16:52 查看详情

新一代实验分析引擎：驱动履约平台的数据决策 (tech.meituan.com)

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

by @技术头条 2024-11-02 16:18 查看详情

如何巧妙构建“LDAPS”服务器利用JNDI注入 (www.leavesongs.com)

如何利用 LDAPS 和 JNDI 注入？本文详细讲解了构建恶意 LDAPS 服务器并利用 Java JNDI 漏洞的过程，还介绍了如何通过 TLS 代理和工具组合来实现漏洞利用。如果你对安全测试或漏洞利用感兴趣，这篇文章提供了全面的实战指南！

by @技术头条 2024-09-09 23:39 查看详情

Android｜使用阿里云推流 SDK 实现双路推流不同画面 (mazhuang.org)

想知道如何在 Android 中通过阿里云 SDK 实现双路推流不同画面？本文介绍了一个巧妙的解决方案，虽然阿里云 SDK 不支持原生多路推流，但通过跨进程调用，实现了同时推送不同区域的画面，适用于直播和录播场景的分离展示。开发者不容错过的实战分享，赶快阅读！

by @技术头条 2024-09-08 23:26 查看详情

让AI 实现一个红黑树 (colobu.com)

文章探讨了使用AI帮助实现红黑树数据结构的过程。作者尝试使用多种AI工具模拟专家（如Rob Pike）实现红黑树，并进行了代码优化、单元测试和Fuzz测试。过程中发现AI生成的代码存在问题，但通过不断调整和AI协作，最终实现了功能完善的红黑树实现。文章强调AI在代码生成、测试和优化方面的潜力与不足。

by @技术头条 2024-08-06 07:52 查看详情

如何用简单的Web方法实现图片的马赛克效果 (www.zhangxinxu.com)

文章介绍了如何通过简单的Web技术实现图片的马赛克效果。作者主要讨论了使用SVG滤镜来实现此效果，尤其是通过使用像<feFlood>、<feComposite>和<feMorphology>等SVG元素。此外，文章还探讨了通过CSS属性image-rendering: pixelated来模拟马赛克效果的方法，即通过放大小图片来达到效果。文中提供了详细的示例和代码片段来帮助实现这些效果。

by @技术头条 2024-08-06 07:48 查看详情

Agent是如何工作的：概念及LangChain实现 (it.deepinmind.com)

LLM（大型语言模型）在自主Agent领域的应用受到了广泛关注。你可能已经在诸如Auto-GPT、BabyAGI等流行应用中了解过它们的用法，这些应用几乎每天都层出不穷。

理解这些应用的基本原理并不复杂，因为大多数工具的工作流程大致相同。

by @技术头条 2024-03-31 21:13 查看详情

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

为 log 实现的无锁 Ringbuffer (blog.codingnow.com)

这两天在改 log 模块。我们需要一个并发写 log 的模块，它有多个 log 生产者一个消费者，这个唯一的消费者在 log 线程中把 log 数据持久化。

大多数 log 生产者是在第三方库的 callback 函数中调用的，比如 bgfx ，如果写 log 不够快的话，就会阻塞渲染。这个 callback 需要自己保证线程安全。因为 bgfx 支持多线程渲染，所以写 log 的 callback 可能在不同的线程触发。

过去在实现 bgfx 的 luabinding 时，我实现了一个简单的 mpsc 队列，get_log 这个函数就是那个单一消费者，它取出队列中所有的 log 信息，返回到 lua 虚拟机中。

它是用 spin_lock 实现的。这两天，我想应该可以实现一个更通用的无锁版本。

在我的需求中，log 信息是允许丢掉的。所以我开了一个固定大小的 ri

by @技术头条 2024-03-12 22:45 查看详情