实时计算神器：binlog--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

无图

bl blog.yuanpei.me / 2023-07-02 23:34

利用 MySQL 的 Binlog 实现数据同步与订阅(下)：EventBus 篇

终于到这个系列的最后一篇，在前两篇博客中，我们分别了介绍了Binlog的概念和事件总线(EventBus)的实现，在完成前面这将近好几千字的铺垫以后，我们终于可以进入正题，即通过 EventBus 发布 Binlog，再通过编写对应的 EventHandler 来订阅这些 Binlog，这样就实现了我们“最初的梦想”。坦白说，这个过程实在有一点漫长，庆幸的是，它终于还是来了。

查看详情

无图

bl blog.yuanpei.me / 2023-07-02 23:33

利用 MySQL 的 Binlog 实现数据同步与订阅(中)：RabbitMQ 篇

本文参考微软的 eShopOnContainers 项目，实现一个基于 RabbitMQ 的事件总线，事件总线是发布-订阅模式的一种延伸，可以在分布式的环境中令消息的发布者、订阅者完美地解耦，是领域驱动设计(DDD)中重要的基础设施之一，对于实现业务上的“事件驱动”非常有帮助。而实现 EventBus 最关键的三个方法，即 Publish()、Subscribe()和 Unsubscribe()，这其中需要了解一部分 RabbitMQ 的知识，所以，在这篇博客中，你可以了解到 RabbitMQ 的四种交换器、死信机制、重试超时机制等等。

查看详情

无图

bl blog.yuanpei.me / 2023-07-02 23:33

利用 MySQL 的 Binlog 实现数据同步与订阅(上)：基础篇

数据如果无法在这张网络中流通，则永远都是一潭死水，而如果要打通各个系统间的数据，则免不了写一个又一个的同步接口。这篇博客以 MySQL 的 Binlog 为切入点，试图通过 Binlog 来实现特定业务的“事件驱动”。Binlog 是实现主从复制的重要机制，而基于这一机制，业界普遍的做法是利用 MySQL 的交换协议，让客户端"伪装"成一个从库，在比较了 Canal 、Maxwell 以及 Python-Mysql-Replication 后，博主选择了. NET Core + RabbitMQ + Python 的方案，目标是让 Binlog 可以发布到消息总线(EventBus)中供消费者订阅和消费。

查看详情

无图

li linux.cn / 2023-02-12 14:08

通过编写嵌入式系统入门边缘计算

用于操控无线调制解调器的 AT 设备包是 RTOS 最流行的扩展功能之一。

RTOS 是一个开源的嵌入式设备操作系统，由 RT-Thread 开发。它为开发者提供了标准化的、友好的基础架构，开发者可以基于各种设备编写代码，它包含大量有用的类库和工具包，使开发过程更加便捷。

RTOS 使用的是模块方式，以便于扩展，这一点跟 Linux 类似。各种软件包可以让开发者将 RTOS 用于任何想要的目标设备。RTOS 最常用的一种扩展是 AT 设备包，它包含各种不同 AT 设备（例如调制解调器）的移植文件和示例代码。

在超过 62,000 次下载中（截止至撰写本文时），最流行的 RTOS 扩展之一是 AT 设备包，其中包括用于不同 AT 设备的移植文件和示例代码。

查看详情

无图

bl blog.nsfocus.net / 2023-02-12 14:04

隐私计算在医疗行业的应用

隐私计算是指在提供隐私保护的前提下，实现数据价值挖掘的技术体系，目前主要包括三大核心技术，分别是：联邦学习(Federated Learning)、安全多方计算(Secure Multi-Party Computation)和可信执行环境(Trusted Execution Environment)。隐私计算基于同态加密和密码学底层协议，可以实现“数据可用不可见”的效果，在满足法律法规和数据安全的条件下，加速数据的流转。

查看详情

无图

so soulteary.com / 2022-08-18 23:45

走进向量计算：制作 OpenBLAS Docker 预构建产物镜像

本篇文章，将聊聊如何在容器中完成支持多 CPU 架构（x86、ARM）、多种 CPU 类型（Intel、AMD）的 OpenBLAS 的 Docker 镜像，来让包括 Milvus 在内的，使用 OpenBLAS 的软件的 Docker 镜像构建可以“又稳又快”。我会试着在接下来的内容中，持续分享如何让一个拥有着一万多颗“星星”的大型数据库项目的容器构建过程不断提速。

查看详情

无图

mp mp.weixin.qq.com / 2022-08-01 10:08

真正的高颜值Markdown编辑神器！

Markdown 是一种可以使用普通文本编辑器编写的标记语言，通过简单的标记语法，它可以使普通文本内容具有一定的格式。

Markdown 在文字爱好者和码农们那里非常受欢迎，今天和大家推荐另一款高颜值的、功能强大的开源 Markdown 编辑器 - Notable，Notable 一款开源的高颜值、跨平台的 Markdown 编辑器。

查看详情

无图

mp mp.weixin.qq.com / 2022-05-15 09:51