BR 技术头条 技术链接、资讯与社区分享流
yq yq.aliyun.com / 2019-11-15 15:18 / by @可耐芊小仙女

Apache Flink 的迁移之路，2 年处理效果提升 5 倍

打开原文 0 条评论
我们最开始是以 standalone cluster 的模式部署。从 2017 年上半年开始，我们逐步把 Game Analytics 中一些小流量的 etl-job 迁移到 Flink，到 4 月份时，已经将产品接收各版本 SDK 数据的 etl-job 完全迁移至 Flink，并整合成了一个 job。形成了如下的数据流和 stream graph：

发表评论

相关分享

zh www.zhangxinxu.com / 2024-08-06 07:48

如何用简单的Web方法实现图片的马赛克效果

文章介绍了如何通过简单的Web技术实现图片的马赛克效果。作者主要讨论了使用SVG滤镜来实现此效果，尤其是通过使用像<feFlood>、<feComposite>和<feMorphology>等SVG元素。此外，文章还探讨了通过CSS属性image-rendering: pixelated来模拟马赛克效果的方法，即通过放大小图片来达到效果。文中提供了详细的示例和代码片段来帮助实现这些效果。

查看详情
无图
bl blog.wangmao.me / 2024-08-06 07:37

OpenCV 模糊处理图片中包含的二维码

之前在某电商 App 上浏览商品评论区时，发现一些晒单照片中包含的二维码被马赛克处理了，从马赛克的处理痕迹来看不像是用户手动处理的，更像是机器识别+处理的，对此我更好奇其实现原理了。

借助 ChatGPT，了解到主流的处理方式是通过 OpenCV 识别二维码的位置，并创建一个模糊图层对其覆盖。

查看详情
无图
co colobu.com / 2024-03-21 22:55

Go 中的高速数据包处理:从 net.Dial 到 AF_XDP

最近编写了一个Go程序，向数百万个IP地址发送ICMP ping消息。显然，希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到，仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

查看详情
无图
co colobu.com / 2024-01-17 23:05

高效I/O并发处理：双缓冲和Exchanger

双缓冲(double buffering)是高效处理I/O操作的一种并发技术，它使用两个buffer,一个goroutine使用其中一个buffer进行写，而另一个goroutine使用另一个buffer进行读，然后进行交换。这样两个goroutine可能并发的执行，减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语，它可以用来在两个goroutine之间交换数据，快速实现双缓冲的模式。 这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。

查看详情
无图
io www.iots.vip / 2023-08-18 23:09

优雅的处理Git多帐号与代理问题

　　在工作中，常常会容易遇到一台电脑用多个 Git 账号的场景，比如账号 company 账号是工作用的，而账号 personal 是自己个人用的。 由于 Git 本身并没有多账号的机制，导致我们在默认设置下无法很好的区分哪个仓库使用哪个账号。 同时，在某些众所周知的场景下，我们无法直接访问到 Github 仓库，需要走一层 proxy 来加速我们的代码拉取与推送速度， 本文将使用 SSH config 相对优雅的解决这些问题。

查看详情
无图
di www.diguage.com / 2023-07-04 23:26

分布式锁之 Apache Curator InterProcessReadWriteLock

在上一篇文章 分布式锁之 Apache Curator InterProcessMutex 中介绍了基于 ZooKeeper 实现的互斥锁。除此之外，还可以实现读写锁。这篇文章就来简要介绍一下 InterProcessReadWriteLock 的实现原理。

查看详情
无图
di www.diguage.com / 2023-07-04 23:25

分布式锁之 Apache Curator InterProcessMutex

对分布式锁耳熟能详。不过，一直关注的是基于 Redis 实现的分布式锁。知道 ZooKeeper 也可以实现分布式锁。但是，原来的想法是把 Redis 那个思路切换到 ZooKeeper 上来实现就好。今天了解到 Apache Curator 内置了分布式锁的实现： InterProcessMutex。查看了一下源码实现，发现跟基于 Redis 实现的源码相比，在思路上还是有很大不同的。所以，特别作文记录一下。

查看详情
无图
li linux.cn / 2023-06-24 23:31

系统运维 | 如何在 RHEL 9/8 上设置高可用性 Apache（HTTP）集群

在本文中，我们将介绍如何在 RHEL 9/8 上使用 Pacemaker 设置两节点高可用性 Apache 集群。

Pacemaker 是适用于类 Linux 操作系统的高可用性集群软件。Pacemaker 被称为“集群资源管理器”，它通过在集群节点之间进行资源故障转移来提供集群资源的最大可用性。Pacemaker 使用 Corosync 进行集群组件之间的心跳和内部通信，Corosync 还负责集群中的投票选举（Quorum）。

查看详情
无图