Go 中的高速数据包处理:从 net.Dial 到 AF_XDP (colobu.com)

【简介】

最近编写了一个Go程序,向数百万个IP地址发送ICMP ping消息。显然,希望这个过程能尽可能快速高效地完成。因此,这促使我研究各种与网络栈交互和快速发送数据包的各种方法。这是一个有趣的旅程,所以在本文中,我将分享一些学习成果,并记录下来供将来参考:)你将看到,仅使用8个内核就可以达到1880万数据包/秒。这里还有一个GitHub仓库,其中包含了示例代码,可以方便地跟随学习。

点击查看原文 >>

@技术头条 2024-03-21 22:55 / 原作者微博:@colobu / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
Go中秘而不宣的数据结构: 四叉堆,不是普通的二叉堆 (colobu.com)
文章讲解了 Go 语言定时器底层实现中四叉堆的设计原理,解释其在 Go 运行时的作用。通过使用四叉堆(4-ary heap)替代二叉堆,优化了定时器性能,特别是在高并发场景中。

适合人群:Go 语言开发者及对运行时机制、高性能定时器实现感兴趣的工程师。
by @技术头条 2025-01-20 00:03 查看详情
Go中秘而不宣的数据结构: 四叉堆,不是普通的二叉堆 (colobu.com)
文章介绍了 Go 语言中定时器使用的四叉堆数据结构,分析其相较于二叉堆的优势,如降低堆高度以提升性能,并回顾了 Go 不同版本中定时器实现的演进过程。适合对 Go 语言运行时实现细节、数据结构优化及并发编程感兴趣的开发者阅读。
by @技术头条 2025-01-12 12:03 查看详情
Go中秘而不宣的数据结构 CacheLinePad:精细化优化 (colobu.com)
这篇文章深入解析了 Go 语言中的 CacheLine 数据结构,详细探讨了其在多核环境下的内存对齐、伪共享问题以及性能优化方法。通过具体的代码示例和实验分析,文章展示了如何利用 CacheLine 提升并发程序的性能。内容专业且实用,对开发高性能 Go 应用的工程师有很高的参考价值,值得推荐阅读和分享。
by @技术头条 2025-01-03 00:03 查看详情
Go中秘而不宣的数据结构 Treap:随机化的二叉搜索树 (colobu.com)
这篇文章详细解析了 Go 语言中 Treap 数据结构的实现和应用。内容涵盖了 Treap 的设计思想、核心算法以及在实际场景中的使用案例,还深入探讨了平衡二叉树与堆的结合特点及其性能优势。对于希望了解 Go 内部实现或探索高效数据结构的开发者,这篇文章提供了丰富的干货和学习价值,值得推荐。
by @技术头条 2025-01-03 00:01 查看详情
Go中秘而不宣的数据结构 BitVec, 资源优化方法之位向量 (colobu.com)
如何深入理解 Go 的内部数据结构?文章以 BitVec 为例,详细解析了其设计原理、实现方式以及在不同场景中的应用,还探讨了相关的性能优化策略和工程实践。这是一篇高质量的技术解读,为开发者学习 Go 的底层实现提供了宝贵的参考!
by @技术头条 2025-01-02 23:59 查看详情
OpenCV 模糊处理图片中包含的二维码 (blog.wangmao.me)
之前在某电商 App 上浏览商品评论区时,发现一些晒单照片中包含的二维码被马赛克处理了,从马赛克的处理痕迹来看不像是用户手动处理的,更像是机器识别+处理的,对此我更好奇其实现原理了。

借助 ChatGPT,了解到主流的处理方式是通过 OpenCV 识别二维码的位置,并创建一个模糊图层对其覆盖。
by @技术头条 2024-08-06 07:37 查看详情
聊聊 Go 的边界检查消除技术 (colobu.com)
在翻译的从慢速到SIMD一文中, SourceGraph工程师其中的一个优化就是边界检查消除(BCE,bounds check elimination)技术,同时他也抛给了读者一个问题:

为啥在使用 a[i:i+4:i+4] 而不是 a[i:i+4]?

本文第一部分先回答这个问题。 第二部分介绍更好的边界检查消除方法。 第三部分再全面梳理Go的边界检查消除技术。
by @技术头条 2024-03-21 23:00 查看详情
高效I/O并发处理:双缓冲和Exchanger (colobu.com)
双缓冲(double buffering)是高效处理I/O操作的一种并发技术,它使用两个buffer,一个goroutine使用其中一个buffer进行写,而另一个goroutine使用另一个buffer进行读,然后进行交换。这样两个goroutine可能并发的执行,减少它们之间的等待和阻塞。

本文还提供了一个类似Java的java.util.concurrent.Exchanger的Go并发原语,它可以用来在两个goroutine之间交换数据,快速实现双缓冲的模式。 这个并发原语可以在github.com/smallnest/exp/sync/Exchanger找到。
by @技术头条 2024-01-17 23:05 查看详情
Go运行时的并发原语 (colobu.com)
这篇文章我们来了解一下隐藏在Go运行时中的一些并发原语, 因为运行时是底座和包循环依赖等原因,运行时中很少使用标准库中的并发原语,它有自己的并发原语。
by @技术头条 2024-01-14 19:07 查看详情
Go单线程运行也会有并发问题 (colobu.com)
一个Go大佬群中严肃的讨论了一个问题:Go程序单线程多goroutine访问一个map会遇到并发读写panic么?

答案是肯定的,因为出现了这个问题所以大家才在群中讨论。

为什么呢?因为单线程意味着并行单元只有一个(多线程也可能并行单元只有一个),但是多goroutine意味着并发单元有多个,如果并发单元同时执行,即使是单线程,可能就会产生数据竞争的问题,除非这些goroutine是顺序执行的。
by @技术头条 2023-12-11 23:04 查看详情