每秒1百万的包传输，几乎不耗CPU的那种--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

这两年来我一直在做网络故障监控的工作，经常使用的一个手段就是发送一些探测包进行网络的探测，根据丢包和时延，再结合网络拓扑等手段分析现网网络故障。因为要监控的是度厂全部网络的质量状况，并且需要很高的精度去覆盖网络设备、板卡、端口以及他们之间映射等所有的路径，所以需要尽量发送高频的探测包去快准狠的感知到故障并发现。同时，和业务网络程序的不一样，业务程序一般是业务层代码，TCP的重传的机制，或者业务换个五元组重连一次，就会绕过网络中的故障，而网络监控也需要把这个链路中这些故障找出来，经常我会使用UDP或者TCP的握手包进行网络的探测，再不济使用ICMP协议进行网络的探测。

点击查看原文 >>

由 @技术头条 2023-07-04 23:11 / 原作者微博：@colobu / 0个评论

赞过的人： @IT技术博客大学习

关于 ChatGPT 的流式传输，你需要知道的一切 (blog.yuanpei.me)

本文深入探讨了生成式 AI 产品如 ChatGPT 的流式输出效果，阐释了其目的在于减少用户等待时间，而非简单模仿人类行为。文章详细介绍了 Server-Sent Events（SSE）技术在实现流式传输中的应用，并通过代码示例展示了服务端配置和客户端数据接收的方法。同时，讨论了 WebSocket 技术作为 SSE 的替代方案，强调了在 AI 应用开发中实现流式传输的重要性。此外，文中还介绍了 .NET 中的 IAsyncEnumerable 接口，并讨论了在生成式 AI 中实现取消/停止生成功能的挑战，提出了基于 WebSocket 的双向通信机制来解决这一问题。最后，文章总结了流式传输在 AI 与人类交互中的重要性，并提出了对 AI 智能本质的思考。|

by @技术头条 2024-08-06 07:33 查看详情

CPU篇之软中断 (www.codedump.info)

软中断作为下半部机制的代表，是随着SMP（share memory processor）的出现应运而生的，它也是tasklet实现的基础（tasklet实际上只是在软中断的基础上添加了一定的机制）。软中断一般是“可延迟函数”的总称，有时候也包括了tasklet（请读者在遇到的时候根据上下文推断是否包含tasklet）。它的出现就是因为要满足上面所提出的上半部和下半部的区别，使得对时间不敏感的任务延后执行，而且可以在多个CPU上并行执行，使得总的系统效率可以更高。

by @技术头条 2024-03-21 23:03 查看详情

CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化 (soulteary.com)

本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。

by @技术头条 2023-12-26 22:06 查看详情

Kubernetes OOM和CPU节流 (jokerbai.com)

使用 Kubernetes 时，内存不足 (OOM) 错误和 CPU 节流是云应用程序中资源处理的主要难题。
这是为什么？
云应用程序中的 CPU 和内存要求变得越来越重要，因为它们与您的云成本直接相关。
通过 limits 和 requests ，您可以配置 pod 应如何分配内存和 CPU 资源，以防止资源匮乏并调整云成本。
如果节点没有足够的资源， Pod 可能会通过抢占或节点压力被驱当一个进程运行内存不足 (OOM) 时，它会被终止，因为它没有所需的资源。
如果 CPU 消耗高于实际限制，进程将开始节流。
但是，如何主动监控 Kubernetes Pod 到达 OOM 和 CPU 节流的距离有多近？

by @技术头条 2023-12-01 09:47 查看详情

iTerm2 使用 Zmodem 实现快速传输文件 (ixyzero.com)

前两天刚了解到可以用sz/rz命令进行本机和IDC服务器的文件传输，试了一下确实可以，不过还是很好奇原理是什么，这里简单记录一下sz/rz命令的环境搭建步骤和使用方法，方便后面参考。

by @技术头条 2023-09-10 23:26 查看详情

构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型 (soulteary.com)

本篇文章聊聊如何使用 GGML 机器学习张量库，构建让我们能够使用 CPU 来运行 Meta 新推出的 LLaMA2 大模型。

by @技术头条 2023-07-30 21:36 查看详情

使用AF_XDP Socket更高效的网络传输 (colobu.com)

Linux 网络栈并不缺乏功能，它的表现也很好足以满足大多数用途。但是，在高速网络下，传统网络编程的额外开销占比太大了。在前一篇关于syscall.Socket的文章中，我们介绍了AF_PACKET类型的socket，它的性能着实一般，所有的数据都得在用户态和内核态之间做转换，而且在高并发的情况下还有大量的中断。使用eBPF XDP可以完美解决高性能的问题，我们在更早的文章中介绍了XDP的技术，Björn Töpel在Linux 4.18版本中为Socket增加了一个协议族 AF_XDP,可以利用Socket接口和XDP技术实现高性能的网络读写。

by @技术头条 2023-07-04 23:28 查看详情

如何在 Linux 中使用 SCP 安全地传输文件 (linux.cn)

在网络上文件传输可以通过各种不同的方式和协议来完成。远程复制文件最常用的协议是 Rsync、SCP 和 SFTP。在本文中，我们将了解什么是 SCP 以及如何在 Linux 和类 Unix 操作系统中使用 SCP 在本地和远程计算机之间安全地传输文件。

by @技术头条 2022-12-24 23:38 查看详情

Go CPU profiler 内幕 (colobu.com)

Go 是那种自带 profiler (分析器)的语言之一。它的运行时包含强大的自成一派的各种 profiler。其它语言，比如 Ruby、Python 和 Node.js, 它们也包含 profiler或者一些用来编写profiler的API，但是与Go的开箱即用的 profiler相比，它们提供的profiler功能有限。如果你想多了解Go提供的这些可观察工具的情况，我强烈推荐你阅读 Felix Geisendörfer的 The Busy Developer’s Guide to Go Profiling, Tracing and Observability。

作为一个好奇的工程师，我喜欢挖掘事物在底层上的工作方式，我一直想去学习Go CPU profiler底层·是怎么工作的。这篇文章就是此次探索的结果。每当我阅读Go运行时代码时，我总是学到到一些新东西，这次也不例外。

by @技术头条 2022-12-18 20:08 查看详情

CPU是如何进行分支预测的？ (mp.weixin.qq.com)

历史上CPU分支预测算法演进过程、实现细节、tradeoff和对应论文介绍。

by @张雅宸_zyc 2022-07-13 14:31 查看详情