关于 ChatGPT 的流式传输,你需要知道的一切 (blog.yuanpei.me)

【简介】

本文深入探讨了生成式 AI 产品如 ChatGPT 的流式输出效果,阐释了其目的在于减少用户等待时间,而非简单模仿人类行为。文章详细介绍了 Server-Sent Events(SSE)技术在实现流式传输中的应用,并通过代码示例展示了服务端配置和客户端数据接收的方法。同时,讨论了 WebSocket 技术作为 SSE 的替代方案,强调了在 AI 应用开发中实现流式传输的重要性。此外,文中还介绍了 .NET 中的 IAsyncEnumerable 接口,并讨论了在生成式 AI 中实现取消/停止生成功能的挑战,提出了基于 WebSocket 的双向通信机制来解决这一问题。最后,文章总结了流式传输在 AI 与人类交互中的重要性,并提出了对 AI 智能本质的思考。|

点击查看原文 >>

@技术头条 2024-08-06 07:33 / 原作者微博:@云来雁去 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
职场需要主动争取,否则根本轮不到你 (ixyzero.com)
在职场中,机会往往不会自动找上门,只有主动争取,才能把握自己的成长和发展空间。不要害怕表达自己的想法,展示自己的能力,否则机会可能早已落入他人之手!
by @技术头条 2024-11-23 21:53 查看详情
OpenTelemetry在企业内部应用所需要的技术栈 (crossoverjie.top)
本文详细解析了 OpenTelemetry 在企业中的技术栈应用,涵盖日志、指标和链路追踪的整合方案,帮助实现系统全方位的可观测性。介绍了 OpenTelemetry 的架构和关键组件如 Collector、eBPF,以及 SigNoz 和 OpenObserve 等开源工具,以实现统一的数据存储和可视化,适合需要高效、灵活监控的企业部署。
by @技术头条 2024-11-02 16:35 查看详情
今天才知道,Web网页也能阻止息屏了 (www.zhangxinxu.com)
Chrome和Safari浏览器都支持了名为Screen Wake Lock的API,可以设置Web网页打开的状态下,显示器屏幕不会自动休眠。
by @技术头条 2024-03-21 22:53 查看详情
chatGPT提示词(prompt)收集 (ixyzero.com)
关于ChatGPT,很多人用的时候发现问问题得到的答案并不如意,很大程度上是因为——问题的质量直接决定了答案的质量,没有Prompt的ChatGPT也只是比较聪明的人工智能而已!毕竟简单问问题的话,ChatGPT的回答也很容易出现空洞、绕圈子、答非所问等情况。因此,出现了Prompt,用GPT能听懂的语言告诉它要做什么!
by @技术头条 2023-12-26 22:19 查看详情
为什么需要 “API 网关”? (www.addesp.com)
在 OSI 模型的网络层中,网关通常指路由器,因为它可以实现局域网间的数据互通。API 网关的作用也类似,即接受客户端的请求,转发客户端的请求,转发服务端的响应给客户端。

那么这和客户端直接请求有什么区别呢?一大区别就是 API 网关可以将不同服务的接口聚合成一个接口,客户端只要请求一次,API 网关就可以根据请求向若干个服务发起请求,等到请求完成后,一起返回给客户端。
by @技术头条 2023-11-06 23:29 查看详情
iTerm2 使用 Zmodem 实现快速传输文件 (ixyzero.com)
前两天刚了解到可以用sz/rz命令进行本机和IDC服务器的文件传输,试了一下确实可以,不过还是很好奇原理是什么,这里简单记录一下sz/rz命令的环境搭建步骤和使用方法,方便后面参考。
by @技术头条 2023-09-10 23:26 查看详情
咨询师需要具备同理心 (insights.thoughtworks.cn)
合作的建立在于双方有共识和目标,共识不断扩大,目标一步步达成,双方产生信任,但这个过程可能会充斥着冲突和争议,最有效的方法就是建立理解和联结,也就是同理心。
by @Thoughtworks 2023-08-23 11:47 查看详情
使用AF_XDP Socket更高效的网络传输 (colobu.com)
Linux 网络栈并不缺乏功能,它的表现也很好 足以满足大多数用途。但是,在高速网络下,传统网络编程的额外开销占比太大了。在前一篇关于syscall.Socket的文章中,我们介绍了AF_PACKET类型的socket,它的性能着实一般,所有的数据都得在用户态和内核态之间做转换,而且在高并发的情况下还有大量的中断。使用eBPF XDP可以完美解决高性能的问题,我们在更早的文章中介绍了XDP的技术,Björn Töpel在Linux 4.18版本中为Socket增加了一个协议族 AF_XDP,可以利用Socket接口和XDP技术实现高性能的网络读写。
by @技术头条 2023-07-04 23:28 查看详情
每秒1百万的包传输,几乎不耗CPU的那种 (colobu.com)
这两年来我一直在做网络故障监控的工作,经常使用的一个手段就是发送一些探测包进行网络的探测,根据丢包和时延,再结合网络拓扑等手段分析现网网络故障。因为要监控的是度厂全部网络的质量状况,并且需要很高的精度去覆盖网络设备、板卡、端口以及他们之间映射等所有的路径,所以需要尽量发送高频的探测包去快准狠的感知到故障并发现。同时,和业务网络程序的不一样,业务程序一般是业务层代码,TCP的重传的机制,或者业务换个五元组重连一次,就会绕过网络中的故障,而网络监控也需要把这个链路中这些故障找出来,经常我会使用UDP或者TCP的握手包进行网络的探测,再不济使用ICMP协议进行网络的探测。
by @技术头条 2023-07-04 23:11 查看详情
让 OpenAI 更 Open,在 ChatGPT 里自由接入数据源 (soulteary.com)
本篇文章中,我们简单聊聊如何在 OpenAI 的 ChatGPT Web 客户端中,自由的接入和使用各种数据源。
by @技术头条 2023-07-02 23:45 查看详情