本文深入探讨了生成式 AI 产品如 ChatGPT 的流式输出效果,阐释了其目的在于减少用户等待时间,而非简单模仿人类行为。文章详细介绍了 Server-Sent Events(SSE)技术在实现流式传输中的应用,并通过代码示例展示了服务端配置和客户端数据接收的方法。同时,讨论了 WebSocket 技术作为 SSE 的替代方案,强调了在 AI 应用开发中实现流式传输的重要性。此外,文中还介绍了 .NET 中的 IAsyncEnumerable 接口,并讨论了在生成式 AI 中实现取消/停止生成功能的挑战,提出了基于 WebSocket 的双向通信机制来解决这一问题。最后,文章总结了流式传输在 AI 与人类交互中的重要性,并提出了对 AI 智能本质的思考。|
最近和公司一个开发团队探讨了一下他们正在开发的游戏中遇到的性能问题,看看应该如何优化。这个游戏的战斗场景想模仿亿万僵尸(They are billions)的场景。在亿万僵尸中,场景中描绘了上万的僵尸潮,但我们这个游戏,超过 500 个僵尸就遇到了性能问题。固然,手机的硬件性能比不上 PC ,但 500 这个数量级还是略低于预期。