IT技术博客大学习 共学习 共进步

标签:LLM

共 3 篇相关文章

IT 累计浏览 4

Agent Loop 简介

LLM本身无状态,每次调用仅完成一次文本补全,但Agent Loop通过外部循环机制使其能连续执行复杂任务。该循环的核心是while结构,包含模型推理、工具调用判断、工具执行和结果回灌context四个步骤,使模型在每轮更新后的上下文中自主决策下一步动作。关键设计决策涉及终止条件(如最大步数、循环检测)、context管理(采用摘要压缩避免长度爆炸)、工具选择(原生function calling或提示词约定)、错误处理(混合策略拦截与模型自纠正)及并行优化。以开源项目learn-claude-code为例,展示了从基础loop到加入TodoWrite、子agent和context compact的演化,凸显harness代码仅是辅助模型的脚手架。Agent Loop存在局限性,如上下文窗口膨胀、工具调用幻觉、死循环和目标漂移,需通过工程组合策略缓解。随着模型能力增强,Agent Loop的未来形态可能变化,但当前仍是实现自主agent的核心架构。

IT 累计浏览 2

从「能用」到「好用」:LLM 流式响应实现方式的探索之路

在LLM应用开发中,Server-Sent Events已成为实现流式响应的事实标准,它基于HTTP协议轻量地实现实时数据推送。文章深入探讨了如何将SSE接口从基础的“能用”状态优化至“好用”层面。传统请求-响应模式需等待完整生成结果,而流式输出能实时展示模型的思考过程、工具调用及逐字生成内容,显著提升交互体验。基础实现虽简单——仅需设置正确的Content-Type和逐块写入事件流,但生产级应用需解决事件抽象、组件复用及优雅取消请求等挑战。作者通过实际编码演示,逐步拆解设计思路,引导读者掌握构建高效、可维护流式响应架构的方法,最终实现从功能演示到工程化实践的跨越。

IT 累计浏览 3

微博 × MCP:社交媒体新玩法解锁

这篇从作者的个人经历切入,讲的是如何将一个失败的AI产品蜕变为基于MCP协议的实用工具。受Twitter Personality启发,他曾开发微博性格报告,用提示工程分析用户画像,但后来被互动性更强的“评论罗伯特”类账号击败。代码先变为Agent插件,随着MCP协议爆火,最终以mcp-server-weibo形式重生——一个Model Context Protocol服务器,让大模型能直接获取微博数据。 项目提供了7个工具,比如通过search_users搜索用户、get_feeds抓取动态、get_trendings获取热搜,支持uid或关键词操作,并兼容stdio和streamable-http。它能在VS Code、Cursor等客户端使用,方便开发者集成。 作者认为AI更像一面镜子,从多角度观察人类,而MCP协议解锁了社交媒体分析的新玩法。这个复盘不仅展示了技术迁移的韧性,还为读者带来了一个可直接上手的工具,探索大模型与社交数据的结合。