IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:RAG

共 2 篇相关文章

IT 累计浏览 183

我把775篇收藏塞进4MB向量库:一个比Karpathy Wiki更能"翻箱底"的RAG skill

作者开发了chao-rag-wiki,一个基于RAG的个人知识库skill,将775篇文章索引到4MB向量库。采用turbovec实现高效向量检索,支持混合检索模式:稠密向量处理语义相似性,BM25关键词检索确保字面匹配,通过RRF融合结果,并可选LLM重排优化排序。建索引时按chunk文本哈希去重,避免重复内容干扰。与Karpathy的llm-wiki对比,chao-rag-wiki无需AI编译,直接检索原始素材,实现零编译延迟和全量召回,适合长尾查询和专有名词;而llm-wiki将素材编译成结构化wiki文章,提供知识沉淀。文章通过实战查询验证:对于“loop engineering”,llm-wiki输出整合文章;对于“grill skill”,chao-rag-wiki成功召回冷门内容。集成方面,结合Obsidian Web Clipper自动抓取网页内容存入raw目录,定时任务自动运行增量索引,确保新内容快速可搜。该方案互补使用,兼顾全面召回和知识提炼,提升个人知识管理效率。

IT 累计浏览 88

2026 年,我把自己做成了一个 AI

在生成式 AI 时代,作者主动将其分散于博客、社交媒体及 GitHub 等平台的大量公开内容结构化,构建了一个可对话的个人知识系统。他首先在“关于”页面,让六个不同大模型基于 11 万字的结构化数据(经 AI 预处理摘要)生成多视角的第三方作者画像,通过多模型对比提升可信度。随后,他构建了可直接在博客内交互的 AI 分身。该系统技术栈包括基于 Cloudflare Workers 的 Vinext 框架、Vercel AI SDK,通过 OpenAI 兼容接口接入多家模型,并自研了基于倒排索引与权重评分的 RAG 搜索核心。工作流程涵盖追问检测与意图判定以实现缓存复用、并行本地搜索与 AI 关键词提取、基于意图分类的重排,以及三层设计的系统提示词。为抑制大模型的幻觉,系统采用了严格的来源限制、数字与履历验证等协议,确保回答有据可依。作者通过 Telegram Bot 实现了全链路追踪与监控。他最终反思了 AI 分身与真实自我因公开内容筛选而产生的偏差,并展望了扩展数据源与降低 API 依赖的未来方向,强调主动将分散内容构建为可对话知识系统的重要性。