向量数据库入坑指南:聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss (soulteary.com)

【简介】

我们日常使用的各种 APP 中的许多功能,都离不开相似度检索技术。比如一个接一个的新闻和视频推荐、各种常见的对话机器人、保护我们日常账号安全的风控系统、能够用哼唱来找到歌曲的听歌识曲,甚至就连外卖配送的最佳路线选择也都有着它的身影。相信很多同学是第一次听说它,或者只知道它的大名,而不知该如何使用它。本篇文章,我们就来聊聊 faiss,分享这个“黑科技”是如何发挥神奇的“魔法”的。

点击查看全文 >>

@技术头条 2022-09-03 23:31分享 / 原作者微博:@soulteary / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
技术改变了什么? (insights.thoughtworks.cn)
行动者的异质性导致了技术发展的多样性。当我们结合微观与宏观的视角时,技术对于社会的影响便不再是点对点的,而更像是一层层洋葱圈。本文将从三个方面探索技术对于个人以及社会的作用力。
by @Thoughtworks 2022-09-20 11:50 分享 查看详情
图技术在美团外卖下的场景化应用及探索 (tech.meituan.com)
在外卖广告CTR预估建模中,我们依托图技术在场景化上进行了一系列探索。本文首先介绍了使用图网络技术的出发点,然后从特征层面的抽象图关系到子图扩展以及场景感知子图,逐步介绍如何使用图技术建模业务问题,并针对联合训练的线上服务细节及效果进行解释和分析,希望能给从事相关工作的同学带来一些帮助或启发。
by @技术头条 2022-09-13 23:34 分享 查看详情
基于AI算法的数据库异常监测系统的设计与实现 (tech.meituan.com)
美团数据库平台研发组,面临日益急迫的数据库异常发现需求,为了更加快速、智能地发现、定位和止损,我们开发了基于AI算法的数据库异常检测服务。本文从特征分析、算法选型、模型训练与实时检测等维度介绍了我们的一些实践和思考,希望为从事相关工作的同学带来一些启发或者帮助。
by @技术头条 2022-09-12 22:41 分享 查看详情
设备指纹技术介绍与综述(二) (blog.nsfocus.net)
繁荣的物联网生态构建于物联网设备的发展之上,然而广泛部署的海量设备却给设备识别与监管带来了挑战。本文对基于行为的设备指纹技术依照用途、目标设备、信息来源、评估技术进行介绍。
by @技术头条 2022-09-12 22:40 分享 查看详情
向量数据库入坑:传统文本检索方式的降维打击,使用 Faiss 实现向量语义检索 (soulteary.com)
在上一篇文章[《聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss》]中,我们有聊到如何快速入门向量检索技术,借助 Meta AI(Facebook Research)出品的 faiss 实现“最基础的文本内容相似度检索工具”,初步接触到了“语义检索”这种对于传统文本检索方式具备“降维打击”的新兴技术手段。有朋友在聊天中提到,希望能够聊点更具体的,比如基于向量技术实现的语义检索到底比传统文本检索强多少,以及是否有局限性,能不能和市场上大家熟悉的技术产品进行一个简单对比。那么,本篇文章就试着从这个角度来聊聊。
by @技术头条 2022-09-12 22:39 分享 查看详情
美团图数据库平台建设及业务实践 (tech.meituan.com)
美团有比较多的图数据存储及多跳查询需求,亟需一种组件来对千亿量级图数据进行管理。海量图数据的高效存储和查询是图数据库研究的核心课题,如何在大规模分布式场景中进行工程落地是我们面临的痛点问题。下面介绍美团在图数据库选型及平台建设方面的一些工作。
by @技术头条 2022-08-31 23:16 分享 查看详情
走进向量计算:制作 OpenBLAS Docker 预构建产物镜像 (soulteary.com)
本篇文章,将聊聊如何在容器中完成支持多 CPU 架构(x86、ARM)、多种 CPU 类型(Intel、AMD)的 OpenBLAS 的 Docker 镜像,来让包括 Milvus 在内的,使用 OpenBLAS 的软件的 Docker 镜像构建可以“又稳又快”。我会试着在接下来的内容中,持续分享如何让一个拥有着一万多颗“星星”的大型数据库项目的容器构建过程不断提速。
by @技术头条 2022-08-18 23:45 分享 查看详情
大众点评搜索相关性技术探索与实践 (tech.meituan.com)
搜索相关性用于衡量Query和Doc的相关程度,是搜索引擎的重要环节,本文主要讲述大众点评搜索团队在相关性计算上的技术探索和实践,通过多相似矩阵模型结构、多阶段训练等方法提升预训练模型在相关性问题上的效果,同时解决基于交互的模型在线预测的性能问题,希望为从事相关工作的同学能够带来一些启发或者帮助。
by @技术头条 2022-08-18 23:18 分享 查看详情
数据仓库项目从来不是技术项目 (insights.thoughtworks.cn)
本文提供了一个从落地实施角度观察数据仓库的视角,数据仓库并不是简单的技术组件堆砌,使数据仓库产生价值更需要会“掘金”。
by @Thoughtworks 2022-07-26 11:11 分享 查看详情
数据库全量SQL分析与审计系统性能优化之旅 (tech.meituan.com)
全量SQL(所有访问数据库的SQL)可以有效地帮助安全进行数据库审计,帮助业务快速排查性能问题。一般可通过开启genlog日志或者启动MySQL审计插件方式来进行获取,而美团选用了一种非侵入式的旁路抓包方案,使用Go语言实现。无论采用哪种方案,都需要重点关注它对数据库的性能损耗。本文介绍了美团基础研发平台抓包方案在数据库审计实践中遇到的性能问题以及优化实践,希望能对大家有所帮助或启发。
by @技术头条 2022-07-24 20:48 分享 查看详情