对“技术质问产品的几个常见问题”的回答 (blog.csdn.net)
给某大厂的技术新人做了一个关于产品思维的分享,提前收集了一些困惑,贴几条提及最多的,稍微聊一下。

哦对了,先帮产品说句话——技术同学,千万别简单地用“那个产品是傻X”来回答以下问题。这是因为,作为技术,如果你总觉得和你配合的产品都是傻X,那大概率,别人会觉得你也是——要不然,为什么选择与傻X共事?所谓 “若,我看周围皆傻X,料,世人看我亦如是”。
by @技术头条 2024-05-05 23:33 查看详情
一次消息队列异常堆积的排查 (crossoverjie.top)
背景前两天收到业务反馈有一个 topic 的分区消息堆积了,根据之前的经验来看,要么是业务消费逻辑出现问题导致消费过慢,当然也有小概率是消息队列的 Bug(我们使用的是 pulsar)。排查通过排查,发现确实是在一点多的时候消息堆积了(后面是修复之后堆积开始下降)。。。
by @技术头条 2024-05-05 23:28 查看详情
大批量动画模型的优化 (blog.codingnow.com)
最近和公司一个开发团队探讨了一下他们正在开发的游戏中遇到的性能问题,看看应该如何优化。这个游戏的战斗场景想模仿亿万僵尸(They are billions)的场景。在亿万僵尸中,场景中描绘了上万的僵尸潮,但我们这个游戏,超过 500 个僵尸就遇到了性能问题。固然,手机的硬件性能比不上 PC ,但 500 这个数量级还是略低于预期。

对于游戏中大量类似的动画物体,肯定有方法可以优化。
by @技术头条 2024-05-05 23:26 查看详情
为什么是 RSC (一) (innei.in)
React 19 会正式引入 React Server Component(RSC) 的概念,Client Component 和 Server Component 从此将会正式分离。Next.js 从 13 版本就开始支持 Server Component。那么为什么是 RSC?优势到底何在?这一章节我们来探讨一下这个问题。
by @技术头条 2024-05-05 23:23 查看详情
Kubernetes中的事件收集以及监控告警 (jokerbai.com)
随着微服务以及云原生的发展,越来越多的企业都将业务部署运行到Kubernetes中,主要是想依托Kubernetes的可扩展、可伸缩、自动化以及高稳定性来保障业务的稳定性。
然而,Kubernetes本身是一个复杂的管理系统,它既然是作为企业业务的基础设施,其本身以及运行在集群内部的业务系统对于企业来说都变得非常重要。
by @技术头条 2024-05-05 23:22 查看详情
现代Python CRUD技术栈 (farer.org)
作为一名资深Python CRUD boy,在今天用flask和django干这些体力活已经稍显过时,flask这些年来功能并没太大进步,想用什么还是得自己折腾,在工程化方面比较考验开发者的个人素养。而django的虽然功能完善,但它的笨重在需要深度定制时,又显得束手束脚。
by @技术头条 2024-05-05 23:18 查看详情
凭据获取之浏览器 (paper.seebug.org)
本文介绍提取三种常见浏览器Password和Cookie的原理以及关键代码实现,测试版本为最新版浏览器。
by @技术头条 2024-04-23 23:56 查看详情
美团外卖基于GPU的向量检索系统实践 (tech.meituan.com)
到家搜索业务具有数据量大、过滤比高等特点,为了在保证高召回率的同时进一步提高检索性能,美团到家搜索技术团队与基础研发机器学习平台团队基于GPU实现了支持向量+标量混合检索的通用检索系统,召回率与检索性能均有较大提升。本文将介绍我们在GPU向量检索系统建设中遇到的挑战及解决思路,希望对大家有所帮助或启发。
by @技术头条 2024-04-23 23:26 查看详情
如何根据LLM的参数估算内存(显存)使用量 (it.deepinmind.com)
理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此,因为它会影响到硬件的选择和整体成本。
by @技术头条 2024-04-03 01:54 查看详情
什么是1-bit LLM (it.deepinmind.com)
生成式AI领域正在飞速发展,最新加入这个快速演进领域的是一1比特LLMs。你可能不相信,但它可以改变很多事情,并有助于消除与LLMs相关的一些最大挑战,尤其是它们庞大尺寸问题。

通常情况下(不总是这样),无论是LLMs还是逻辑回归等机器学习模型,其权重都以32位浮点数或16位浮点数的形式存储。

这就是为什么我们无法在本地系统和生产环境中使用GPT等大型模型的原因。因为这些模型具有大量权重,由于权重的高精度值导致模型体积庞大。
by @技术头条 2024-04-03 01:39 查看详情
百亿大规模图在广告场景的应用 (tech.meituan.com)
本文通过搜索推荐项目进行外卖搜索广告弱供给填充,提高流量变现效率。我们提出外卖多场景异构大图、异构大图在线建模技术演进路线,解决外卖搜索推荐业务多渠道、即时化的挑战。相关成果发表CIKM2023会议一篇。联合机器学习平台搭建大规模图训练、在线推理引擎GraphET,满足近百亿边规模、复杂图结构的多个业务落地。
by @技术头条 2024-03-31 21:17 查看详情
大众点评内容搜索算法优化的探索与实践 (tech.meituan.com)
本文整理自美团技术沙龙第80期《美团内容智能分发的算法实践》,分享内容主要包括三部分。第一部分介绍了大众点评内容搜索的场景特点以及面临的挑战;第二部分介绍了为应对这些困难和挑战,技术团队在链路各环节上做的实践优化,包括内容消费和搜索满意度的优化等等;第三部分是总结和对未来的展望。
by @技术头条 2024-03-31 21:14 查看详情
Agent是如何工作的:概念及LangChain实现 (it.deepinmind.com)
LLM(大型语言模型)在自主Agent领域的应用受到了广泛关注。你可能已经在诸如Auto-GPT、BabyAGI等流行应用中了解过它们的用法,这些应用几乎每天都层出不穷。

理解这些应用的基本原理并不复杂,因为大多数工具的工作流程大致相同。
by @技术头条 2024-03-31 21:13 查看详情
在 kubernetes 环境下如何优雅扩缩容 Pulsar (crossoverjie.top)
在整个大环境的降本增效的熏陶下,我们也不得不做好应对方案。

根据对线上流量、存储以及系统资源的占用,发现我们的 Pulsar 集群有许多的冗余,所以考虑进行缩容从而减少资源浪费,最终也能省一些费用。

不过在缩容之前很有必要先聊聊扩容,Pulsar 一开始就是存算分离的架构(更多关于 Pulsar 架构的内容本文不做过多介绍,感兴趣的可以自行搜索),天然就非常适合 kubernetes 环境,也可以利用 kubernetes 的能力进行快速扩容。
by @技术头条 2024-03-31 21:12 查看详情
异常检测是什么? (ixyzero.com)
简单整理一下在和AI对话时产生的一些对「异常检测」的理解,方便后面有需要的时候参考。

异常检测是识别与预期行为不同的事件或模式的过程(因此想要识别“异常”,就需要先明确“正常”是什么样的。一种逻辑是完全按照规范来,非白即黑,但在实际情况下这种的告警量太多导致基本不可用;另一种逻辑是按照统计指标进行从大到小排序,每次只处理当前的top5,要么正常要么异常,正常的话就去优化统计策略——加白,异常的话就加大统计指标权重,进一步发现更多异常。总之就是需要在准确率和召回率之间找到平衡)。

异常检测的准确性高度依赖于数据的质量,包括数据的完整性、一致性和准确性。

对于某些领域,需要深入了解数据的业务背景和特点,以便更好地识别异常。
by @技术头条 2024-03-31 21:10 查看详情
OpenVPN同时连接多个VPN服务 (www.iszy.cc)
在日常开发工作中,要连接不同的环境需要连接不同的 VPN 服务,OpenVPN 默认只会添加一个 Tap 网卡,只能来回切换 VPN,很不方便。所以我们只需要能够增加更多的 Tap 网卡即可。

接下来的操作都是以安装完 OpenVPN 为前提的,如果没有安装,可以前往官网进行安装。
by @技术头条 2024-03-31 21:08 查看详情
周刊(第8期):技术配图的一些心得 (www.codedump.info)
简单总结了一下个人技术配图的一些心得,总的大原则是:
1、区分:将组件、流程、趋势等之间的”区分“尽可能在图示中通过各种手段(如不同的颜色、形状、箭头)表达出来。
2、联系:组件之间的数据流动、状态切换等,都是它们之间的联系,也需要通过各种手段表达出来。
3、说明:可能的话,要在图中加上一些说明文字,如步骤说明、分类说明,等等。
by @技术头条 2024-03-31 21:06 查看详情
sqlite并发读写的演进之路 (www.codedump.info)
本文梳理sqlite并发读写方案的演进之路。
by @技术头条 2024-03-21 23:26 查看详情
从存储模型聊一聊时序数据库的应用场景 (www.codedump.info)
本文介绍时序数据库的存储模型,只有理解了时序数据的存储模型,才能更好的了解时序数据库的优缺点以及其适用场景。
by @技术头条 2024-03-21 23:25 查看详情
Lamport时钟介绍 (www.codedump.info)
在分布式系统中,由于有多个机器(进程)在一起协调工作,于是如何定义分布式系统中事件的先后顺序就成了难题,本文介绍论文 《Time, Clocks, and the Ordering of Events in a Distributed System》中提到的Lamport时钟。
by @技术头条 2024-03-21 23:24 查看详情