IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:集群架构

共 2 篇相关文章

IT 累计浏览 2,797

保障IDC安全:分布式HIDS集群架构设计

面对百万级服务器规模的IDC环境,如何设计一套既可靠又高效的主机入侵检测系统(HIDS)集群?这篇文章从美团安全部的实际需求出发,剖析了在如此大规模下HIDS Agent管理面临的核心挑战——包括如何实现低损耗部署、集群的快速精准控制、配置一致性保障,以及Agent与服务器间通信的安全性。 作者详细阐述了架构选型的思考过程。在分布式系统的CAP定理框架下,为保障控制指令的最终一致性(即下发关停时,Agent必须执行),团队果断选择了CP架构。通过对比etcd、ZooKeeper与Consul,最终选定etcd作为核心组件,利用其Watch机制实现实时配置下发、Lease租约感知主机下线、以及细粒度的TLS加密与RBAC权限控制。 文章不止于理论,更深入到实战层面,分享了基于etcd的Key前缀设计策略,以及为应对DNS故障而采用的IP与域名混合部署的集群管理实践。对于从事大规模运维或安全架构设计的工程师而言,文中关于“如何在有限资源下管理百万级终端”的具体思路与踩坑经验,具有很强的参考价值。

IT 累计浏览 2,319

从未降级的搜索-主搜索分层优化

这篇讲的是淘宝主搜索如何通过索引分层技术,将集群架构从二维升级到三维,从而解决长期存在的性能与扩展性瓶颈。 作者从主搜索沿用多年的二维架构出发,指出其存在机器消耗多、低质量商品拖累效率、索引结构单一且难以支持多样化排序等核心问题。文章提出的分层优化方案,核心思路是将商品按质量(Good/Bad)和特定排序需求(如人气)拆分成不同集群,并设计相应的检索策略。例如,对人气排序查询优先走仅包含头部商品的Excellent集群,而对一般查询则优先查Good集群,不足时再补充Bad集群。 这种三维架构带来了显著收益:不仅将集群规模缩减了36%,整体检索性能提升了120%,最终还带动了6%的搜索GMV增长。文章用清晰的架构图和具体数据,展示了如何通过精巧的索引设计,在控制成本的同时满足多样化的排序需求,为主搜索的业务拓展提供了坚实的技术基础。