美团视觉GPU推理服务部署架构优化实践
面对在线推理服务使用的GPU资源不断增加、GPU利用率普遍较低的挑战，美团视觉研发团队决定通过模型结构拆分和微服务化进行优化，他们提出一种通用高效的部署架构，来解决这种常见的性能瓶颈问题。以“图像检测+分类”服务为例，优化后的服务压测性能指标GPU利用率由40%提升至100%，QPS也提升超过3倍。本文将会重点介绍推理服务部署架构优化的工程实践，希望对大家能有所帮助或启发。
相关分享
1
喜欢
请先微博登录后参与
zh
www.zhengwenfeng.com
/
2025-11-12 00:32
Go协程池深度解析：原理、实现与最佳实践
文章系统解析 Go 协程池的实现原理和实践，包括为何需要协程池、基本实现方式、协程数设置依据及性能对比测试。示例代码演示如何手动构建协程池，并推荐三种高性能第三方库（如 ants、tunny）。适合进行高并发控制和资源管理优化的场景。
无图
1
喜欢
请先微博登录后参与
so
soulteary.com
/
2025-01-12 12:02
突破内存限制：Mac Mini M2 服务器化实践指南
文章介绍了如何将 Mac Mini M2 转变为高性价比的服务器，突破内存限制。作者通过安装 Ubuntu 系统，利用持久化 KV 系统替代传统 Redis，优化内存与硬盘的数据交换，提升性能。适合对家庭服务器搭建、Mac Mini 改造、Linux 系统部署感兴趣的技术爱好者和开发者。
无图
1
喜欢
请先微博登录后参与
zh
www.zhangxinxu.com
/
2025-01-03 00:13
如何使用JS获取系统内存、CPU/GPU、电量等信息
这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息，详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析，展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员，提供了实用的开发参考。
无图
1
喜欢
请先微博登录后参与
pa
paper.seebug.org
/
2025-01-03 00:07
探索 AI 驱动的网络安全框架：深度学习技术、GPU 支持和未来增强
这篇文章详细分析了现代网络攻击中的 DGA（域名生成算法）技术，涵盖了其工作原理、分类及在恶意软件中的应用实例。通过技术解析和实际案例，展示了如何检测和防御 DGA 带来的安全威胁。内容适合网络安全研究人员、安全工程师以及对恶意软件分析感兴趣的技术爱好者，提供了系统化的学习参考。
无图
1
喜欢
请先微博登录后参与
co
colobu.com
/
2025-01-03 00:03
Go中秘而不宣的数据结构 CacheLinePad：精细化优化
这篇文章深入解析了 Go 语言中的 CacheLine 数据结构，详细探讨了其在多核环境下的内存对齐、伪共享问题以及性能优化方法。通过具体的代码示例和实验分析，文章展示了如何利用 CacheLine 提升并发程序的性能。内容专业且实用，对开发高性能 Go 应用的工程师有很高的参考价值，值得推荐阅读和分享。
无图
1
喜欢
请先微博登录后参与
co
colobu.com
/
2025-01-02 23:59
Go中秘而不宣的数据结构 BitVec, 资源优化方法之位向量
如何深入理解 Go 的内部数据结构？文章以 BitVec 为例，详细解析了其设计原理、实现方式以及在不同场景中的应用，还探讨了相关的性能优化策略和工程实践。这是一篇高质量的技术解读，为开发者学习 Go 的底层实现提供了宝贵的参考！
无图
1
喜欢
请先微博登录后参与
in
innei.in
/
2024-11-23 21:56
Vercel 部署的单页应用（SPA）动态 Meta 标签实践
在 Vercel 部署的单页应用（SPA）中，配置动态 Meta Tags 可改善 SEO 和分享体验。通过中间层实现 SSR 或利用 Edge Functions 渲染动态标签，可让每个页面呈现独立内容，兼顾性能与优化效果！
无图
1
喜欢
请先微博登录后参与
wi
wiki.eryajf.net
/
2024-11-02 17:08
AWS运维部署实践--快速拉起生产可用的EKS集群
本文详细介绍了在 AWS 上快速搭建生产级 EKS 集群的步骤，包括子网规划、IAM 配置、必要命令工具的安装以及集群的创建和授权。通过 `eksctl` 工具快速定义和创建 EKS 集群，并提供了集群权限管理与网络配置的建议，确保集群安全和稳定运行。文中还包含完工后的调整建议，如将访问端点调整为私有以提升安全性。
无图
1
喜欢
请先微博登录后参与
wi
wiki.eryajf.net
/
2024-11-02 17:03
AWS运维部署实践--使用sigma自建镜像仓库代替ECR
本文介绍了如何使用 `sigma` 替代 AWS 的 ECR 作为轻量级的镜像仓库解决方案。通过配置 `s3` 存储、端口监听等设置，实现了低资源占用下的高效镜像管理。文章详细提供了 `config.yaml` 文件的配置方案，以及 `sigma` 部署的具体步骤，适合在自建环境中替代 ECR 进行镜像管理。
无图
1
喜欢
请先微博登录后参与
in
innei.in
/
2024-11-02 16:57
React i18n CSR 最佳实践
本文探讨 React 应用在客户端渲染中的 i18n 实践，包括懒加载、性能优化和翻译文件管理的最佳方法。
无图