浅谈机器学习模型推理性能优化 (insights.thoughtworks.cn)

【简介】

在机器学习领域,清晰明了的数据预处理和表现优异的模型往往是数据科学家关注的重点,而实际生产中如何让模型落地、工程化也同样值得关注,工程化机器学习模型避不开的一个难点就是模型的推理(Inference / Serving)性能优化。

点击查看原文 >>

@Thoughtworks 2021-01-02 11:08 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
浅谈 Follow 中的设计理念 (innei.in)
本文分享了 Follow 应用中的核心设计理念,包括多种图标转换方式、Peek 模态预览、优雅的动效过渡(通过 Framer Motion)、层叠模态框的层级处理以及 AutoResize 组件的平滑高度调整。这些设计细节提升了用户体验,同时控制了动态效果强度,确保设备性能与用户偏好。
by @技术头条 2024-11-02 16:58 查看详情
对抗式机器学习攻击与缓解措施分类及术语(上) (blog.nsfocus.net)
本文介绍了NIST在对抗性机器学习中的分类和术语,分析了攻击阶段、目的和对抗措施,帮助提升AI系统的安全性和鲁棒性。
by @技术头条 2024-11-02 16:27 查看详情
图解Blink-Tree:B+Tree的一种并发优化结构和算法 (www.codedump.info)
本文介绍了 Blink-Tree,这是一种 B+Tree 的并发优化结构。通过引入 high key 和 link 指针,解决了并发访问时的性能问题,特别适用于高并发环境的存储引擎优化。如果你对数据库存储引擎感兴趣,这篇文章不容错过!
by @技术头条 2024-09-09 23:46 查看详情
浅谈 GUI 应用开发 (zgq.me)
本文深入探讨了 GUI 应用开发中的关键问题,从状态管理、生命周期到交互模式等多个角度分享了开发经验。无论你是前端开发者还是产品设计师,这篇文章都能为你在 GUI 开发中提供实用的见解和技巧。赶紧阅读,提升你的应用开发水平吧!
by @技术头条 2024-09-09 23:37 查看详情
【大模型系列】指令微调 (hubojing.github.io)
本文总结了大模型中的指令微调(Instruction Tuning)技术,重点介绍了如何通过指令化数据对大语言模型进行参数微调以提升任务性能。文章探讨了数据构建方法如Self-Instruct和Evol-Instruct,以及微调策略包括优化设置和高效微调方法。通过这些技术,模型可以在多任务场景中表现出色。此内容对希望提升大语言模型能力的研究者和开发者具有参考价值。
by @技术头条 2024-08-06 08:12 查看详情
【大模型系列】提示学习 (hubojing.github.io)
本文介绍了提示学习(Prompt Learning)的基础概念和应用场景。作者详细讨论了提示学习在大语言模型中的作用,以及如何通过优化提示来提高模型的任务表现。文章还分享了在实际应用中调整和设计提示的技巧,并探讨了该技术在自然语言处理中的未来发展趋势。这篇文章为希望利用大模型进行高效自然语言处理的开发者提供了有价值的见解。
by @技术头条 2024-08-06 08:11 查看详情
使用 OpenRewrite 优化代码 (www.diguage.com)
本文介绍了如何使用OpenRewrite工具优化Java代码。OpenRewrite可以通过自动化脚本进行代码重构,减少技术债务,提升代码质量。作者详细讲解了如何配置Maven插件,并使用多种重构“处方”,例如排序import语句、升级到Java 21、替换Base64实现,以及迁移到Spring Boot 3.2和JUnit 5。通过这些工具和方法,开发者可以简化代码维护和升级流程。
by @技术头条 2024-08-06 08:04 查看详情
大批量动画模型的优化 (blog.codingnow.com)
最近和公司一个开发团队探讨了一下他们正在开发的游戏中遇到的性能问题,看看应该如何优化。这个游戏的战斗场景想模仿亿万僵尸(They are billions)的场景。在亿万僵尸中,场景中描绘了上万的僵尸潮,但我们这个游戏,超过 500 个僵尸就遇到了性能问题。固然,手机的硬件性能比不上 PC ,但 500 这个数量级还是略低于预期。

对于游戏中大量类似的动画物体,肯定有方法可以优化。
by @技术头条 2024-05-05 23:26 查看详情
大众点评内容搜索算法优化的探索与实践 (tech.meituan.com)
本文整理自美团技术沙龙第80期《美团内容智能分发的算法实践》,分享内容主要包括三部分。第一部分介绍了大众点评内容搜索的场景特点以及面临的挑战;第二部分介绍了为应对这些困难和挑战,技术团队在链路各环节上做的实践优化,包括内容消费和搜索满意度的优化等等;第三部分是总结和对未来的展望。
by @技术头条 2024-03-31 21:14 查看详情
从存储模型聊一聊时序数据库的应用场景 (www.codedump.info)
本文介绍时序数据库的存储模型,只有理解了时序数据的存储模型,才能更好的了解时序数据库的优缺点以及其适用场景。
by @技术头条 2024-03-21 23:25 查看详情