BR 技术头条 技术链接、资讯与社区分享流
in insights.thoughtworks.cn / 2021-01-02 11:08 / by @Thoughtworks

浅谈机器学习模型推理性能优化

打开原文 喜欢 1 请先微博登录后参与 0 条评论
本机暂存
在机器学习领域，清晰明了的数据预处理和表现优异的模型往往是数据科学家关注的重点，而实际生产中如何让模型落地、工程化也同样值得关注，工程化机器学习模型避不开的一个难点就是模型的推理（Inference / Serving）性能优化。

赞过的人

@IT技术博客大学习

发表评论

请先微博登录后参与

相关分享

co colobu.com / 2025-01-03 00:03

Go中秘而不宣的数据结构 CacheLinePad：精细化优化

这篇文章深入解析了 Go 语言中的 CacheLine 数据结构，详细探讨了其在多核环境下的内存对齐、伪共享问题以及性能优化方法。通过具体的代码示例和实验分析，文章展示了如何利用 CacheLine 提升并发程序的性能。内容专业且实用，对开发高性能 Go 应用的工程师有很高的参考价值，值得推荐阅读和分享。

查看详情
无图
co colobu.com / 2025-01-02 23:59

Go中秘而不宣的数据结构 BitVec, 资源优化方法之位向量

如何深入理解 Go 的内部数据结构？文章以 BitVec 为例，详细解析了其设计原理、实现方式以及在不同场景中的应用，还探讨了相关的性能优化策略和工程实践。这是一篇高质量的技术解读，为开发者学习 Go 的底层实现提供了宝贵的参考！

查看详情
无图
in innei.in / 2024-11-02 16:58

浅谈 Follow 中的设计理念

本文分享了 Follow 应用中的核心设计理念，包括多种图标转换方式、Peek 模态预览、优雅的动效过渡（通过 Framer Motion）、层叠模态框的层级处理以及 AutoResize 组件的平滑高度调整。这些设计细节提升了用户体验，同时控制了动态效果强度，确保设备性能与用户偏好。

查看详情
无图
co www.codedump.info / 2024-09-09 23:46

图解Blink-Tree：B+Tree的一种并发优化结构和算法

本文介绍了 Blink-Tree，这是一种 B+Tree 的并发优化结构。通过引入 high key 和 link 指针，解决了并发访问时的性能问题，特别适用于高并发环境的存储引擎优化。如果你对数据库存储引擎感兴趣，这篇文章不容错过！

查看详情
无图
zg zgq.me / 2024-09-09 23:37

浅谈 GUI 应用开发

本文深入探讨了 GUI 应用开发中的关键问题，从状态管理、生命周期到交互模式等多个角度分享了开发经验。无论你是前端开发者还是产品设计师，这篇文章都能为你在 GUI 开发中提供实用的见解和技巧。赶紧阅读，提升你的应用开发水平吧！

查看详情
无图
hu hubojing.github.io / 2024-08-06 08:12

【大模型系列】指令微调

本文总结了大模型中的指令微调（Instruction Tuning）技术，重点介绍了如何通过指令化数据对大语言模型进行参数微调以提升任务性能。文章探讨了数据构建方法如Self-Instruct和Evol-Instruct，以及微调策略包括优化设置和高效微调方法。通过这些技术，模型可以在多任务场景中表现出色。此内容对希望提升大语言模型能力的研究者和开发者具有参考价值。

查看详情
无图
hu hubojing.github.io / 2024-08-06 08:11

【大模型系列】提示学习

本文介绍了提示学习（Prompt Learning）的基础概念和应用场景。作者详细讨论了提示学习在大语言模型中的作用，以及如何通过优化提示来提高模型的任务表现。文章还分享了在实际应用中调整和设计提示的技巧，并探讨了该技术在自然语言处理中的未来发展趋势。这篇文章为希望利用大模型进行高效自然语言处理的开发者提供了有价值的见解。

查看详情
无图
di www.diguage.com / 2024-08-06 08:04

使用 OpenRewrite 优化代码

本文介绍了如何使用OpenRewrite工具优化Java代码。OpenRewrite可以通过自动化脚本进行代码重构，减少技术债务，提升代码质量。作者详细讲解了如何配置Maven插件，并使用多种重构“处方”，例如排序import语句、升级到Java 21、替换Base64实现，以及迁移到Spring Boot 3.2和JUnit 5。通过这些工具和方法，开发者可以简化代码维护和升级流程。

查看详情
无图
bl blog.codingnow.com / 2024-05-05 23:26

大批量动画模型的优化

最近和公司一个开发团队探讨了一下他们正在开发的游戏中遇到的性能问题，看看应该如何优化。这个游戏的战斗场景想模仿亿万僵尸(They are billions）的场景。在亿万僵尸中，场景中描绘了上万的僵尸潮，但我们这个游戏，超过 500 个僵尸就遇到了性能问题。固然，手机的硬件性能比不上 PC ，但 500 这个数量级还是略低于预期。

对于游戏中大量类似的动画物体，肯定有方法可以优化。

查看详情
无图