部署机器学习方案之困(上) (blog.nsfocus.net)

【简介】

近年来,机器学习无论是作为学术研究领域还是实际商业问题的解决方案,都受到了越来越多的关注。然而,就像其他领域一样,在学术环境中起作用的研究和实际系统的要求之间往往存在着显著差异,所以在生产系统中部署机器学习模型可能会带来许多问题。

本文介绍一篇剑桥大学2020年发表的研究综述,其调研了在各种用例、行业和应用中部署机器学习解决方案的公开报告,提取了与机器学习部署工作流阶段对应的实际考虑因素。对于从业者而言,了解在机器学习部署的各个阶段所面临的挑战是非常重要的,本文将对这方面进行主要阐述,最后介绍潜在的解决方案,共分为上、下两篇,本篇为上篇,希望各位能从中受益并引发更多思考。

点击查看原文 >>

@技术头条 2023-02-12 14:04 / 原作者微博:@绿盟科技 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
Vercel 部署的单页应用(SPA)动态 Meta 标签实践 (innei.in)
在 Vercel 部署的单页应用(SPA)中,配置动态 Meta Tags 可改善 SEO 和分享体验。通过中间层实现 SSR 或利用 Edge Functions 渲染动态标签,可让每个页面呈现独立内容,兼顾性能与优化效果!
by @技术头条 12小时前 查看详情
AWS运维部署实践--快速拉起生产可用的EKS集群 (wiki.eryajf.net)
本文详细介绍了在 AWS 上快速搭建生产级 EKS 集群的步骤,包括子网规划、IAM 配置、必要命令工具的安装以及集群的创建和授权。通过 `eksctl` 工具快速定义和创建 EKS 集群,并提供了集群权限管理与网络配置的建议,确保集群安全和稳定运行。文中还包含完工后的调整建议,如将访问端点调整为私有以提升安全性。
by @技术头条 2024-11-02 17:08 查看详情
AWS运维部署实践--使用sigma自建镜像仓库代替ECR (wiki.eryajf.net)
本文介绍了如何使用 `sigma` 替代 AWS 的 ECR 作为轻量级的镜像仓库解决方案。通过配置 `s3` 存储、端口监听等设置,实现了低资源占用下的高效镜像管理。文章详细提供了 `config.yaml` 文件的配置方案,以及 `sigma` 部署的具体步骤,适合在自建环境中替代 ECR 进行镜像管理。
by @技术头条 2024-11-02 17:03 查看详情
AWS运维部署实践--route53私有域跨账号共享 (wiki.eryajf.net)
如果你的业务场景有多个 AWS 账号,那么私有域共享就是一个绕不开的话题。aws 中的 route53 私有域配置跨账号共享有两种方案,一种是直接跨账号关联 VPC,一种是通过配置文件共享的形式实现。本文采用第一种方案,只需要两条命令即可完成此需求。
by @技术头条 2024-11-02 16:52 查看详情
AWS运维部署实践--网络环境规划 (wiki.eryajf.net)
本文详述了 AWS 网络环境的规划,包括 VPC、子网、路由表的创建和管理。通过对公有、私有和内部子网的划分,以及 NAT 网关和 IGW 的配置,实现了不同网络的隔离与访问控制。同时,文章介绍了使用中转网关进行跨账号 VPC 打通的方法,为多账号和复杂网络环境提供了便捷的连接方案。这些规划为 AWS 运维部署打下了基础,有助于提升环境的安全性与可扩展性。
by @技术头条 2024-11-02 16:49 查看详情
温故而知新:后端通用查询方案的再思考 (blog.yuanpei.me)
本文探讨了后端通用查询方案的设计,通过 `Gridify` 库启发,提出基于泛型和接口的查询模型,优化分页和过滤功能。实现细节包括 `QueryParameter` 类和 `IQueryableFilter` 接口的使用,自定义模型绑定方式,使查询参数更灵活,支持多种前后端兼容格式。文章强调开发中平衡灵活性与规范性,并认为在 AI 辅助编程背景下,程序员应专注于复杂问题解决和生产关系的改善。
by @技术头条 2024-11-02 16:39 查看详情
对抗式机器学习攻击与缓解措施分类及术语(上) (blog.nsfocus.net)
本文介绍了NIST在对抗性机器学习中的分类和术语,分析了攻击阶段、目的和对抗措施,帮助提升AI系统的安全性和鲁棒性。
by @技术头条 2024-11-02 16:27 查看详情
对比脚本型和编译型游戏服务器的热更新方案 (www.codedump.info)
本文对比游戏服务器中C++搭配脚本语言(Lua、Python)以及纯编译型语言(C++、Golang)来进行开发时,进行线上服务器热更新的方案。
by @技术头条 2024-03-21 23:21 查看详情
使用 llama.cpp 在本地部署 AI 大模型的一次尝试 (blog.yuanpei.me)
本文旨在尝试使用 llama.cpp 在本地部署 AI 大模型,随着人工智能的快速发展,我们逐渐认识到私有化部署的重要性和潜力。在此背景下,llama.cpp 作为一个纯 C/C++ 实现的 LLaMA 模型推理工具,提供了在本地环境下高性能的 AI 推理能力。在这篇文章中,我们可以了解到 llama.cpp 具有在 GPU 和 CPU 环境下运行的灵活性,满足私有化部署的需求。文章详细介绍了 llama.cpp 编译和部署的过程,为读者提供了一份在本地部署 AI 大模型的教程。私有化部署的 AI 大模型,相比于 ChatGPT 这类通用大模型,更注重数据隐私和安全性,对云服务的依赖更少,可以做到更好的本地化控制。虽然编译 llama.cpp 有一定的复杂性,AI 大模型的下载、转化、量化需要一定的耐心,可当本地的 AI 应用运行起来的那一刻,博主觉得这一切完全值得。
by @技术头条 2024-03-12 22:29 查看详情
iOS备用机自动充电方案 (www.leavesongs.com)
炫酷一下,为了能让备用机一直有电,计划将备用机插在智能插座上,然后通过iOS的Shortcuts来监控手机电量——当手机电量小于30%的时候自动开启插座;当手机电量充到80%的时候自动关闭插座。
by @技术头条 2024-01-28 23:59 查看详情