使用 llama.cpp 在本地部署 AI 大模型的一次尝试 (blog.yuanpei.me)

【简介】

本文旨在尝试使用 llama.cpp 在本地部署 AI 大模型,随着人工智能的快速发展,我们逐渐认识到私有化部署的重要性和潜力。在此背景下,llama.cpp 作为一个纯 C/C++ 实现的 LLaMA 模型推理工具,提供了在本地环境下高性能的 AI 推理能力。在这篇文章中,我们可以了解到 llama.cpp 具有在 GPU 和 CPU 环境下运行的灵活性,满足私有化部署的需求。文章详细介绍了 llama.cpp 编译和部署的过程,为读者提供了一份在本地部署 AI 大模型的教程。私有化部署的 AI 大模型,相比于 ChatGPT 这类通用大模型,更注重数据隐私和安全性,对云服务的依赖更少,可以做到更好的本地化控制。虽然编译 llama.cpp 有一定的复杂性,AI 大模型的下载、转化、量化需要一定的耐心,可当本地的 AI 应用运行起来的那一刻,博主觉得这一切完全值得。

点击查看原文 >>

@技术头条 2024-03-12 22:29 / 原作者微博:@云来雁去 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
Ansible使用Bitwarden存储Vault密码 (www.iots.vip)
本文介绍了如何使用 Bitwarden 的命令行客户端(bitwarden-cli)与 Ansible 集成,将 Ansible Vault 的密码存储在 Bitwarden 中,实现集中化管理。通过配置 vault_password_file,Ansible 可以调用存储在 Bitwarden 中的密码,避免在命令行中手动输入,提高安全性和便利性。该方法适用于需要在自动化流程中安全管理敏感信息的开发者和运维工程师。
by @技术头条 2025-01-12 11:53 查看详情
配置 harbor 及 docker 等使用 https (frytea.com)
默认情况下,Harbor不提供证书。可以在没有安全性的情况下部署Harbor,这样您就可以通过HTTP连接到它。但是,只有在没有连接到外部internet的空间隙测试或开发环境中才可以使用HTTP。在没有空间隙的环境中使用HTTP会暴露给中间人攻击。在生产环境中,始终使用HTTPS。如果启用带公证人的内容信任对所有images进行正确签名,则必须使用HTTPS。要配置HTTPS,必须创建SSL证书。您可以使用由受信任的第三方CA签名的证书,也可以使用自签名证书。本节介绍如何使用OpenSSL创建CA,以及如何使用CA签署服务器证书和客户端证书。
by @技术头条 2025-01-12 11:45 查看详情
AI Prompt 整理 (frytea.com)
prompt 原则:
1、写出清晰而具体的指示,清晰不是指短,而是尽量详细,可采用分隔符避免自己的要求和内容的混淆,分隔符形式不限:“””, < >, {}
2、给模型思考的时间。如果答案不对,可以尝试不断变化提问方式,直到得出想要结果。可以采用简化或分解问题的方式。
by @技术头条 2025-01-06 23:43 查看详情
AI 作为新型黑客:开发进攻性安全代理 (paper.seebug.org)
这篇文章深入解析了浏览器沙盒逃逸的技术原理,详细讲述了攻击者如何利用漏洞突破沙盒限制,实现对系统的进一步控制。通过真实案例和技术细节的剖析,展示了沙盒逃逸的核心思路和防御对策。内容适合网络安全研究人员、漏洞挖掘工程师,以及对浏览器安全机制感兴趣的技术从业者,提供了宝贵的学习资料和实践指导。
by @技术头条 2025-01-03 00:14 查看详情
如何使用JS获取系统内存、CPU/GPU、电量等信息 (www.zhangxinxu.com)
这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息,详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析,展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员,提供了实用的开发参考。
by @技术头条 2025-01-03 00:13 查看详情
探索 AI 驱动的网络安全框架:深度学习技术、GPU 支持和未来增强 (paper.seebug.org)
这篇文章详细分析了现代网络攻击中的 DGA(域名生成算法)技术,涵盖了其工作原理、分类及在恶意软件中的应用实例。通过技术解析和实际案例,展示了如何检测和防御 DGA 带来的安全威胁。内容适合网络安全研究人员、安全工程师以及对恶意软件分析感兴趣的技术爱好者,提供了系统化的学习参考。
by @技术头条 2025-01-03 00:07 查看详情
编译器,靠你了!使用类型改善状态设计 (onevcat.com)
如何用类型表达状态?文章深度解析了在 Swift 中通过类型系统管理状态的实践方法,涵盖了类型安全设计、编译期检查和减少运行时错误的技巧。通过实例展示,将状态逻辑融入类型定义,提升代码的健壮性和可维护性,是探索函数式编程思想的绝佳案例!
by @技术头条 2025-01-02 23:59 查看详情
使用开源软件搭建轻量的 NPM 私有仓库:Verdaccio (soulteary.com)
如何搭建轻量级 NPM 私有仓库?文章详细介绍了使用开源软件 Verdaccio 的实现方案,从环境准备到配置部署,再到权限管理和优化建议,完整覆盖每个步骤。同时分享了实际应用中的注意事项和性能调优经验,是团队项目管理和依赖控制的绝佳参考。值得尝试!
by @技术头条 2025-01-02 23:57 查看详情
Vercel 部署的单页应用(SPA)动态 Meta 标签实践 (innei.in)
在 Vercel 部署的单页应用(SPA)中,配置动态 Meta Tags 可改善 SEO 和分享体验。通过中间层实现 SSR 或利用 Edge Functions 渲染动态标签,可让每个页面呈现独立内容,兼顾性能与优化效果!
by @技术头条 2024-11-23 21:56 查看详情
WSL运行时遇到未知异常错误无法使用 (lisenhui.cn)
遇到 WSL 提示“发生未知错误”无法启动的问题?可能是系统更新、配置冲突或文件损坏导致。可通过重启服务、检查日志、重装 WSL 或升级内核来排查解决。保持系统与 WSL 的版本更新至关重要!
by @技术头条 2024-11-23 21:49 查看详情