Spark调优经验总结--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

无图

so soulteary.com / 2024-08-06 07:58

2024 年中总结 - 苏洋

本文总结了作者在2024年上半年的个人成长和技术进展。作者在GitHub上积极参与开源项目，分享了1100多次代码提交，推动了多个Docker项目的发展。同时，他在知乎和其他技术平台上取得了显著的写作成就，包括获得“大模型优秀答主”称号。此外，作者还参与了多个技术活动和社区交流，推动AI技术的普及和应用。文章还提到他在多平台上的活跃表现和未来的计划。

查看详情

无图

te tech.meituan.com / 2024-01-28 23:48

美团RASP大规模研发部署实践总结

RASP是Runtime Application Self-Protection（运行时应用自我保护）的缩写，是一种应用程序安全技术。RASP 技术能够在应用程序运行时检测并阻止应用级别的攻击。随着云计算和大数据的发展，应用程序安全越来越受到重视。RASP 技术作为一种新型的安全防护手段，正在逐渐被业界接受并广泛应用。

查看详情

无图

cn www.cnxct.com / 2024-01-17 23:15

RASP是Runtime Application Self-Protection（运行时应用自我保护）的缩写，是一种应用程序安全技术。RASP 技术能够在应用程序运行时检测并阻止应用级别的攻击。随着云计算和大数据的发展，应用程序安全越来越受到重视。RASP 技术作为一种新型的安全防护手段，正在逐渐被业界接受并广泛应用。其中Java RASP 是一种针对 Java 应用程序的 RASP 技术。通过在 Java 虚拟机（JVM）级别进行监控和防护，能够有效防止对 Java 应用程序的攻击。

查看详情

无图

ad www.addesp.com / 2023-12-26 22:24

nginx 防火墙模块开发总结

那段时间我的站点有时会打不开，起初以为是网络问题，后来越来越严重，进入后台才发现数据库 IO 拉满了。看了看 nginx 的日志才发现站点被疯扫，于是打算做点什么。

然后在 Github 上看了几个防火墙模块，要不然功能不全，要不然使用复杂，于是萌生了自己写模块的想法。

查看详情

无图

bl blog.yuanpei.me / 2023-07-02 23:28

实现网页长截图的常见思路总结

作为一个经常写博客的人，我有时会在微博上分享博客内容，可不知道从什么时候开始，国内互联网越来越丧失信仰，所有的厂商都在试图打造一个**“只进不出”的信息孤岛，进而达到增强“用户黏度”的目的。

既然外链注定要被屏蔽掉，那我就勉为其难地顺应潮流发“长截图”咯，所以，接下来我会为大家分享实现网页“长截图”**的常见思路，希望对有类似烦恼或者需求的小伙伴们有所帮助。

查看详情

无图

lu luolei.org / 2023-06-24 09:04

如何用 ChatGPT 助力开发: 已经有 15 万人看过的经验分享

自从年初开始关注这波 AI 浪潮，我将 AI 纳入了自己的工作流程，已经有一段时间了。现在我基本上一有机会就向他人推荐，建议尽快将 AI 引入开发流程。

今天这篇文章，分享一些目前自己利用 AI 服务相关的一些经验、工具和服务。

查看详情

无图

zh www.zhangxinxu.com / 2022-12-18 20:04

划词评论与Range开发若干经验分享

如果你有类似划词评论的开发需求，本文内容不容错过，这可是外面很难找到的开发素材，暂时没有遇到类似需求也没关系，可以Star下项目，日后再说。

查看详情

无图

52 www.52nlp.cn / 2022-12-10 22:41

OCR技术发展综述与达观数据的实践经验

光学字符识别OCR技术（Optical Character Recognition）是指从图像中自动提取文字信息的技术。这项技术横跨了人工智能里的两大领域：CV（计算机视觉）和NLP（自然语言处理），综合使用了这两大领域中的很多技术成果。

在过往40余年的技术发展历程中，OCR始终具备很强的产业应用背景，是计算机领域里少数几个一开始就由工业界和学术界双轮驱动的领域。近年来OCR技术已经在工业界成熟落地应用，学术界里对此的研究热度反而弱于其他方向。甚至有人认为OCR技术已经充分成熟，没有更多研究必要了。然而随着近年来智能文本处理IDP（Intelligent Document Processing）在工业界的逐步落地应用，OCR和IDP相结合的应用场景越来越多，用语义理解NLP的角度进一步去延伸OCR的应用，出现了很多更有产业应用价值的场景。本文回顾了OCR技术的发展历程，并结合达观数据在工程实践方面的经验，介绍与语义分析技术结合后，当前OCR技术的一些最新发展和落地经验。

查看详情

无图

wk wklken.me / 2022-08-18 23:28

缓存使用的一些经验

在一个大的项目中，使用了全缓存模型，即，所有数据都会经过cache。简单分层：应用->内存缓存->redis缓存->数据库。是一个典型的多读写少的场景，并且数据量。请求量非常大。总结了一些使用经验，供参考。

查看详情

无图

Spark调优经验总结

发表评论

相关分享