相关分享
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算,使用 Gluten 和 Velox 框架,实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战,适合关注大数据优化的技术人员。
防止数据泄露的高效策略-翻译整理
简单来说,就是数据安全左移,在每一个阶段都做卡点和检测,提高入侵/获取敏感数据的成本,减少后续阶段的日志告警量,提高告警检测准确率,利用自动化工具/平台提高响应的速度和效率。
未授权不可访问;有账号凭证要检测是否正常(常用设备、常用网络、常见时间、常见操作行为、……);有账号也仅知其所需最小权限;梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地,大部分操作在线即可完成,系统埋点要全面和准确;对于数据下载和外发格外关注,下载设备的DLP的健康状态和策略的有效性需要及时检查。
架构设计 the Easy Way
前几日,我在团队内部举行了一场技术分享,我介绍了关于架构设计的最佳实践。将这些实践凝练成了 20 字口诀:架构看问题、需求看用例、设计看模型、细节看时序。
我将顺口溜转到了 Twitter,不少朋友对这些顺口溜产生了浓厚兴趣,希望深入了解。因此,我将我分享中的观点扩展成了这篇文章。
通过编写嵌入式系统入门边缘计算
用于操控无线调制解调器的 AT 设备包是 RTOS 最流行的扩展功能之一。
RTOS 是一个开源的嵌入式设备操作系统,由 RT-Thread 开发。它为开发者提供了标准化的、友好的基础架构,开发者可以基于各种设备编写代码,它包含大量有用的类库和工具包,使开发过程更加便捷。
RTOS 使用的是模块方式,以便于扩展,这一点跟 Linux 类似。各种软件包可以让开发者将 RTOS 用于任何想要的目标设备。RTOS 最常用的一种扩展是 AT 设备包,它包含各种不同 AT 设备(例如调制解调器)的移植文件和示例代码。
在超过 62,000 次下载中(截止至撰写本文时),最流行的 RTOS 扩展之一是 AT 设备包,其中包括用于不同 AT 设备的移植文件和示例代码。
隐私计算在医疗行业的应用
隐私计算是指在提供隐私保护的前提下,实现数据价值挖掘的技术体系,目前主要包括三大核心技术,分别是:联邦学习(Federated Learning)、安全多方计算(Secure Multi-Party Computation)和可信执行环境(Trusted Execution Environment)。 隐私计算基于同态加密和密码学底层协议,可以实现“数据可用不可见”的效果,在满足法律法规和数据安全的条件下,加速数据的流转。
走进向量计算:制作 OpenBLAS Docker 预构建产物镜像
本篇文章,将聊聊如何在容器中完成支持多 CPU 架构(x86、ARM)、多种 CPU 类型(Intel、AMD)的 OpenBLAS 的 Docker 镜像,来让包括 Milvus 在内的,使用 OpenBLAS 的软件的 Docker 镜像构建可以“又稳又快”。我会试着在接下来的内容中,持续分享如何让一个拥有着一万多颗“星星”的大型数据库项目的容器构建过程不断提速。
How to find the corresponding session in MogDB/openGauss from OS thread ID
当MogDB数据库由于某种原因占用了较大的系统负载,比如CPU占用接近100%,那么如何知道到底是数据库里的哪个会话或者哪些会话占用了资源?
在Oracle数据库中,这样的问题诊断,通常都会关联 v$session, v$process, 以及操作系统top命令或者ps命令中查到的操作系统进程ID。
但是MogDB本身是线程模型,在操作系统上只能看到一个进程号,那么该如何定位问题?
Ghost in the Log4Shell
核弹级漏洞 Log4Shell(CVE-2021-44228)的影响必将是深远的,不仅仅是当下肉眼可见的攻击事件和损失数据,在相当长时间的将来我们都会被这次的阴影所笼罩 – 蠕虫病毒和勒索软件的肆虐,个人敏感数据的大量泄漏。
如何优化您的日常决策(翻译)
当今的生活和工作都是快节奏的,人们每天都会遇到各种各样的事情,并需要做出做相应的决策:哪些事情先做,哪些事情后做,哪些事情应该做,哪些事情不应该做。前些天有读到一篇文章:How to Optimize Your Daily Decisions,作者所做的思考,以及给出的建议,不仅通俗易懂,而且也方便用于日常工作、生活。因此有翻译成中文,分享给有需要的朋友;以下是原文。
分布式计算框架状态与容错的设计
本文从通用视角介绍了状态与容错的基本概念,以Hadoop、Spark、Flink为例分析了具体框架的实现原理。
