6月2日云栖精选夜读:存储与计算分离:OSS构建表_+_计算引擎对接 (click.aliyun.com)

【简介】

摘要: 看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。

点击查看原文 >>

@乱蓬头199302 2017-06-06 14:35 / 0个评论
要不要再学学下面的文章?
IM服务器设计-消息存储 (www.codedump.info)
这部分专门讲述IM消息存储的设计。消息存储的难度在于,要考虑以下的场景:

1、离线消息存储。即发送消息时对方不在线该怎么处理。
2、单聊、群聊消息。
3、随着用户量越来越大,应该以后如何扩展。
by @技术头条 2024-03-13 13:33 查看详情
白话 Pulsar Bookkeeper 的存储模型 (crossoverjie.top)
最近我们的 Pulsar 存储有很长一段时间数据一直得不到回收,但消息确实已经是 ACK 了,理论上应该是会被回收的,随着时间流逝不但没回收还一直再涨,最后在没找到原因的情况下就只有一直不停的扩容。

为了防止类似的问题再次发生,我们希望可以监控到磁盘维度,能够列出各个日志文件的大小以及创建时间。

这时就需要对 Pulsar 的存储模型有一定的了解,也就有了这篇文章。
by @技术头条 2024-01-17 23:10 查看详情
MinIO的分布式存储实践方案 (l1n.wang)
MinIO是一个开源的分布式对象存储组件,它兼容Amazon S3API,适合于存储大容量的非结构化数据,支持单个对象最大5TB。MinIO特点:部署简单,仅需要单独一个二进制文件;支持纠删码机制,能恢复部分数据块丢失的情况;读写性能高。
by @技术头条 2024-01-17 23:07 查看详情
ChCore 构建系统实现思路 (stdrc.cc)
读研期间的一个工作是为实验室的 ChCore 操作系统重写了新的构建系统——ChBuild,主要包括各级 CMake 脚本、配置系统和构建入口脚本。目前构建系统已经跟随 第二版 ChCore Lab 开源,所以现在可以尝试分享一下思路。如果你不了解 ChCore Lab,也没有关系,这里主要是想粗浅地介绍一些 CMake 很有趣且有用的特性和技巧,可以只看关于这些的内容。

下面的讨论基于 ChCore Lab v2 的 lab5 分支,因为这里包含了比较完整的操作系统代码结构。在阅读之前,建议你首先理解 Modern CMake By Example 中的绝大部分内容。
by @技术头条 2023-12-11 23:07 查看详情
廉价的家用工作站方案:ThinkPad 存储升级及数据迁移 (soulteary.com)
最近,给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移,对硬盘也做了额外的散热处理。本篇文章里,我们分享下相关的经验和思考,希望能够帮助到有同样诉求的你。
by @技术头条 2023-09-10 23:14 查看详情
KDD 2023 | 美团技术团队精选论文解读 (tech.meituan.com)
本文精选了美团技术团队被KDD 2023收录的7篇论文进行解读,论文覆盖了Feed流推荐、多模态数据、实例分割、用户意图预测等多个方向。这些论文也是美团技术团队与国内多所高校、科研机构合作的成果。希望给从事相关研究工作的同学带来一些启发或者帮助。
by @技术头条 2023-08-26 21:45 查看详情
构建能够使用 CPU 运行的 MetaAI LLaMA2 中文大模型 (soulteary.com)
本篇文章聊聊如何使用 GGML 机器学习张量库,构建让我们能够使用 CPU 来运行 Meta 新推出的 LLaMA2 大模型。
by @技术头条 2023-07-30 21:36 查看详情
实现 go 的 goroutine 本地存储又一种方式 (xiezhenye.com)
go 本身没有对外提供 goroutine 本地存储,而现实中,又经常需要在上下文中传递一些数据。使用 context 也是一种方式,但是要求在所有需要的地方都要传递,还是非常麻烦,而且有侵入性。
偶然发现 go 已经提供了一个用于 profile 的 pprof label,可以在 goroutine 中携带一些数据。不过这个东西既然是用于 pprof 的,随意往里塞太多东西显然也不适合,还会对 pprof 产生干扰。所以,想办法只用其中一个 label,用一些黑科技把一个 map 放了进去,将影响降到最小。同时,pprof 包中已经有一些基于 context 访问处理 label 的逻辑,所以还要做一些兼容处理,避免被其覆盖。
by @技术头条 2023-07-04 23:07 查看详情
CVPR 2023 | 美团技术团队精选论文解读 (tech.meituan.com)
本文精选了美团技术团队被CVPR 2023收录的8篇论文进行解读。这些论文既有自监督学习、领域自适应、联邦学习等通用学习范式方面的技术迭代,也涉及目标检测、跟踪、分割、Low-level Vision等典型视觉任务的性能,体现了美团在基础通用技术和垂直领域技术上的全方位创新。这些论文也是美团技术团队与国内多所高校、科研机构合作的成果。希望给从事相关研究工作的同学带来一些启发或者帮助。
by @技术头条 2023-06-24 09:22 查看详情
开源软件供应链安全系列:OSS风险点与预防 (blog.nsfocus.net)
本文综合论文、博客、案例揭示了开源软件供应过程中风险点与防护手段,为渗透测试工程师、运维人员提供攻击、防守思路,为开发者开发、审查自己代码提供安全建议,为安全产品研发提供更多方向。
by @技术头条 2023-02-12 14:13 查看详情