分步式文件存储系统技术及实现--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

课程介绍

本课程针对分步式文件存储系统的实现进行讲解，首先分析为什么要使用这种分步式存储系统，以及这种系统在设计时需要注意的问题，并比较现在市面常见的分步式存储系统（HDFS、Ceph等），展示阿里Pangu系统针对其中问题的解决方法，并结合Pangu系统说明分步式存储系统的设计要点。

讲师介绍

姚文辉，2009年加入阿里巴巴，从事阿里巴巴自主研发的云计算平台—飞天分布式操作系统中的分布式存储系统—盘古。

课程目标

学习分步式文件存储系统的实现

适合人群

云计算开发者

点击查看原文 >>

由 @J念来过倒 2017-11-07 10:47 / 0个评论

赞过的人： @J念来过倒

Agent是如何工作的：概念及LangChain实现 (it.deepinmind.com)

LLM（大型语言模型）在自主Agent领域的应用受到了广泛关注。你可能已经在诸如Auto-GPT、BabyAGI等流行应用中了解过它们的用法，这些应用几乎每天都层出不穷。

理解这些应用的基本原理并不复杂，因为大多数工具的工作流程大致相同。

by @技术头条 2024-03-31 21:13 查看详情

周刊（第8期）：技术配图的一些心得 (www.codedump.info)

简单总结了一下个人技术配图的一些心得，总的大原则是：
1、区分：将组件、流程、趋势等之间的”区分“尽可能在图示中通过各种手段（如不同的颜色、形状、箭头）表达出来。
2、联系：组件之间的数据流动、状态切换等，都是它们之间的联系，也需要通过各种手段表达出来。
3、说明：可能的话，要在图中加上一些说明文字，如步骤说明、分类说明，等等。

by @技术头条 2024-03-31 21:06 查看详情

从存储模型聊一聊时序数据库的应用场景 (www.codedump.info)

本文介绍时序数据库的存储模型，只有理解了时序数据的存储模型，才能更好的了解时序数据库的优缺点以及其适用场景。

by @技术头条 2024-03-21 23:25 查看详情

Memcached的存储原理解析 (www.codedump.info)

最近工作上的需要，需要做一个LRU形式管理内存的分配器，首先想到的就是Memcached这个项目。早些年粗略的看过一些，有个大体的了解，这一次看下来发现其LRU算法做了不少的改动。

by @技术头条 2024-03-21 23:21 查看详情

聊聊 Go 的边界检查消除技术 (colobu.com)

在翻译的从慢速到SIMD一文中， SourceGraph工程师其中的一个优化就是边界检查消除(BCE,bounds check elimination)技术，同时他也抛给了读者一个问题：

为啥在使用 a[i:i+4:i+4] 而不是 a[i:i+4]?

本文第一部分先回答这个问题。第二部分介绍更好的边界检查消除方法。第三部分再全面梳理Go的边界检查消除技术。

by @技术头条 2024-03-21 23:00 查看详情

美团大规模KV存储挑战与架构实践 (tech.meituan.com)

KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量，并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上，我们分享了《美团大规模 KV 存储挑战与架构实践》，本文为演讲内容的整理。文章主要分为四个部分：第一部分介绍了美团 KV 存储发展历程；第二部分分享了内存 KV Squirrel 挑战和架构实践；第三部分阐述了持久化 KV Cellar 挑战和架构实践；最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。

by @技术头条 2024-03-21 22:53 查看详情

IM服务器设计-消息存储 (www.codedump.info)

这部分专门讲述IM消息存储的设计。消息存储的难度在于，要考虑以下的场景：

1、离线消息存储。即发送消息时对方不在线该怎么处理。
2、单聊、群聊消息。
3、随着用户量越来越大，应该以后如何扩展。

by @技术头条 2024-03-13 13:33 查看详情

将S端目录mount到C端文件系统中 (blog.nsfocus.net)

S、C两台Linux。想在S端执行一个静态ELF，并在C端执行与之配合的程序，将S端指定目录mount到C端文件系统中，使得C端可以只读方式访问mount点。有点类似NFS的需求，但S端比较特殊，不考虑NFS Server在S端布署成功的可能。希望是一批静态ELF在S端执行，对权限控制、写操作无要求。

网上求助后，若干网友提及几种备选方案，包括但不限于sshfs、rclone、dufs。其中sshfs依赖S端sftp服务可用，目标环境S端不满足此要求，但本文记录了sshfs的常规用法。作为WebDAV服务端，dufs比rclone小巧许多，只有3.6MB。作为客户端，rclone支持多种协议，不确认dufs能否用作客户端，本文WebDAV客户端统一用rclone或Windows。本文简单演示了对权限控制、写操作的支持。

by @技术头条 2024-03-12 22:46 查看详情

为 log 实现的无锁 Ringbuffer (blog.codingnow.com)

这两天在改 log 模块。我们需要一个并发写 log 的模块，它有多个 log 生产者一个消费者，这个唯一的消费者在 log 线程中把 log 数据持久化。

大多数 log 生产者是在第三方库的 callback 函数中调用的，比如 bgfx ，如果写 log 不够快的话，就会阻塞渲染。这个 callback 需要自己保证线程安全。因为 bgfx 支持多线程渲染，所以写 log 的 callback 可能在不同的线程触发。

过去在实现 bgfx 的 luabinding 时，我实现了一个简单的 mpsc 队列，get_log 这个函数就是那个单一消费者，它取出队列中所有的 log 信息，返回到 lua 虚拟机中。

它是用 spin_lock 实现的。这两天，我想应该可以实现一个更通用的无锁版本。

在我的需求中，log 信息是允许丢掉的。所以我开了一个固定大小的 ri

by @技术头条 2024-03-12 22:45 查看详情

解析Java动态代理机制的实现 (l1n.wang)

代理模式主要是Proxy对原始方法做了一层包装，用以增加一些新的统一处理逻辑，来增强目标对象的功能。静态代理是传统设计模式中一种传统的实现方案，动态代理能将代理对象的创建延迟到程序运行阶段。

by @技术头条 2024-01-17 23:16 查看详情