触发式文件同步在Sersync+Rsync中实现--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

触发式文件同步在Sersync+Rsync中实现 (www.linuxprobe.com)

【简介】

通常我们在服务器上使用rsync加上crontab来定时地完成一些同步、备份文件的任务。随着业务和应用需求的不断扩大、实时性要求越来越高。一般rsync是通过校验所有文件后，进行差量同步，如果文件量十分庞大，那么rsync进行校验的过程也是十分耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时的去监测、同步数据，虽然它可以通过crontab方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据。而Sersync+Rsync的组合能够较好地解决这种问题。

点击查看原文 >>

由 @Linux就该这么学 2018-04-04 18:07 / 0个评论

赞过的人： @cnmxxa @技术头条 @Linux就该这么学

Agent是如何工作的：概念及LangChain实现 (it.deepinmind.com)

LLM（大型语言模型）在自主Agent领域的应用受到了广泛关注。你可能已经在诸如Auto-GPT、BabyAGI等流行应用中了解过它们的用法，这些应用几乎每天都层出不穷。

理解这些应用的基本原理并不复杂，因为大多数工具的工作流程大致相同。

by @技术头条 2024-03-31 21:13 查看详情

将S端目录mount到C端文件系统中 (blog.nsfocus.net)

S、C两台Linux。想在S端执行一个静态ELF，并在C端执行与之配合的程序，将S端指定目录mount到C端文件系统中，使得C端可以只读方式访问mount点。有点类似NFS的需求，但S端比较特殊，不考虑NFS Server在S端布署成功的可能。希望是一批静态ELF在S端执行，对权限控制、写操作无要求。

网上求助后，若干网友提及几种备选方案，包括但不限于sshfs、rclone、dufs。其中sshfs依赖S端sftp服务可用，目标环境S端不满足此要求，但本文记录了sshfs的常规用法。作为WebDAV服务端，dufs比rclone小巧许多，只有3.6MB。作为客户端，rclone支持多种协议，不确认dufs能否用作客户端，本文WebDAV客户端统一用rclone或Windows。本文简单演示了对权限控制、写操作的支持。

by @技术头条 2024-03-12 22:46 查看详情

为 log 实现的无锁 Ringbuffer (blog.codingnow.com)

这两天在改 log 模块。我们需要一个并发写 log 的模块，它有多个 log 生产者一个消费者，这个唯一的消费者在 log 线程中把 log 数据持久化。

大多数 log 生产者是在第三方库的 callback 函数中调用的，比如 bgfx ，如果写 log 不够快的话，就会阻塞渲染。这个 callback 需要自己保证线程安全。因为 bgfx 支持多线程渲染，所以写 log 的 callback 可能在不同的线程触发。

过去在实现 bgfx 的 luabinding 时，我实现了一个简单的 mpsc 队列，get_log 这个函数就是那个单一消费者，它取出队列中所有的 log 信息，返回到 lua 虚拟机中。

它是用 spin_lock 实现的。这两天，我想应该可以实现一个更通用的无锁版本。

在我的需求中，log 信息是允许丢掉的。所以我开了一个固定大小的 ri

by @技术头条 2024-03-12 22:45 查看详情

解析Java动态代理机制的实现 (l1n.wang)

代理模式主要是Proxy对原始方法做了一层包装，用以增加一些新的统一处理逻辑，来增强目标对象的功能。静态代理是传统设计模式中一种传统的实现方案，动态代理能将代理对象的创建延迟到程序运行阶段。

by @技术头条 2024-01-17 23:16 查看详情

golang uretprobe的崩溃与模拟实现 (www.cnxct.com)

Go程序崩溃的核心原因为Go的栈在runtime管理时，被插入了异常的内存地址。Go中常见的堆栈变化为协程goroutine的创建与销毁。栈内被插入异常内存地址是因为eBPF的实现机制是向函数的返回地址前，插入了断点指令（i386和x86_64是INT3）。两个条件的叠加，就出现了这个错误。

by @技术头条 2024-01-17 23:12 查看详情

Linux上文件监控的踩坑分享 (www.cnxct.com)

在Linux主机安全产品HIDS中，文件监控是特别常见的需求，在实现方案上，Linux内核层提供了文件变动的通知机制fsnotify，然而，在高磁盘IO的主机上、不同版本的内核上以及海量监控目标中，将会面临哪些问题呢？业务性能与安全性如何做更好地取舍均衡？今天，我的小伙伴阿松给大家分享以下文件监控系统的建设历程。

by @技术头条 2024-01-17 23:09 查看详情

如何实现 GC 的高吞吐量？ (www.diguage.com)

在本篇文章中，我们将探讨垃圾回收过程中的一个关键性能指标："GC 吞吐量"。我们将了解它的含义、在 Java 应用程序中的重要性以及它对整体性能的影响。此外，我们还将深入探讨提高 GC 吞吐量的可行策略，为现代软件开发释放其优势。

by @技术头条 2024-01-13 23:50 查看详情

利用gorm自身提供的方法实现存在更新不存在则创建的能力 (wiki.eryajf.net)

MySQL 有一个语句是 UPSERT 的操作，它结合了 update 和 insert 两种操作的功能。当执行 upsert 操作时，如果指定的记录已经存在，则执行更新操作；如果指定的记录不存在，则执行插入操作。这种操作可以用来确保数据的一致性，并且可以减少对数据库的访问次数。

by @技术头条 2024-01-13 23:49 查看详情

用 rspamd 来实现反垃圾邮件 (blog.delphij.net)

在过去二十年中的大部分时间，我采用的是 amavisd-new，与直接使用 SpamAssassin 相比，它还增加了病毒扫描等一系列功能和 milter接口，这让它与 MTA 更容易集成。

最近我发现 FreeBSD.org 把反垃圾系统替换成了 rspamd，所以在11月初把我的邮件系统也换成了 rspamd，经过两个月的使用，总体的感觉是「我tm早干嘛去了」。

by @技术头条 2024-01-13 23:34 查看详情

Linux中使用tar压缩命令排除文件 (lisenhui.cn)

众所周知tar命令是在Linux系统中最为常用来解压缩文件的命令之一，之前大部分时候都直接用它来压缩备份或转移的文件内容，因此也未过多关注过它在压缩时的其它可选参数使用。但最近在转移文件遇到其占用空间比较大，考虑到里面有些内容并不是必须，于是想到如何来使用tar命令参数来实现，经过多次尝试，找到了个解决办法——使用exclude-from参数，可灵活控制不需要压缩文件，然后顺手做个记录分享。

by @技术头条 2023-12-26 22:19 查看详情