IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

推荐sersync来进行文件同步

平凡的世界 2010-05-19 13:57:38 累计浏览 2,175 次
本机暂存

    抑制不住的冲动给大家介绍sersync,来进行文件同步,公司的产品部署平台就是采用SVN + sersync来实现的。可以参考这篇文章《利用SVN搭建测试服务器》,文件同步采用sersync即可。

    sersync原理

    使用 Linux 2.6 内核的 inotify 监控 Linux 文件系统事件,被监听目录下如果有文件发生修改,sersync 将通过内核自动捕获到事件,并将该文件利用 rsync 同步到多台远程服务器。sersync 仅仅同步发生增、删、改事件的单个文件或目录,不像rsync镜像同步那样需要比对双方服务器整个目录下数千万的文件,并且支持多线程同步,因此效率非常高。

    sersync介绍

    sersync主要用于服务器同步,web镜像等功能。基于boost1.41.0,inotify api,rsync command.开发。目前使用的比较多的同步解决方案是inotify-tools+rsync ,另外一个是google开源项目Openduckbill(依赖于inotify- tools),这两个都是基于脚本语言编写的。相比较上面两个项目,本项目优点是:

sersync是使用c++编写,而且对linux系统文件系统产生的临时文件和重复的文件操作进行过滤(详细见附录,这个过滤脚本程序没有实现),所以在结合rsync同步的时候,节省了运行时耗和网络资源。因此更快。相比较上面两个项目,sersync配置起来很简单,其中bin目录下已经有基本上静态编译的2进制文件,配合bin目录下的xml配置文件直接使用即可。另外本项目相比较其他脚本开源项目,使用多线程进行同步,尤其在同步较大文件时,能够保证多个服务器实时保持同步状态。本项目有出错处理机制,通过失败队列对出错的文件重新同步,如果仍旧失败,则每10个小时对同步失败的文件重新同步。本项目自带crontab功能,只需在xml配置文件中开启,即可按您的要求,隔一段时间整体同步一次。无需再额外配置crontab功能。本项目socket与http插件扩展,满足您二次开发的需要。

    PS:金山的同学开源出来的,不得不推荐鼓励下。

同分类推荐文章

  1. 从零重建 macOS 开发机:可复现的环境初始化流程 (2026-06-14 20:36:00)
  2. 百度物理网络监控工具开源第二弹:毫秒级监控工具 baize,让你的网络问题无处遁形 (2026-06-11 08:10:28)
  3. How to Set Up Homebrew Tap for Private CLI Tools: A Complete Guide (2026-05-27 02:13:03)

查看更多 DevOps 文章 →

建议继续学习

  1. 利用find和sed批量替换文件内容 (累计阅读 11,460)
  2. rsync同步的艺术 (累计阅读 9,598)
  3. 最近总结的一些技巧(vim,python,svn,fiddler等) (累计阅读 8,203)
  4. Linux探索:一次删除一百万个文件的最快方法 (累计阅读 6,861)
  5. SVN Hook造成SVN提交速度慢的问题 (累计阅读 6,281)
  6. GIT和SVN之间的五个基本区别 (累计阅读 5,872)
  7. rsync 的核心算法 (累计阅读 5,606)
  8. 加速scp传输速度 (累计阅读 5,394)
  9. Dropbox差异同步算法rsync及其改进算法原理 (累计阅读 5,227)
  10. rsync自动输入密码实现数据备份 (累计阅读 5,107)