江苏龙网

  1. 主页 > 生活百科 > >

lsyncd实时同步搭建指南——取代rsync+inotify

lsyncd

1. 几大实时同步工具比较1.1 inotify + rsync最近一直在寻求生产服务服务器上的同步替代方案，原先使用的是inotify + rsync，但随着文件数量的增大到100W+，目录下的文件列表就达20M，在网络状况不佳或者限速的情况下，变更的文件可能10来个才几M，却因此要发送的文件列表就达20M，严重减低的带宽的使用效率以及同步效率；更为要紧的是，加入inotifywait在5s内监控到10个小文件发生变化，便会触发10个rsync同步操作，结果就是真正需要传输的才2-3M的文件，比对的文件列表就达200M 。使用这两个组合的好处在于，它们都是最基本的软件，可以通过不同选项做到很精确的控制，比如排除同步的目录，同步多个模块或同步到多个主机 。
搭建过程参考 linux下同步工具inotify+rsync使用详解 或这里 。
1.2 sersync后来听同事说 sersync 这么个工具可以提高同步的性能，也解决了同步大文件时出现异常的问题，所以就尝试了一下 。sersync是国内的一个开发者开源出来的，使用c++编写，采用多线程的方式进行同步，失败后还有重传机制，对临时文件过滤，自带crontab定时同步功能 。网上看到有人说性能还不错，说一下我的观点：

  • 国产开源，文档不是很全，在2011年之后就没更新了（googlecode都要快关闭了，其实可以转交其他人维护），网上关于它的使用和讨论都止于10年了
  • 采用xml配置文件的方式，可读性比较好，但是有些原生的有些功能没有实现就没法使用了
  • 无法实现多目录同步，只能通过多个配置文件启动多个进程
  • 文件排除功能太弱 。这个要看需求，不是每个人都需要排除子目录 。而对于我的环境中，这个功能很重要，而且排除的规则较多
  • 虽然提供插件的功能，但很鸡肋，因为软件本身没有持续更新，也没有看到贡献有其它插件出现（可能是我知识面不够，还用不到里面的refreshCDN plugin） 。
虽然不懂c++，但大致看了下源码 FileSynchronize，拼接rsync命令大概在273行左右，最后一个函数就是排除选项，简单一点可以将--exclude=改成--eclude-from来灵活控制 。有机会再改吧 。
另外，在作者的文章 Sersync服务器同步程序 项目简介与设计框架 评论中，说能解决上面 rsync + inotify中所描述的问题 。阅读了下源码，这个应该是没有解决，因为在拼接rsync命令时，后面的目的地址始终是针对module的，只要执行rsync命令，就会对整个目录进行遍历，发送要比对的文件列表，然后再发送变化的文件 。sersync只是减少了监听的事件，减少了rsync的次数——这已经是很大的改进，但每次rsync没办法改变 。（如有其它看法可与我讨论）
其实我们也不能要求每一个软件功能都十分健全，关键是看能否满足我们当下的特定的需求 。所谓好的架构不是设计出来的，而是进化来的 。目前使用sersync2没什么问题，而且看了它的设计思路应该是比较科学的，特别是过滤队列的设计 。双向同步看起来也是可以实现 。
1.3 lsyncd废话说这么多，本文就是介绍它了 。有些博客说lsyncd是谷歌开源的，实际不是了，只是托管在了googlecode上而已，幸运的是已经迁移到github了：
https://github.com/axkibe/lsyncd。
Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具，采用了 Linux 内核（2.6.13 及以后）里的 inotify 触发机制，然后通过rsync去差异同步，达到实时的效果 。我认为它最令人称道的特性是，完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现 。另外，它的配置方式很简单，lua本身就是一种配置语言，可读性非常强 。lsyncd也有多种工作模式可以选择，本地目录cp，本地目录rsync，远程目录rsyncssh 。
实现简单高效的本地目录同步备份（网络存储挂载也当作本地目录），一个命令搞定 。
2. 使用 lsyncd 本地目录实时备份这一节实现的功能是，本地目录source实时同步到另一个目录target，而在source下有大量的文件，并且有部分目录和临时文件不需要同步 。
2.1 安装lsyncd安装lsyncd极为简单，已经收录在ubuntu的官方镜像源里，直接通过apt-get install lsyncd就可以 。
在Redhat系（我的环境是centos 6.2 x86_64 ），可以手动去下载
lsyncd-2.1.5-6.fc21.x86_64.rpm，但首先你得安装两个依赖yum install lua lua-devel 。也可以通过在线安装，需要epel-release扩展包：
# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm# yum install lsyncd


推荐阅读


上一篇：梁孝王是刘邦的什么人,汉景帝与梁王关系

下一篇：Wps文字如何实现一键对齐？