江苏龙网

  1. 主页 > 生活百科 > >

实时同步工具lsyncd

lsyncd

Lysncd是lua语言封装了 inotify 和 rsync 工具，采用了 linux 内核（2.6.13 及以后）里的 inotify 触发机制，通过inotify或者fsevents监控本地目录的变化事件，然后通过rsync同步 。Lsyncd最强大之处在于简单高效传输海量数据并且Lsyncd支持多种工作模式 。
Lsyncd官网
https://github.com/axkibe/lsyncd下载地址
https://developer.aliyun.com/packageSearch?word=lsyncd

实时同步工具lsyncd

文章插图
 
【实时同步工具lsyncd】Lsyncd配置文件参数说明
标注：lsyncd.conf可以有多个sync，各自的模式，互不影响
settings#==》全局设置{logfile#==》定义日志文件stausFile#==》定义状态文件nodaemon=true#==》默认不启用守护模式statusInterval#==》将lsyncd的状态写入上面的statusFile的间隔，默认10秒inotifyMode#==》指定inotify监控的事件，默认是CloseWrite，还可以是Modify或CloseWrite or ModifymaxProcesses#==》同步进程的最大个数Ls 。假如同时有20个文件需要同步，而maxProcesses = 8，则最大能看到有8个rysnc进程maxDelays#==》累计到多少所监控的事件激活一次同步，即使后面的delay延迟时间还未到}sync#==》里面是定义同步参数，可以继续使用maxDelays来重写settings的全局变量 。一般第一个参数指定lsyncd以什么模式运行：rsync、rsyncssh、direct三种模式{default.rsync#==》本地目录间同步，使用rsync，也可以达到使用ssh形式的远程rsync效果，或daemon方式连接远程rsyncd进程；default.direct#==》本地目录间同步，使用cp、rm等命令完成差异文件备份；default.rsyncssh#==》同步到远程主机目录，rsync的ssh模式，需要使用key来认证source#==》同步的源目录，使用绝对路径 。target#==》定义目的地址.对应不同的模式有几种写法：（1）、/tmp/dest#==》本地目录同步，可用于direct和rsync模式（2）、172.29.88.223:/tmp/dest#==》同步到远程服务器目录，可用于rsync和rsyncssh模式，拼接的命令类似于/usr/bin/rsync -ltsd --delete --include-from=- --exclude=* SOURCE TARGET，剩下的就是rsync的内容了，比如指定username，免密码同步（3）、172.29.88.223::module#==》同步到远程服务器目录，用于rsync模式三种模式的示例会在后面给出 。delete#==》为了保持target与souce完全同步，Lsyncd默认会delete = true来允许同步删除 。它除了false，还有startup、running值，请参考 Lsyncd 2.1.x ‖ Layer 4 Config ‖ Default Behavior 。init#==》这是一个优化选项，当init = false，只同步进程启动以后发生改动事件的文件，原有的目录即使有差异也不会同步 。默认是truedelay#==》累计事件，等待rsync同步延时时间，默认15秒（最大累计到1000个不可合并的事件） 。也就是15s内监控目录下发生的改动，会累积到一次rsync同步，避免过于频繁的同步 。（可合并的意思是，15s内两次修改了同一文件，最后只同步最新的文件）excludeFrom#==》排除选项，后面指定排除的列表文件，如excludeFrom = "/etc/lsyncd.exclude"如果是简单的排除，可以使用exclude = LIST 。这里的排除规则写法与原生rsync有点不同，更为简单：监控路径里的任何部分匹配到一个文本，都会被排除，例如/bin/foo/bar可以匹配规则foo（1）、如果规则以斜线/开头，则从头开始要匹配全部（2）、如果规则以/结尾，则要匹配监控路径的末尾（3）、?匹配任何字符，但不包括/（4）、*匹配0或多个字符，但不包括/（5）、**匹配0或多个字符，可以是/}Rsync{（1）、bwlimit 限速，单位kb/s，与rsync相同（这么重要的选项在文档里竟然没有标出）（2）、compress 压缩传输默认为true 。在带宽与cpu负载之间权衡，本地目录同步可以考虑把它设为false（3）、perms 默认保留文件权限 。}
实时同步工具lsyncd

文章插图
 
1. pidfile文件记录lsyncd当前进程id值，如果没有pid文件，那么则可以启动多个lsyncd进程，这会导致多个lsyncd进程同时运行造成同步的数据混乱 。如果设置了pid文件，同时只能启动一个lsyncd进程 。避免多个lsyncd进程导致同步混乱的情况，pid文件一定要设置 。2. inotifyMode指定lsyncd监控的事件，其值有：CloseWrite, Modify, CloseWrite or Modify默认是CloseWrite 。官方文档写的是 inotify事件，其实是不对的lsyncd事件是对inotify事件的包装，CloseWrite事件是lsyncd的事件 。我一直以为CloseWrite监听的是 文件写入关闭事件，可为什么文件删除和创建也被lsyncd监听并同步了呢？其实CloseWrite事件并不是单一事件而是包含了很多inotify事件，如下：CloseWrite包含了以下inotify事件：IN_ATTRIB 文件属性被修改，如 chmod、chown、touch 等IN_CLOSE_WRITE 可写文件被 关闭IN_CREATE创建新文件IN_DELETE文件/目录已在监控目录中删除IN_DELETE_SELF 监控的项目本身已删除IN_MOVED_FROM 文件被移出监控目录,如 mvIN_MOVED_TO 文件被移动到监控目录，如 mv、cpIN_DONT_FOLLOW 不追踪符号链接的真实路径IN_ONLYDIR; 仅监视目录Modify是在CloseWrite的基础上增加了IN_MODIFY事件，并删除了IN_CLOSE_WRITE事件IN_MODIFY 文件已被修改CloseWrite or Modify 是在CloseWrite的基础上增加了IN_MODIFY事件3. Insist默认情况下，当启动lsyncd失败时，Lsyncd会结束允许并显示一条错误消息 。开启了容错模式以后，lsyncd并不会因为某个配置的错误导致启动失败,而是记录错误日志并忽略错误配置继续允许 。4. maxProcesseslsyncd会产生一个子进程去运行sync任务，多个sync的时候，lsyncd会产生多个子进程并发运行sync任务，但最多不会超过maxProcesses的值 。5. maxDelays累计到多少所监控的事件激活一次同步，即使后面的sync配置的delay延迟时间还未到


推荐阅读


上一篇：收益差，不是你文笔不好，而是你不知道这6个投稿平台

下一篇：高级程序员和普通程序员有哪些区别？