标签 rsync 下的文章

此前，我们曾经介绍过文件同步常用的几种方案。

  • rsync + crontab
  • rsync + inotify
  • rsync + sersync

它们都有各自的应用场景，每一种方案都有其应用场景。

在 rsync + inotify 或 rsync + sersync 解决方案中，有一个共同的缺点，就是当文件修改的比较频繁时，会不断的产生同步操作。比如说程序的日志文件，日志文件的修改频率是非常频繁的，如果是用上述的两种方案，则会不断的触发同步操作。

lsyncd 有一个非常好的特性，它支持延时同步，即会把修改次数累积到一定的数量或时间后再触发同步操作，这样一来，使得同步不那么的频繁了。

- 阅读剩余部分 -

前面的文章中，我介绍到 rsync + inotify 可以实现文件实时同步功能，rsync + inotify 有优点，也有一些弊端。

  • 需要编写脚本调用 inotifywait来实现，所有的逻辑控制都要编写脚本来实现，使用门槛高
  • 单线程同步，效率低
  • 使用 vi 编辑文件时，将会触发非常多的冗余事件
  • 删除目录时，会同时产生删除文件夹里的文件的事件，这些都是冗余事件
  • 使用脚本也是其优点，使得运维人员可以轻易地编写出满足条件的同步逻辑
  • 可以灵活控制同步选项

sersync 介绍

sersync 是由金山所开源的一款基于 rsync + inotify 的实现，它使用 C++ 语言进行编写，提供了比原生 rsync + inotify 更为强大的功能。

  • 过滤临时文件和不需要的事件，比如在write的时候只产生一个事件，这样就之需要rsync一次
  • 删除文件夹的时候，inotify就会同事产生删除文件夹里的文件与删除文件夹的事件，通过过滤队列，当删除文件夹时间产生的时候，会将之前加入队列的删除文件的事件全部过滤掉，这样只产生一条删除文件夹事件
  • 当rsync失败的时候，会进行稍后重新执行，如果仍旧失败，10小时候再次执行，确保服务器同步准确
  • 对于本地没有的文件，我也会对远程文件路径进行删除，同时不会比较其他文件，那些使用 rsync --include=/ --include=xxx.php$ --exclude= 的用户注意了,那种执行方式，效率很低，会递归比较所有目录
  • 支持主机到多个分机的同步，别且使用多线程同时执行，使文件在所有服务器上保持一致。并且同时同步inotiy产生的多个文件
  • 自带crontab功能，只需在xml配置文件中开启，即可按您的要求，隔一段时间整体同步一次。无需再额外配置crontab功能
  • 多线程同步
  • 支持socket与http扩展插件

rsync.png

- 阅读剩余部分 -

此前的文章中，我介绍了 rsync 的工作原理及使用。而在此前的使用中，我是通过命令行的方式执行 rsync 客户端命令来同步数据的，在实际的应用中，更多的是配置定时任务，定时的执行客户端命令去同步数据。

一般而言，rsync 客户端命令大致都是这样：

rsync -avrz /data remote_host::data

意思是把本地 /data 目录推送到远端 rsync 服务的 data 模块对应的 path 目录中。然后，把这条命令添加到定时任务中去，就达到了定时同步的目的了。

虽然这样能实现我们的需求，但是当 /data 目录下有几千、几万、几十万甚至更多文件时，rsync 会遍历 /data 的所有文件，每一个文件都要计算摘要和校验和。这绝对是灾难性的，会损耗服务器的大量资源来处理同步的事情。

那么，我们就想，有没有一种机制，能实现当文件发生改变时才触发同步到远端服务器呢？答案是有的，它就是 inotify。

- 阅读剩余部分 -

前面我们介绍过 rsync 有三种常用的使用方式，其中之一是 rsync 作为守护进程启动时，其默认监听在 873 端口，接收 rsync 客户端的请求。

在这种模式下，我们需要给 rsync 守护进程提供一个配置文件，告诉 rsync 提供哪些目录访问，允许哪些 IP 访问等。

Rsync 配置文件格式

rsync 配置文件由全局参数和一个或多个模块组成，全局参数写在文件头部，模块的定义则是由中括号开始，下方定义模块参数。

模块参数也可以定义在全局参数中，这表示给模块参数提供默认值。

配置示例

uid = nobody
gid = nobody
use chroot = yes
max connections = 4
syslog facility = local5
pid file = /var/run/rsyncd.pid

[ftp]
    path = /var/ftp/pub
    comment = whole ftp area

[www]
    path = /var/www
    comment = web file

- 阅读剩余部分 -

rsync 客户端基本用法

rsync 提供三种使用模式，本地、ssh、rsync daemon

本地

rsync [OPTION...] SRC... [DEST]

ssh

拉：

rsync [OPTION...] [USER@]HOST::SRC... [DEST]

推：

rsync [OPTION...] SRC... [USER@]HOST:DEST

rsync daemon

推：

rsync [OPTION...] [USER@]HOST::SRC... [DEST]
rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

拉：

rsync [OPTION...] SRC... [USER@]HOST::DEST
rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

仅使用一个SRC参数且没有DEST参数的用法时，将列出源文件而不是复制。

- 阅读剩余部分 -

  1. 1
  2. 2