rsync+sersync实时数据同步配置

rsync+sersync原理:

一、为什么要使用rsync+sersync架构?

1、sersync是基于inotify开发的,类似于inotify-tools的工具

2、sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录

二、rsync+inotify-tools与rsync+sersync架构的区别?

1、rsync+inotify-tools

 a、inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;

 b、rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化,每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低

2、rsync+sersync

 a、sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;

 b、rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

同步过程:

1.  在同步服务器上开启sersync服务,sersync负责监控配置路径中的文件系统事件变化;

2.  调用rsync命令把更新的文件同步到目标服务器;

3.  需要在主服务器配置sersync,在同步目标服务器配置rsync server(注意:是rsync服务)

同步过程和原理:

1.  用户实时的往sersync服务器上写入更新文件数据;

2.  此时需要在同步主服务器上配置sersync服务;

3.  在另一台服务器开启rsync守护进程服务,以同步拉取来自sersync服务器上的数据;

通过rsync的守护进程服务后可以发现,实际上sersync就是监控本地的数据写入或更新事件;然后,在调用rsync客户端的命令,将写入或更新事件对应的文件通过rsync推送到目标服务器

部署sersync服务

1、搭建rsync服务器

[root@master ~]# yum install xinetd rsync -y

修改配置文件

[root@master ~]# vim /etc/rsyncd.conf  增加配置文件
[test]
         path = /test
         comment = backup test
         read only =false

创建密码文件及目录

[root@master ~]# mkdir /test
[root@master ~]# vim /etc/rsync.passwd
test:test
[root@master ~]# chmod 600 /etc/rsync.passwd 
[root@master ~]# rsync --daemon

客户端部署:

[root@node ~]# yum install rsync -y

创建密码认证文件

[root@node ~]# vim /etc/rsync.passwd
test
[root@node ~]# chmod 600 /etc/rsync.passwd

测试:

[root@node ~]# touch wxj.txt

2、下载sersync

[root@master ~]# wget https://wxjdata-1259797711.cos.ap-beijing.myqcloud.com/sersync2.5.4_64bit_binary_stable_final.tar.gz -O /opt/sersync.tar.gz

3、配置

[root@master ~]# cd /opt/
[root@master opt]# tar -xf sersync.tar.gz 
[root@master opt]# mv GNU-Linux-x86/ sersync
[root@master opt]# cd sersync
[root@master sersync]# cp confxml.xml confxml.xml.bak           

第二十四行:本地同步目录

第二十五行:rsync模块名称和同步地址

第三是一行:false修改为true,rsync密码认证文件指定

开启sersync守护进程同步数据

[root@node sersync]# /opt/sersync/sersync2 -d -r -o /opt/sersync/confxml.xml

测试:

[root@node sersync]# mkdir /test/aa
[root@node sersync]# cp /etc/passwd /test/
[root@master ~]# ls /test/
 aa  passwd

数据实时同步成功

扩展

添加脚本监控sersync是狗正常运行

#!/bin/sh
sersync="/opt /sersync/sersync2"
confxml="/opt /sersync/confxml.xml"
status=$(ps aux |grep 'sersync2'|grep -v 'grep'|wc -l)
if [ $status -eq 0 ];
then
$sersync -d -r -o $confxml &
else
exit 0;
fi
[root@node ~]# chmod a+x /opt/sersync.sh 

定期执行即可

多种情况可以配置多个confxml文件,单独执行即可

发表评论

登录... 后才能评论