全球主机交流论坛

标题: 两台 web服务器需要同步，数据量比较大怎么能快速同... [打印本页]

作者: VMCloud 时间: 2017-6-27 21:03
标题: 两台 web服务器需要同步，数据量比较大怎么能快速同...
本帖最后由 VMCloud 于 2017-6-30 07:21 编辑

两台 linux web服务器需要同步，数据量比较大(300G) 怎么能快速及时同步，且消耗资源不多。

场景；不考虑数据库，只考虑网站目录，为了安全性和完整性和及时性，在一台上传文件需要及时同步到另外一台的相同目录，
服务器：两台64G的百度云作为web服务器，内网联通

rsync 根本不行，数据量太大，不能及时发现更新，每次都会扫描所有的文件的，速度太慢
上级要求为了安全，必须做两份一样的，不能使用一份然后做反向代理

根据locer的反馈待尝试的方案
1：Resilio BTSYNC
2：rsync+inotify
3：用第三台服务器做存储机，软RAID实现备份
4：https://www.r1soft.com/

5：drbd
6：https://github.com/syncthing/syncthing
7：https://code.google.com/archive/p/sersync/

(, 下载次数: 0)
(, 下载次数: 1)

作者: redalfa 时间: 2017-6-27 21:07
不一定要同步数据啊，如果只是访问需求的话，完全可以反代

作者: VMCloud 时间: 2017-6-27 21:08

redalfa 发表于 2017-6-27 21:07
不一定要同步数据啊，如果只是访问需求的话，完全可以反代

为了数据安全和完整性，公司需要同步

作者: xu81709752 时间: 2017-6-27 21:09
反代可以就是速度没有同步块

作者: VMCloud 时间: 2017-6-27 21:15

xu81709752 发表于 2017-6-27 21:09
反代可以就是速度没有同步块

公司要求不能反代

作者: doors 时间: 2017-6-28 00:11
uncsync实时同步工具，特别是在大量小文件的同步上，目前这是我能找到最好的，支持环境：win+net4

作者: 小明星 时间: 2017-6-28 01:12
winscp 我一直在用！写个BAT每天同步一次

作者: Yankee 时间: 2017-6-28 01:19
阿里云建个v p n内网对传吧

作者: TozFly 时间: 2017-6-28 01:52
推荐个我用的，但是不知道你这场景是否有用
rclone sync

作者: 学习锁屏 时间: 2017-6-28 02:17

doors 发表于 2017-6-28 00:11
uncsync实时同步工具，特别是在大量小文件的同步上，目前这是我能找到最好的，支持环境：win+net4 ...

搜索uncsync找不到软件呢，求共享下载地址

作者: 椰子 时间: 2017-6-28 02:50
额。不是很懂你这个场景。

作者: VMCloud 时间: 2017-6-28 06:05

doors 发表于 2017-6-28 00:11
uncsync实时同步工具，特别是在大量小文件的同步上，目前这是我能找到最好的，支持环境：win+net4 ...

linux上面有推荐的吗

作者: dream7758521 时间: 2017-6-28 07:13
提示: 作者被禁止或删除内容自动屏蔽

作者: 今晚我是你的 时间: 2017-6-28 07:14
两台linux都开ftp，在win上挂一个filegee破解版，三台都要内网才快。不是内网啥都慢

作者: Zeraba 时间: 2017-6-28 07:32
先全量后增量问题没说是同步何种数据不同场景解决方案有很多比如同步web源码和数据就有n种方案同步数据库不同数据库又有n种先把问题描述完整吧

作者: free9901 时间: 2017-6-28 07:53
提示: 作者被禁止或删除内容自动屏蔽

作者: 日后再说 时间: 2017-6-28 08:18
rsync 绝对靠谱

作者: gdtv 时间: 2017-6-28 08:45

doors 发表于 2017-6-28 00:11
uncsync实时同步工具，特别是在大量小文件的同步上，目前这是我能找到最好的，支持环境：win+net4 ...

谷歌和百度都搜索不到uncsync，求详细介绍

作者: 小尤 时间: 2017-6-28 08:49
BTSYNC 靠谱

作者: 小夜 时间: 2017-6-28 09:11
rsync 我觉得挺好啊几分钟同步一次呗

作者: yunran 时间: 2017-6-28 09:13

帮顶

作者: 火韦 时间: 2017-6-28 09:44

小夜发表于 2017-6-28 09:11
rsync 我觉得挺好啊几分钟同步一次呗

文件数量多的网站 rsync 太慢了

作者: 火韦 时间: 2017-6-28 09:46

小尤发表于 2017-6-28 08:49
BTSYNC 靠谱

好像收费免费的不能排除指定目录

作者: yandere 时间: 2017-6-28 10:04
rsync吧，畢竟是老牌了
可以設置個inotify監測到有資源被修改就rsync一下

作者: doors 时间: 2017-6-28 12:30

yandere 发表于 2017-6-28 10:04
rsync吧，畢竟是老牌了
可以設置個inotify監測到有資源被修改就rsync一下

inotify 好像没WIN版的吧

好多推荐RSYNC的都弄错了，别人要的是实时同步，RSYNC是每次都会扫描所有的文件的。

我推荐的那个uncsync是只监控变化的文件，跟LINUX下的inotify一样。

作者: yandere 时间: 2017-6-28 12:32

doors 发表于 2017-6-28 12:30
inotify 好像没WIN版的吧

好多推荐RSYNC的都弄错了，别人要的是实时同步，RSYNC是每次都会扫描所有的文 ...

好吧我以為是Linux
記得Windows下有API，可以編程檢測文件改動之後上傳。。。

作者: doors 时间: 2017-6-28 12:38

gdtv 发表于 2017-6-28 08:45
谷歌和百度都搜索不到uncsync，求详细介绍

我以前是在一个BLOG上找到的，但那个BLOG现在好像我也搜索不到了。
稍等，我打包传上来，你可以用下看，不过这个软件同步只能用一种方式：共享目录
不知道适合你不。

市面上大部份同步软件我都用过，能实时同步的软件，花钱也买过二个，都是一个样，文件一多就不行。

作者: doors 时间: 2017-6-28 12:40
里面有安装说明的。

作者: doors 时间: 2017-6-28 12:45

yandere 发表于 2017-6-28 12:32
好吧我以為是Linux
記得Windows下有API，可以編程檢測文件改動之後上傳。。。 ...

对，我这个推荐的UNCSYNC也应该就是调用 API，文件非常非常小。

作者: sowao 时间: 2017-6-28 14:13
windows下监视文件同步基本都是filewatcher吧 filewatcher有溢出漏洞玩玩还行不建议部署服务器
要多台服务器同步只能选择inotify方案（windows下的inotify也是基于filewatcher）
不管是inotify 还是sersync还是lsyncd 都是基于inotify实现的

作者: VMCloud 时间: 2017-6-28 15:00

椰子发表于 2017-6-28 02:50
额。不是很懂你这个场景。

不考虑数据库，只考虑网站目录，为了安全性和完整性和及时性，在一台上传文件需要及时同步到另外一台的对应目录，

作者: VMCloud 时间: 2017-6-28 15:01

今晚我是你的发表于 2017-6-28 07:14
两台linux都开ftp，在win上挂一个filegee破解版，三台都要内网才快。不是内网啥都慢 ...

300G的网站数据这样会卡死

作者: VMCloud 时间: 2017-6-28 15:01

Zeraba 发表于 2017-6-28 07:32
先全量后增量问题没说是同步何种数据不同场景解决方案有很多比如同步web源码和数据就有n种方案同步数 ...

不考虑数据库，只考虑网站目录，为了安全性和完整性和及时性，在一台上传文件需要及时同步到另外一台的对应目录，

作者: VMCloud 时间: 2017-6-28 15:02

free9901 发表于 2017-6-28 07:53
是要做镜像站？

为了安全性和完整性和及时性，

作者: VMCloud 时间: 2017-6-28 15:02

小尤发表于 2017-6-28 08:49
BTSYNC 靠谱

其实我也在考虑这个还买了授权

作者: QQ2112755791 时间: 2017-6-28 15:05
提示: 作者被禁止或删除内容自动屏蔽

作者: VMCloud 时间: 2017-6-28 15:06

QQ2112755791 发表于 2017-6-28 15:05
两台在一起的话，组个内网就比较快。。。

肯定走内网啊

作者: 今晚我是你的 时间: 2017-6-28 15:06

VMCloud 发表于 2017-6-28 15:01
300G的网站数据这样会卡死

并不会，卡是你硬盘卡，你本地打包复制一样卡死，你上ssd

作者: VMCloud 时间: 2017-6-28 15:07

今晚我是你的发表于 2017-6-28 15:06
并不会，卡是你硬盘卡，你本地打包复制一样卡死，你上ssd

百度云，，，，

作者: aboutyj 时间: 2017-6-28 16:00
inotify是全目录扫描一次，当然慢
sersync吧
1、Rsync+Inotify-tools
（1）：Inotify-tools只能记录下被监听的目录发生了变化（包括增加、删除、修改），并没有把具体是哪个文件或者哪个目录发生了变化记录下来；
（2）：rsync在同步的时候，并不知道具体是哪个文件或者哪个目录发生了变化，每次都是对整个目录进行同步，当数据量很大时，整个目录同步非常耗时（rsync要对整个目录遍历查找对比文件），因此，效率很低。

2、Rsync+sersync
（1）：sersync可以记录下被监听目录中发生变化的（包括增加、删除、修改）具体某一个文件或某一个目录的名字；
（2）：rsync在同步的时候，只同步发生变化的这个文件或者这个目录（每次发生变化的数据相对整个同步目录数据来说是很小的，rsync在遍历查找比对文件时，速度很快），因此，效率很高。

小结：当同步的目录数据量不大时，建议使用Rsync+Inotify-tools；当数据量很大（几百G甚至1T以上）、文件很多时，建议使用Rsync+sersync。

作者: 火韦 时间: 2017-6-28 16:01
本帖最后由火韦于 2017-6-28 16:07 编辑

doors 发表于 2017-6-28 12:40
里面有安装说明的。

下载了测试下

作者: etotakeo 时间: 2017-6-28 16:08
提示: 作者被禁止或删除内容自动屏蔽

作者: 果果 时间: 2017-6-28 16:21
提示: 作者被禁止或删除内容自动屏蔽

作者: ycgshiwo 时间: 2017-6-28 17:06
实时性要求多高？其实还有一种办法是用第三台服务器做存储机，软RAID实现备份，存储服务通过网络挂出去，这应该是实时性最高的备份了，就是成本相对比较高

作者: VMCloud 时间: 2017-6-28 17:09

ycgshiwo 发表于 2017-6-28 17:06
实时性要求多高？其实还有一种办法是用第三台服务器做存储机，软RAID实现备份，存储服务通过网络挂出去，这 ...

百度云服务器没办法做这些

作者: ycgshiwo 时间: 2017-6-28 17:11

VMCloud 发表于 2017-6-28 17:09
百度云服务器没办法做这些

可以的大兄弟，软RAID不是硬RAID，你往存储服务器挂两块云硬盘做数据盘就好了，软RAID1。至于存储服务挂出去网上教程很多了

作者: VMCloud 时间: 2017-6-28 17:18

ycgshiwo 发表于 2017-6-28 17:11
可以的大兄弟，软RAID不是硬RAID，你往存储服务器挂两块云硬盘做数据盘就好了，软RAID1。至于存储服务挂 ...

这是一种方案，但是软raid消耗cpu资源会很多

作者: ycgshiwo 时间: 2017-6-28 17:28

VMCloud 发表于 2017-6-28 17:18
这是一种方案，但是软raid消耗cpu资源会很多

那不是特别清楚了，按理说如果走同步的话和做软RAID消耗资源应该差不多才对。软RAID也只是分别写不同磁盘而已，怎么会特别消耗CPU呢。。没试过我也不太清楚

作者: 蘑菇 时间: 2017-6-28 17:37
企业级考虑下R1soft Backup

作者: qqab 时间: 2017-6-28 17:50
好像有个同步软件 sysmantic 的

作者: VMCloud 时间: 2017-6-28 18:12

ycgshiwo 发表于 2017-6-28 17:28
那不是特别清楚了，按理说如果走同步的话和做软RAID消耗资源应该差不多才对。软RAID也只是分别写不同磁盘 ...

因为软raid的信息是cpu模拟出来的并不是raid硬件

作者: VMCloud 时间: 2017-6-28 18:13

蘑菇发表于 2017-6-28 17:37
企业级考虑下R1soft Backup

这个同步速度快么蘑菇大佬

作者: doors 时间: 2017-6-28 18:21
原来楼主是LINUX系统，那就用rsync+inotify ,网上教程好多。
应该是很成熟的方案了吧。

作者: doors 时间: 2017-6-28 18:27

VMCloud 发表于 2017-6-28 15:02
其实我也在考虑这个还买了授权

BTSYNC如果是WIN的话没鸟用

作者: VMCloud 时间: 2017-6-28 20:38

doors 发表于 2017-6-28 18:21
原来楼主是LINUX系统，那就用rsync+inotify ,网上教程好多。
应该是很成熟的方案了吧。 ...

感谢指点

作者: tiane12 时间: 2017-6-29 06:47
关注一下。。

作者: CKer 时间: 2017-6-29 22:58
我想到的几个方案只适合少批量的。。还是关注下

作者: Meeleem 时间: 2017-6-29 23:14
提示: 作者被禁止或删除内容自动屏蔽

作者: playmusic 时间: 2017-6-29 23:44
syncthing 楼主可以试试

https://github.com/syncthing/syncthing

作者: ccnif 时间: 2017-6-30 00:12
drbd

作者: 日美眉 时间: 2017-6-30 01:51
提示: 作者被禁止或删除内容自动屏蔽

作者: VMCloud 时间: 2017-6-30 07:18

日美眉发表于 2017-6-30 01:51
看在福利图的面子上给你推荐一个
https://code.google.com/archive/p/sersync/

感谢指点

作者: opelnic 时间: 2017-6-30 08:20
SVN同步如何？试试看吧

作者: VMCloud 时间: 2017-6-30 09:08

opelnic 发表于 2017-6-30 08:20
SVN同步如何？试试看吧

svn 会死的

欢迎光临全球主机交流论坛 (https://52.ht/)