运维123 - 10Gbps
type: channel
link: https://www.sddts.cn/index.php/tag/10Gbps/
items: rclone 实现 4 倍于 rsync 的网络文件同步速度

rclone 实现 4 倍于 rsync 的网络文件同步速度
type: item
date: 2026-02-02T23:14:39+00:00
description: rclone 实现 4 倍于 rsync 的网络文件同步速度一、问题背景1. 场景描述过去几年里，作者一直使用外接 Thunderbolt NVMe SSD 在工作场所之间传输视频和项目数据。2. 痛点分析同步过程始终非常缓慢。在典型的工作日中，作者可能会生成一个包含 500-1000 个单独文件的项目文件夹，其中数十个文件大小在 1-10 GB 之间。3. 硬件环境Thunderbolt 驱动器：速度超过 5 GB/sec网络连接：10 Gbps，理论速度 1 GB/sec存储源：Arm NAS 上的 NVMe 卷（名为 mercury）二、原有方案：rsync1. 使用的命令rsync -au --progress --stats /Volumes/mercury/* /Volumes/Shuttle/Video_Projects参数说明：-a：归档模式，保留文件属性-u：仅更新较新的文件--progress：显示传输进度--stats：显示统计信息2. 性能测试删除了一个项目后运行 rsync 复制：$ time rsync -au --progress --stats /Volumes/mercury/* /Volumes/Shuttle/Video_Projects Radxa Orion O6/ Radxa Orion O6/.DS_Store 6148 100% 4.80MB/s 00:00:00 (xfer#1, to-check=1582/3564) ... 254240026 100% 114.11MB/s 00:00:02 (xfer#6, to-check=1589/3564) ... Number of files: 3564 Number of files transferred: 122 Total file size: 244284287846 B Total transferred file size: 62947785101 B Unmatched data: 62947785101 B Matched data: 0 B File list size: 444318 B File list generation time: 9.155 seconds File list transfer time: 0.078 seconds Total sent: 62955918871 B Total received: 2728 B sent 62955918871 bytes received 2728 bytes 128990035 bytes/sec total size is 244284287846 speedup is 3.88 real 8:17.57 user 3:13.14 sys 2:45.453. 性能分析完整复制耗时超过 8 分钟，复制了约 59 GiB 的文件。存在两个问题：rsync 单线程串行执行，一次只能复制一个文件即使对于非常大的文件，rsync 在此网络共享上的速度上限约为 350 MB/sec三、rsync 的优化尝试作者尝试了多种优化方案，但均未获得显著提速：1. 压缩算法尝试不同的压缩算法，反而会降低速度。2. tar 管道尝试先 tar 再管道传输到 rsync。3. rsync daemon尝试运行 rsync daemon 而非 SSH 传输。结论：由于作者的 NAS 运行在能效较高的 Arm 核心上，单线程压缩反而会成为瓶颈。四、新方案：rclone1. rclone 简介rclone 是一个强大的文件同步工具，支持几乎任何存储位置之间的文件复制、移动和同步，包括云存储、本地存储、NAS 卷等。作者已将其作为 3-2-1 备份计划的一部分使用多年。2. 关键特性：多线程流传输rclone 提供 --multi-thread-streams 选项，允许并行传输。3. 命令配置经过调整参数以匹配 rsync 的归档模式，并处理 Final Cut Pro 生成的 .fcpcache 符号链接目录：rclone sync \ "--exclude='**/._*' " \ "--exclude='.fcpcache/**' " \ "--multi-thread-streams=32 " \ "-P -L --metadata " \ /Volumes/mercury/ /Volumes/Shuttle/Video_Projects参数说明：sync：同步模式，使目标与源完全一致--exclude：排除特定文件/目录--multi-thread-streams=32：使用 32 个并行流-P：显示进度-L：跟随符号链接--metadata：保留元数据4. …