使用 rclone 迁移对象存储
先 copy,再 check;没有演练不要直接 sync
rclone 是管理云存储的开源命令行工具,支持多种对象存储和 S3 兼容端点。它提供复制、同步、校验、过滤、限速和重试能力。rclone 官方文档
copy 通常更适合迁移初期;sync 会让目标端与源端一致,可能删除目标端独有对象。只有确认方向、过滤规则、版本和删除策略后才能移除 --dry-run。
- 为源端创建只读凭据,为目标端创建限定 Bucket/前缀的写入凭据。
- 配置两个 remote,不在命令行和日志中暴露长期密钥。
- 用一个测试前缀执行
copy,检查 Content-Type、Cache-Control 和自定义元数据。 - 根据源云限制设置
--transfers、--checkers和--bwlimit。 - 执行全量
copy,保存日志和失败对象。 - 再次执行
copy追赶变化,或使用清单缩小范围。 - 使用
rclone check和业务抽样验证。
不同对象存储的哈希能力并不完全一致。如果后端没有共同哈希,rclone 可能退化到大小比较或需要下载校验;正式迁移要记录实际使用的校验方式。
- 在大规模迁移前确认源云公网出流量和 API 请求费用。
- 归档对象先按厂商规则解冻,不要让任务反复失败。
- 使用过滤文件时把规则纳入版本控制并进行 dry-run。
- 迁移不是备份;目标端还需要版本控制、生命周期和独立备份。
- 迁移完成后撤销临时密钥,保留日志和失败清单。
Built with