对象存储跨云迁移
对象复制完成,不等于存储行为已经一致
先用对象存储跨云迁移设计器明确当前版本或全部历史版本、归档、属性和删除策略,再选择厂商托管服务或开源工具。设计结果应继续进入对象版本、删除与属性语义评审。
图:完成数据同步后,还要单独切换应用上传、CDN 回源和下载签名等访问路径。
- 地域、容量、对象数量、平均与最大对象大小
- 标准、低频、归档等存储类型及解冻要求
- 版本控制、删除标记、生命周期和跨地域复制
- ACL、Bucket Policy、CORS、防盗链和临时签名
- Content-Type、Content-Encoding、Cache-Control 和自定义元数据
- CDN 回源、图片处理、事件通知、日志和静态网站配置
全量复制
复制迁移开始前已经存在的对象。大量小对象常受列举和请求并发限制,大对象需要分片和断点续传;应根据对象数量而不只是总容量估算时间。
增量追赶
根据对象清单、修改时间、事件或厂商在线迁移任务同步新对象与变化对象。源端仍允许写入时,必须定义覆盖、删除和同名对象冲突策略。
割接与验证
冻结或双写关键路径,执行最终增量,校验对象数量、总容量、关键前缀和内容哈希,再切换应用、CDN 和上传凭据。
| 情况 | 建议 |
|---|---|
两家主流云之间、大规模数据 | 优先评估目标云在线迁移服务 |
S3 兼容、小中规模、需要透明命令 | 使用 rclone 或 s5cmd 试迁 |
同一厂商跨地域持续复制 | 使用原生跨地域复制 |
TB—PB 且网络窗口不足 | 评估厂商离线迁移设备 |
腾讯云 COS 迁移服务支持阿里云 OSS、华为云 OBS 以及多种 S3 兼容源;跨云传输通常会产生源端公网出流量费用。腾讯云 COS 迁移概述
不要只比较对象数量。不同平台的 ETag 可能不是同一种内容哈希,分片上传对象尤其如此。应组合使用数量、总字节数、厂商校验字段、下载抽样、关键文件业务验证和失败清单重试。
命令实践参见使用 rclone 迁移对象存储,验收和业务入口切换参见对象存储校验与入口切换。
Built with