海量非结构化数据保护方案

非结构化数据的麻烦在于「量」和「碎」:单个文件不大,数量却以千万计。这类数据用传统方式备份,常常是备份窗口内做不完,等真要恢复的时候又慢得让人着急。本方案针对的就是这个特点。
| 维度 | 说明 |
| 方案定位 | 面向文件服务器、NAS 与对象存储中海量非结构化数据的保护方案 |
| 适用场景 | 视频影音、电子档案、设计资料、医学影像等数据规模大且文件数量多的场景 |
| 保护对象 | 文件系统、NAS 共享数据、对象存储数据,含大文件与海量小文件 |
| 部署形态 | 保护节点就近部署在数据所在网络,支持多客户端并发采集 |
| 管理方式 | 策略集中配置,备份、副本管理与归档一体化管理 |
在数据备份与容灾建设中,以下几类问题出现频率最高:
方案按职责分层组织,各层之间通过标准接口衔接,便于按需组合与扩展。
| 层次 | 组件 | 作用 |
| 数据源层 | 文件服务器 / NAS / 对象存储 | 承载海量非结构化数据 |
| 传输与聚合层 | 多线程备份与对象聚合 | 提升小文件批量处理效率 |
| 存储层 | 重删后的副本存储 | 降低副本容量占用,延长保留周期 |
| 服务层 | 副本数据服务 | 挂载副本供查询与分析使用 |
通过多线程备份、多客户端并发备份与永久增量备份提升效率;配合对象聚合技术,把小文件聚合成更大的数据块统一处理,备份与恢复效率有明显改善,备份窗口更容易守住。
编排各个数据组件的备份顺序和关联关系,解决应用一致性问题,避免出现「备份任务成功但恢复出来不可用」。
为核心数据与非核心数据分别设置保护策略,用统一的保护体系覆盖不同重要程度的数据,既不漏保护也不浪费资源。
提供完整恢复、挂载恢复与细粒度恢复等多种方式,既能整卷重建,也能只取回个别文件,按数据受损的实际场景选择。
以原生格式捕获的副本可以挂载用于查询分析与测试开发,把查询压力从生产存储上分流出去,提高灾备投入的回报。
方案所采用的产品与技术构成如下,可按业务规模与保护等级组合选用。
| 能力域 | 产品 / 技术 | 说明 |
| 海量数据保护 | AnyBackup 海量非结构化数据分级保护与数据服务 | 定时备份、副本数据管理、归档与数据服务一体化 |
| 小文件优化 | 对象聚合技术 | 把大量小文件聚合成更大的数据块处理,提升备份与恢复效率 |
| 备份调度 | 备份恢复调度服务 | 编排各数据组件的备份顺序与关联关系,保障应用一致性 |
| 恢复方式 | 完整恢复 / 挂载恢复 / 细粒度恢复 | 按数据受损场景选择合适的恢复粒度 |
| 数据利用 | CDM 原生格式挂载 | 副本可挂载用于查询分析与测试开发 |
| 维度 | 说明 |
| 备份效率 | 多线程与多客户端并发,配合小文件聚合处理 |
| 恢复灵活性 | 支持整卷恢复、挂载恢复与单文件级细粒度恢复 |
| 容量占用 | 永久增量配合重复数据删除,降低副本实际占用 |
| 数据利用 | 副本可挂载用于查询、分析与测试开发 |
| 适用范围 | 文件服务器、NAS 与对象存储统一覆盖 |
| 阶段 | 主要工作内容 |
| 现状调研 | 梳理业务系统清单、数据量、变更量、业务窗口、现有保护手段与网络条件 |
| 方案设计 | 确定保护方式与保护等级,设计副本存放、恢复目标与切换策略 |
| 部署实施 | 完成节点部署、策略配置与首次全量采集,核验任务执行情况 |
| 演练验证 | 按预设场景执行恢复演练,核验恢复时间、数据完整性与业务可用性 |
| 移交运维 | 交付拓扑与操作说明,提供运维培训、策略复核与持续技术支持 |
传统方式逐个文件处理,小文件数量多会带来大量元数据操作开销,备份速度因此受限。通过多线程、并发与对象聚合等技术可以明显改善。
可以。方案提供细粒度恢复方式,可以不恢复整套数据而只取回需要的文件。
采用永久增量与重复数据删除后,副本的实际容量占用会明显低于原始数据量。
挂载的是已存储的副本,读取过程不经过生产存储,正常情况下不影响生产系统运行。
支持。方案覆盖文件服务器、NAS 与对象存储等主要非结构化数据承载形式。
如需针对具体业务系统做保护范围梳理、恢复目标设定与预算测算,欢迎联系东方华展:010-52850389 · 13911411199,或邮件至 hc@dfhz.com。