Speaker
Mrs
qiuling yao
(ihep)
Description
高能物理实验每年产生大量的数据，其中有些特别重要的数据，比如用户处理数据的作业脚本，数据分析后的结果和记录数据信息的mysql数据库等都需要定期进行备份，以避免发生软硬件故障时导致的损失。高能物理实验数据量的快速增长也意味着重要数据的数据量也越来越大，从之前的KB、MB到现在的GB、TB数据级。为了有效完成这些重要数据的备份和恢复，经过调研和对比，将开源备份软件Restic加入到高能所集群的备份系统中，用于解决TB级别的大容量文件目录的备份。基于Restic开发了策略初始化、定期备份、并行备份、镜像文件校验、日志采集、用户自主恢复数据等功能，有效地减少备份总时间和备份文件占用空间，提高了数据备份和恢复的效率。
Primary author
Mrs
qiuling yao
(ihep)
