Conveners
科学数据存储与管理
- 正德 张 (IHEP(高能所))
Xuantong ZHANG
(IHEP)
29/06/2024, 16:30
分会报告
Rucio是一个可由用户自定义策略以实现组织、管理和访问大规模科学数据功能的软件框架。整合来自不同存储技术和网络连接技术的数据成一个整体，Rucio可以管理分布式的、多存储类型的数据站点。相比于传统网格数据管理系统，Rucio提供了一些高级特性如：分布式数据恢复、自适应的数据复制以及高度量化、模块化和可扩展性的数据管理。Rucio最先在高能物理实验ATLAS上开发和应用，后来也逐渐应用在其他高能物理实验的科学数据管理中。
在使用网格框架分布式计算系统的国内高能物理实验中，JUNO、HERD、CEPC等实验都已经使用或有计划使用Rucio系统对实验数据进行管理。我们基于不同类型的实验对数据管理的不同需求，设计并开发不同的基于Rucio系统数据管理解决方案，实现了分布式数据统一命名、数据增删改查基础管理功能、多站点数据副本管理、原始数据分发管理、实验软件数据管理接口嵌入等功能或相关服务。
Mrs
qiuling 姚秋玲
(ihep)
29/06/2024, 16:45
分会报告
高能物理实验每年产生大量的数据，其中有些特别重要的数据，比如用户处理数据的作业脚本，数据分析后的结果和记录数据信息的mysql数据库等都需要定期进行备份，以避免发生软硬件故障时导致的损失。高能物理实验数据量的快速增长也意味着重要数据的数据量也越来越大，从之前的KB、MB到现在的GB、TB数据级。为了有效完成这些重要数据的备份和恢复，经过调研和对比，将开源备份软件Restic加入到高能所集群的备份系统中，用于解决TB级别的大容量文件目录的备份。基于Restic开发了策略初始化、定期备份、并行备份、镜像文件校验、日志采集、用户自主恢复数据等功能，有效地减少备份总时间和备份文件占用空间，提高了数据备份和恢复的效率。
