第二十届全国科学计算与信息化会议

Session

科学数据存储与管理

29 Jun 2024, 16:00

二楼多功能厅

Conveners

科学数据存储与管理

• 正德 张 (IHEP(高能所))

Contribution list Timetable

111. 高能所数据存储系统现状及规划

Haibo LI (高能所)

29/06/2024, 16:00

分会报告

高能所数据存储系统是一个庞大的分布式存储系统，旨在满足高能所各个领域的数据存储需求。这些领域包括粒子物理和天体物理、空间项目、多学科交叉（CSNS/HEPS）、理论物理和加速器设计等领域。为了支持这些需求，我们运行了多个分布式存储系统，其中包括主要的物理数据存储系统Lustre和EOS，以及通用文件系统、专用HPC集群、对象存储系统、内容分发文件系统和用户的云盘存储。目前，这些系统的总容量已超过100PB。
在过去的十多年里，Lustre和EOS作为高能所主要的物理数据存储系统，提供了100GB/s的数据访问带宽。为了适应变化的需求，我们引入了最新的磁带库管理软件CTA，已全面替代现有的Castor系统。我们还采用Restic作为数据备份系统，以实现对关键数据的高效备份。为了满足用户对HOME目录的需求，我们正在探索新的商业文件系统解决方案。为了满足公共云服务平台的存储需求，我们提...

51. 高带宽高通量数据中心网络的流量分析方法研究

Mr Tao 崔涛 (高能所)

29/06/2024, 16:15

分会报告

中国科学院高能物理所计算中心，承担了高能物理海量数据的处理工作。本地计算系统是一个批作业系统。该计算系统采用HTCondor实现计算资源的调度和管理、采用EOS/Lustre实现数据存储和访问。数据中心网络是采用机框式双核心加10G/25GToR构成星型拓扑的大二层网络。骨干链路聚合带宽为8*100G。在高能所数据中心网络环境中，批作业在骨干链路上产生的流量峰值已经达到了350Gbps。高带宽、高通量数据中心网络中的超大流量给流量获取和分析带来了挑战，传统的基于SNMP、gRPC等技术实现的流量监测，只能基于网络设备的端口计数器，进行总体流量的监控，无法对流量构成进行分析和研究。基于镜像、sflow等方法实现数据采集，虽然可以实现对流量构成的分析，但是要实现全拓扑的流量监控，设备能力、数据分析能力面临很大的挑战。为实现全拓扑流量采集和分析，掌握数据中心网络的流量构成、分布和运行特征，...

112. 基于Rucio的高能物理网格数据管理的研究和应用

Xuantong ZHANG (IHEP)

29/06/2024, 16:30

分会报告

Rucio是一个可由用户自定义策略以实现组织、管理和访问大规模科学数据功能的软件框架。整合来自不同存储技术和网络连接技术的数据成一个整体，Rucio可以管理分布式的、多存储类型的数据站点。相比于传统网格数据管理系统，Rucio提供了一些高级特性如：分布式数据恢复、自适应的数据复制以及高度量化、模块化和可扩展性的数据管理。Rucio最先在高能物理实验ATLAS上开发和应用，后来也逐渐应用在其他高能物理实验的科学数据管理中。
在使用网格框架分布式计算系统的国内高能物理实验中，JUNO、HERD、CEPC等实验都已经使用或有计划使用Rucio系统对实验数据进行管理。我们基于不同类型的实验对数据管理的不同需求，设计并开发不同的基于Rucio系统数据管理解决方案，实现了分布式数据统一命名、数据增删改查基础管理功能、多站点数据副本管理、原始数据分发管理、实验软件数据管理接口嵌入等功能或相关服务。

56. 备份系统在高能所集群中的应用

Mrs qiuling 姚秋玲 (ihep)

29/06/2024, 16:45

分会报告

高能物理实验每年产生大量的数据，其中有些特别重要的数据，比如用户处理数据的作业脚本，数据分析后的结果和记录数据信息的mysql数据库等都需要定期进行备份，以避免发生软硬件故障时导致的损失。高能物理实验数据量的快速增长也意味着重要数据的数据量也越来越大，从之前的KB、MB到现在的GB、TB数据级。为了有效完成这些重要数据的备份和恢复，经过调研和对比，将开源备份软件Restic加入到高能所集群的备份系统中，用于解决TB级别的大容量文件目录的备份。基于Restic开发了策略初始化、定期备份、并行备份、镜像文件校验、日志采集、用户自主恢复数据等功能，有效地减少备份总时间和备份文件占用空间，提高了数据备份和恢复的效率。

108. 面向高能物理的磁带库迁移系统

玉江 毕 (IHEP)

29/06/2024, 17:00

分会报告

磁带存储是目前高能物理数据长期保存的存储技术之一。随着磁带制造技术以及高能物理存储架构的不断发展，在高能物理中长期使用的 Castor 技术已经被新的磁带库存储系统 CTA 取代。为了满足不同实验对数据备份的需要，针对 CTA 系统，设计开发了通用的高能物理磁带库传输系统 CTS。本系统支持 LHAASO、BESIII、JUNO等实验的不同应用场景，结合 EOS 系统的WFE，自动化数据的归档和迁出，提高了数据迁移效率，有效保证了数据存储安全。