Speaker
Xuantong ZHANG
(IHEP)
Description
Rucio是一个可由用户自定义策略以实现组织、管理和访问大规模科学数据功能的软件框架。整合来自不同存储技术和网络连接技术的数据成一个整体,Rucio可以管理分布式的、多存储类型的数据站点。相比于传统网格数据管理系统,Rucio提供了一些高级特性如:分布式数据恢复、自适应的数据复制以及高度量化、模块化和可扩展性的数据管理。Rucio最先在高能物理实验ATLAS上开发和应用,后来也逐渐应用在其他高能物理实验的科学数据管理中。
在使用网格框架分布式计算系统的国内高能物理实验中,JUNO、HERD、CEPC等实验都已经使用或有计划使用Rucio系统对实验数据进行管理。我们基于不同类型的实验对数据管理的不同需求,设计并开发不同的基于Rucio系统数据管理解决方案,实现了分布式数据统一命名、数据增删改查基础管理功能、多站点数据副本管理、原始数据分发管理、实验软件数据管理接口嵌入等功能或相关服务。
Summary
本报告将会从介绍Rucio的特性以及在数据管理中的优势开始,结合JUNO和HERD等实验的需求,介绍基于Rucio系统数据管理解决方案,最后介绍Rucio系统在数据管理和数据传输等方面测试和性能情况。
Primary author
Xuantong ZHANG
(IHEP)
Co-author
晓梅 张
(高能所)