1. IE browser is NOT supported anymore. Please use Chrome, Firefox or Edge instead.
2. If you are a new user, please register to get an IHEP SSO account through https://login.ihep.ac.cn/registlight.jsp Any questions, please email us at helpdesk@ihep.ac.cn or call 88236855.
3. If you need to create a conference in the "Conferences, Workshops and Events" zone, please email us at helpdesk@ihep.ac.cn.
4. The max file size allowed for upload is 100 Mb.
8–14 Jul 2023
青海宾馆
Asia/Shanghai timezone

基于Rucio的高能物理网格数据管理的研究和应用

11 Jul 2023, 16:30
15m
二楼多功能厅

二楼多功能厅

分会报告 科学数据存储与管理技术 科学数据存储与管理

Speaker

Xuantong ZHANG (IHEP)

Description

Rucio是一个可由用户自定义策略以实现组织、管理和访问大规模科学数据功能的软件框架。整合来自不同存储技术和网络连接技术的数据成一个整体,Rucio可以管理分布式的、多存储类型的数据站点。相比于传统网格数据管理系统,Rucio提供了一些高级特性如:分布式数据恢复、自适应的数据复制以及高度量化、模块化和可扩展性的数据管理。Rucio最先在高能物理实验ATLAS上开发和应用,后来也逐渐应用在其他高能物理实验的科学数据管理中。
在使用网格框架分布式计算系统的国内高能物理实验中,JUNO、HERD、CEPC等实验都已经使用或有计划使用Rucio系统对实验数据进行管理。我们基于不同类型的实验对数据管理的不同需求,设计并开发不同的基于Rucio系统数据管理解决方案,实现了分布式数据统一命名、数据增删改查基础管理功能、多站点数据副本管理、原始数据分发管理、实验软件数据管理接口嵌入等功能或相关服务。

Summary

本报告将会从介绍Rucio的特性以及在数据管理中的优势开始,结合JUNO和HERD等实验的需求,介绍基于Rucio系统数据管理解决方案,最后介绍Rucio系统在数据管理和数据传输等方面测试和性能情况。

Primary author

Co-author

Presentation materials