Speaker
UNKNOWN 陈娟
Description
随着中国散裂中子源（CSNS）合作谱仪的开放运行及CSNS-II谱仪的建设，其数据量预计超2PB/年，且作为用户类装置，其数据来源广、涉及学科多、计算复杂度高。为了整合这些数据资源，实现数据从采集->传输->存储->分析->共享->知识发现的全生命周期的管理，CSNS基于Lustre和EOSCTA建设分级存储系统，并为支撑未来光源与中子源数据的融合分析及跨装置共享使用，将数据管理平台由ICAT向DOMAS数据管理与编排框架演进。本文首先介绍CSNS的数据存储现状，在存储体系方面，CSNS采用分级存储架构，满足数据全生命周期的差异化需求。中心存储基于分布式文件系统Lustre，实现实验数据及分析数据的存储；后端归档层基于EOSCTA和CTS，通过策略驱动机制，保障海量数据的长期、低成本与安全保存。然后介绍了数据管理系统DOMAS的设计和在CSNS中的实现，完成从数据产生、重建、规约到用户分析的一体化统一管理，深度融合实验提案、样品信息、仪器参数、分析过程及原始数据等多源异构数据，构建以科学实验为中心的数据视图。最后对CSNS的数据存储与数据管理系统进行总结，并提出对未来的展望，该系统将直接服务于三大应用场景：面向用户的一站式数据分析、支撑AI模型训练的标准化数据集构建，以及中子领域的专业知识库与数据库建设。
