Conveners
数据管理与存储
- 蕾 雷 (上海科技大学)
- 皓 胡 (高能所)
随着人工智能技术的发展，材料科学已迈入“数据+AI”的第四范式。建立面向AI的国家级材料数据基础设施意义重大。同步辐射作为基础研究设施，是重要的数据来源，能够批量产生大量有价值的材料数据，其数据利用价值尤为突出。新范式下，数据使用转向高度定制化的“数据集”。因此，数据基础设施的核心并非静态汇聚，而是打造高维度、动态更新的标准化“全息数据源”，完整涵盖材料合成、表征与性能环节，从而按需源源不断地组合出高质量的 AI-ready...
上海光源作为先进的表征平台，在解析物质微观结构、动态行为及极端条件下物性方面具有不可替代的作用。面对实验数据量激增与用户对智能化实验日益增长的需求，上海光源正在系统推进大科学装置AI4S建设，旨在通过数据服务能力提上与人工智能技术应用革新大科学装置的运行与科学发现模式。本报告将介绍上海光源在智能设施架构与数据治理体系等方面的整体布局与实践进展。
在智能设施架构方面，通过整合数据中心高性能集群与光束线边缘服务节点，上海光源已形成支持在线预处理与动态算力调度的“边云协同”智能算力底座。基于智能算力底座进一步研发自主可控的数据快速处理框架，深度集成于晶体学与成像线站数据处理流水线，大幅加速了数据处理效率。在数据治理体系方面，研制了覆盖上海光源用户实验全流程的大数据管理平台，统一元数据标准，实现从课题申请、实验执行到数据分析与共享的全生命周期管理。
...
同步辐射光源实验产生的海量成像数据，给 I/O 与存储系统带来了巨大压力。现有压缩方案难以兼顾光源场景下对高吞吐、高保真及多算法灵活集成的需求。为此，我们研制了面向光源数据流的压缩工具包 PhotonZip。PhotonZip 从三个维度实现统一支撑：支持 CPU/GPU 异构环境的统一部署；覆盖无损与有损压缩的统一策略；集成传统与 AI 压缩方法的统一软件框架。在无损压缩模式下，PhotonZip 显著提升了压缩与解压缩速度，并大幅提高了数据 I/O 性能。通过提供 Python API 与 HDF5 Filter 等标准化接口，PhotonZip 构建了涵盖在线缩减、存储传输与后分析处理的完整工具链，为同步辐射光源场景下的数据压缩提供高性能、可扩展的软件解决方案。
硬X射线自由电子激光装置（SHINE）进入密集的线站安装联调阶段，实验数据不仅仅是采集落盘问题，而是贯穿实验提案、在线采集、事件构建、数据迁移、离线索引与长期保存的一整套流程。我们围绕SHINE实验数据管理软件系统（基于DOMAS构建），按装置科学数据管理策略，与线站数据采集（DAQ）、离线事件构建（Event Builder）协同，在SES...
中国高能同步辐射光源（HEPS）已于 2025 年底完成设施建设，截止目前已经完成了多轮调光测试与数据采集。根据测试情况，来自不同领域的上层应用呈现出跨平台分析、数据访问不可中断、短时高速数据产生等特征。这对数据存储系统的兼容性、可用性以及聚合读写性能提出了挑战。我们在“热-温-冷”三层存储架构的基础上，通过拓展各个组件的能力来满足应用需求。例如采用TCP & RoCE并行网络架构、双活共享存储、部署HA软件等
本报告围绕以储能材料为主的局域结构数据库（Local Structural Database, LSD）的初步建设工作，介绍近期基于现有超胞结构数据开展的数据整理、结构归档与数据库框架构建进展。针对已有CIF结构文件和能量排序结果，建立材料体系、计算任务、原始CIF、超胞构型及库仑能量排序之间的对应关系，完成低能、随机和高能三类构型数据的统一提取与汇总，形成可用于检索和统计分析的结构-能量索引表。在此基础上，初步搭建以MongoDB为核心的数据库框架，实现材料、任务、构型、能量及文件路径等基础元数据的入库管理，并形成面向后续局域结构描述符扩展的基础数据模型。相关工作为后续开展局域结构编码、结构描述符提取及结构-性能关联分析奠定了数据基础。
